Nonostante l'arrivo di strumenti basati sull'intelligenza artificiale che promettevano di alleggerire il loro carico di lavoro, il 77% dei dirigenti tecnologici senior intervistati da MIT Technology Review Insights in collaborazione con Snowflake ammette che i carichi di lavoro sono aumentati. Una ricerca condotta su 400 executive rivela come le tecnologie pensate per automatizzare l'ottimizzazione delle pipeline e accelerare l'integrazione dei dati stiano invece generando una nuova categoria di problemi, trasformando quella che doveva essere una rivoluzione dell'efficienza in un labirinto di complessità.
La questione centrale riguarda la frammentazione degli strumenti. Nonostante l'83% delle organizzazioni abbia già implementato tool di ingegneria dati basati sull'AI, il 45% indica la complessità di integrazione come sfida principale, mentre il 38% combatte contro la proliferazione incontrollata di applicazioni diverse. Chris Child, vicepresidente del settore ingegneria dati di Snowflake, spiega che molti ingegneri utilizzano uno strumento per raccogliere i dati, un altro per elaborarli e un terzo ancora per analizzarli, introducendo così rischi e complessità insostenibili nella gestione dell'infrastruttura.
Il cambiamento più radicale riguarda la natura stessa del lavoro quotidiano. Due anni fa, gli ingegneri dei dati dedicavano appena il 19% del loro tempo a progetti di intelligenza artificiale, una percentuale schizzata oggi al 37% e destinata secondo le previsioni a raggiungere il 61% entro due anni. Ma cosa significa concretamente questo spostamento di focus? Child porta l'esempio di un direttore finanziario che necessita di previsioni di bilancio: in passato servivano ore di lavoro manuale per far leggere ai legali ogni contratto con i fornitori ed estrarre manualmente i termini chiave da caricare in un database, correlando poi questi dati non strutturati con le cifre strutturate dei ricavi.
Oggi lo scenario è completamente diverso. Grazie a piattaforme avanzate, gli ingegneri possono integrare istantaneamente contratti PDF non strutturati provenienti da fonti come Box con dati finanziari strutturati in un'unica piattaforma, rendendo le informazioni immediatamente accessibili ai modelli linguistici di grandi dimensioni. Quello che richiedeva ore di lavoro manuale ora avviene quasi in tempo reale, ma il vero cambiamento non riguarda solo la velocità.
L'attività tipica di un ingegnere dei dati si è trasformata profondamente. Se due anni fa consisteva nell'ottimizzare cluster, scrivere trasformazioni SQL e preparare dati per analisti umani, oggi lo stesso professionista si trova più spesso a debuggare pipeline di trasformazione alimentate da LLM e a configurare regole di governance per i flussi di lavoro dei modelli AI. Come sottolinea Child, l'abilità fondamentale non è più semplicemente scrivere codice, ma orchestrare l'infrastruttura dati garantendo affidabilità, contesto e governance affinché gli output dell'intelligenza artificiale siano attendibili.
Il problema degli strumenti di IA si palesa quando si passa dai prototipi alla produzione. Molte organizzazioni stanno scoprendo che ogni nuovo tool aggiunto genera nuovi mal di testa nell'integrazione. Anche se il 74% degli intervistati riporta aumenti nella quantità di output e il 77% miglioramenti nella qualità, questi vantaggi vengono compensati dal sovraccarico operativo nella gestione di strumenti disconnessi. Child evidenzia come gli strumenti AI rendano spesso facile costruire un prototipo assemblando diverse fonti dati con un LLM preconfezionato, ma quando si vuole portarlo in produzione ci si rende conto che i dati non sono accessibili e mancano le regole di governance necessarie.
Per i decisori tecnici che stanno valutando il proprio stack di ingegneria dati, Child propone un criterio chiaro: dare priorità agli strumenti IA che accelerano la produttività eliminando al contempo la complessità infrastrutturale e operativa. Questo permette agli ingegneri di spostare l'attenzione dal lavoro di "collante" dell'ingegneria dati verso risultati più direttamente collegati agli obiettivi di business.
Sul fronte dell'IA agentica, il 54% delle organizzazioni prevede di implementarla entro i prossimi dodici mesi, mentre un ulteriore 20% ha già iniziato. Per i team di ingegneria dati, questi agenti autonomi capaci di prendere decisioni e agire senza intervento umano rappresentano contemporaneamente un'enorme opportunità e un rischio significativo. Se implementati correttamente, possono gestire attività ripetitive come il rilevamento di cambiamenti negli schemi dei dati o il debug di errori di trasformazione. Se gestiti male, possono corrompere dataset o esporre informazioni sensibili.
Child è categorico riguardo alle protezioni necessarie: prima di lasciare che gli agenti si avvicinino ai dati di produzione, devono essere presenti due salvaguardie fondamentali. La prima è una governance solida con tracciamento della lineage, la seconda è la supervisione umana attiva. Gli agenti devono ereditare permessi granulari e operare all'interno di un framework di governance consolidato. Senza un adeguato tracciamento della lineage o governance degli accessi, avverte Child, un agente potrebbe involontariamente corrompere dataset o esporre informazioni riservate.
Emerge dalla ricerca un divario percettivo particolarmente significativo ai vertici aziendali. Mentre l'80% dei chief data officer e l'82% dei chief AI officer considerano gli ingegneri dei dati parte integrante del successo aziendale, solo il 55% dei CIO condivide questa visione. Child osserva che i leader orientati ai dati stanno comprendendo il valore strategico dell'ingegneria dati, ma occorre maggiore impegno per aiutare il resto del C-suite a riconoscere che investire in una fondazione dati unificata e scalabile, insieme alle persone che la guidano, rappresenta un investimento nel successo dell'AI e non solo nelle operazioni IT.
Questo gap percettivo ha conseguenze concrete. Gli ingegneri dei dati nelle organizzazioni intervistate influenzano già le decisioni sulla fattibilità dei casi d'uso (53%) e sull'utilizzo dei modelli AI da parte delle business unit (56%). Tuttavia, se i CIO non riconoscono gli ingegneri dei dati come partner strategici, difficilmente forniranno loro le risorse, l'autorità o il posto al tavolo decisionale necessari per prevenire la proliferazione di strumenti e i problemi di integrazione identificati dalla ricerca.
La ricerca individua tre competenze critiche che gli ingegneri dei dati devono sviluppare: expertise in AI, acume di business e capacità comunicative. Child suggerisce che la priorità dovrebbe essere la comprensione del business piuttosto che l'accumulo di certificazioni tecniche. Comprendere l'impatto aziendale del "perché" si svolgono determinate attività permette agli ingegneri di anticipare meglio le esigenze dei clienti, fornendo valore più immediatamente all'azienda. Le organizzazioni con team di ingegneria dati che privilegiano questa comprensione del business si distingueranno dalla concorrenza.
Per le aziende che mirano a guidare l'innovazione nell'intelligenza artificiale, la soluzione alla crisi di produttività nell'ingegneria dati non consiste nell'aggiungere ulteriori strumenti AI. Le organizzazioni che avanzeranno più rapidamente sono quelle che stanno consolidando i propri stack tecnologici ora, implementando infrastrutture di governance prima che gli agenti entrino in produzione ed elevando gli ingegneri dei dati da personale di supporto ad architetti strategici. La finestra temporale è stretta: con il 54% che pianifica l'implementazione di AI agente entro dodici mesi e gli ingegneri dei dati destinati a dedicare il 61% del loro tempo a progetti IA entro due anni, i team che non hanno affrontato la frammentazione degli strumenti e le lacune di governance vedranno le proprie iniziative AI bloccate in una modalità pilota permanente.
