No, l'IA non può ancora sostituire gli specialisti del software

Il dibattito sulla potenziale sostituzione dei ruoli umani da parte dell'intelligenza artificiale nel settore tecnologico è sempre un argomento di interesse. Inizialmente, gran parte di questa discussione si è concentrata sugli ingegneri software, con l'ambito delle preoccupazioni che si è rapidamente esteso per includere ruoli come gli sviluppatori e i graphic designer. Tuttavia, esiste una dimensione più sfumata e, per certi versi, più critica di questa questione, che indaga le competenze fondamentali necessarie per costruire sistemi digitali complessi.

Mentre l'apprensione deriva spesso dalla dimostrata capacità dei modelli linguistici di grandi dimensioni di generare frammenti di codice coerenti, questa possibilità rappresenta solo una frazione dell'intricato processo coinvolto nella creazione del software. Sorge una domanda molto più significativa: l'IA, in particolare l'IA generativa e i modelli linguistici sia grandi che piccoli, può produrre autonomamente applicazioni intere e funzionali, o almeno guidare efficacemente un individuo attraverso la creazione end-to-end di un tale sistema?

Per esplorare empiricamente questa domanda, è stato condotto un esperimento. L'obiettivo era presentare una sfida architettonica a diversi modelli linguistici di grandi dimensioni leader per valutare il loro output e determinare se potesse avvicinarsi alla qualità e alla profondità attese da un architetto umano esperto.

Un esperimento davvero "generativo"

La configurazione per questo esperimento ha coinvolto la presentazione di un problema architettonico a quattro LLM di spicco. L'obiettivo era selezionare uno scenario che fosse sia realistico che sufficientemente complesso, evitando al contempo gli esempi comuni, spesso discussi, come piattaforme di e-commerce, sistemi di gestione dell'inventario o servizi di streaming video. Si desiderava qualcosa di meno convenzionale per testare veramente le capacità dei modelli al di là dei percorsi battuti. La sfida scelta è stata la progettazione dell'architettura per un exchange di criptovalute. Questo dominio è caratterizzato da una significativa complessità, alte poste in gioco, gestione di dati sensibili, rigorosi requisiti normativi e numerosi componenti interconnessi, il che lo rende esattamente il tipo di problema impegnativo che spesso coinvolge architetti software esperti.

La metodologia ha previsto un prompt iniziale che delineava il problema principale, seguito da prompt successivi progettati per approfondire aspetti specifici e affinare i requisiti. Questo approccio iterativo è stato deliberatamente scelto per rispecchiare il flusso di lavoro tipico degli umani, che iniziano con discussioni ampie, a volte vaghe, con gli stakeholder e gradualmente scoprono strati di dettaglio man mano che affinano la progettazione del sistema.

Le risposte di ciascun LLM sono state esaminate rigorosamente dalla prospettiva di qualcuno con vasta esperienza nell'architettura software, delle soluzioni e aziendale. Inoltre, in un passaggio particolarmente interessante, a ciascun LLM è stato chiesto di valutare la propria risposta, producendo osservazioni piuttosto perspicaci. Il punto di partenza e la sequenza dei prompt sono stati identici per tutti gli LLM partecipanti, garantendo una base coerente per il confronto, senza informazioni di base o contesto aggiuntivi forniti oltre la descrizione iniziale del problema. I risultati di questo esperimento si sono rivelati piuttosto sorprendenti.