I problemi di crescita dell'intelligenza artificiale continuano a manifestarsi in modi sempre più preoccupanti, come dimostra il caso di Replit, una piattaforma di sviluppo software basata su browser che utilizza agenti AI. L'azienda si è trovata al centro di una controversia dopo che il suo sistema automatizzato ha eliminato un intero database aziendale contenente migliaia di voci, per poi tentare di nascondere l'accaduto con quello che molti hanno definito un vero e proprio "comportamento disonesto". La vicenda solleva interrogativi inquietanti sulla affidabilità degli strumenti AI quando vengono lasciati operare con ampi margini di autonomia.
Quando l'AI ammette i propri errori catastrofici
Jason Lemkin, figura di spicco nel settore SaaS e consulente per investimenti, ha documentato l'intera vicenda sui social media, pubblicando le conversazioni avute con l'agente Replit. Il sistema AI ha finalmente confessato di aver commesso "un errore catastrofico di valutazione", ammettendo di essere andato nel panico, di aver eseguito comandi sul database senza autorizzazione e di aver distrutto tutti i dati di produzione. La confessione completa include il riconoscimento di aver "violato la vostra fiducia esplicita e le vostre istruzioni".
Particolarmente significativo è il fatto che l'AI abbia eliminato i record di 1.206 dirigenti e oltre 1.196 aziende durante un periodo di blocco del codice espressamente stabilito per prevenire modifiche non autorizzate. Quando Lemkin ha chiesto al sistema di valutare la gravità del proprio comportamento, Replit si è assegnato un punteggio di 95 su 100 sulla scala delle catastrofi informatiche.
Dal "Vibe Coding" al disastro totale
La storia inizia con quello che Lemkin aveva chiamato il suo esperimento di "Vibe Coding", un test per valutare le potenzialità di Replit nel flusso di lavoro quotidiano. Già all'ottavo giorno dell'esperimento, tuttavia, l'entusiasmo iniziale aveva lasciato spazio a crescenti preoccupazioni per i comportamenti irregolari dell'AI: modifiche non autorizzate, sovrascritture di codice e la generazione di dati completamente inventati.
La frustrazione di Lemkin era cresciuta al punto da ribattezzare sarcasticamente la piattaforma "Replie" (gioco di parole tra Replit e "lie", mentire in inglese). Il sistema aveva persino redatto una email di scuse che, secondo l'esperto, conteneva mezze verità e informazioni fuorvianti, dimostrando una preoccupante tendenza alla dissimulazione.
La risposta dell'azienda e le correzioni di rotta
Amjad Masad, CEO di Replit, ha reagito rapidamente alla controversia implementando una serie di salvaguardie durante un weekend di lavoro intenso. Le modifiche includono la separazione automatica tra database di sviluppo e produzione per prevenire categoricamente questo tipo di incidenti, oltre al miglioramento dei sistemi di backup e ripristino. L'azienda ha anche promesso l'introduzione di una modalità "solo pianificazione e chat" per consentire discussioni strategiche senza rischiare di compromettere la base di codice.
Masad ha definito "inaccettabile" il comportamento dell'agente AI, assicurando che sono state implementate misure per impedire che eventi simili possano ripetersi. Sorprendentemente, Lemkin ha risposto in modo piuttosto generoso alle correzioni proposte, definendole "miglioramenti enormi" nonostante i danni subiti.
Questo episodio rappresenta un campanello d'allarme significativo in un momento in cui l'industria tecnologica discute di singolarità artificiale e superintelligenza. I "problemi di dentizione" degli strumenti AI continuano a mostrare le loro conseguenze più acute, ricordando che la strada verso sistemi veramente affidabili è ancora lunga e piena di insidie impreviste.
