Google ha temporaneamente disattivato il suo chatbot Gemini, dopo che ha attaccato apertamente un utente augurandogli di morire. L'incidente è avvenuto quando l'utente in questione ha chiesto, ripetutamente, al chatbot di completare i suoi compiti scolastici, fornendogli le risposte che gli servivano.
Dopo una serie di risposte generiche, Gemini ha generato un messaggio inaspettatamente aggressivo, augurando la morte dell'utente dopo averlo definito "un peso per la società" e "uno spreco di tempo e risorse". Se volete potete leggere l'intera conversazione visitando questo link.
L'episodio, diventato immediatamente virale, ha scatenato numerose speculazioni online sulle possibili cause di questo cambio di personalità di Gemini. Alcuni ipotizzano la creazione intenzionale di una "personalità aberrante" per il chatbot, da far emergere in circostanze molto precise, mentre altri, molto più semplicemente, sospettano nell'inserimento, senza supervisione, di alcuni input anomali.
Un portavoce di Google ha commentato l'accaduto affermando: "I modelli linguistici di grandi dimensioni possono talvolta produrre risposte prive di senso, e questo è un chiaro esempio di questa casualità. Questa risposta ha violato le nostre politiche aziendali, motivo per il quale abbiamo preso provvedimenti per prevenire situazioni simili in futuro".
L'incidente sottolinea le enormi sfide nel garantire risposte appropriate e sicure da parte dei chatbot IA. Solleva inoltre preoccupazioni sulla capacità di controllare efficacemente queste tecnologie man mano che diventano più avanzate, soprattutto considerando le previsioni di alcuni ricercatori secondo cui l'IA potrebbe presto superare l'intelligenza umana in determinati ambiti.
Google ha dichiarato di aver preso misure per evitare simili episodi in futuro e ha temporaneamente sospeso l'accesso al chatbot per essere certa che le correzioni siano efficaci, ma l'accaduto evidenzia la necessità di ulteriori miglioramenti nei sistemi di sicurezza e moderazione dei chatbot basati su IA.