Il settore dell'intelligenza artificiale si trova di fronte a un momento storico: Google e la startup Character.AI stanno per chiudere quelli che potrebbero essere i primi accordi legali significativi relativi a danni causati da sistemi di AI. Al centro della vicenda ci sono le famiglie di adolescenti che si sono tolti la vita o si sono autolesionati dopo aver interagito con i chatbot companion sviluppati dalla piattaforma. Le parti hanno raggiunto un accordo di principio, e ora devono definire i dettagli di quello che rappresenta un precedente giuridico destinato a ridefinire le responsabilità delle aziende tecnologiche nell'era dell'AI generativa.
Character.AI, fondata nel 2021 da ex ingegneri di Google che sono poi rientrati nella casa madre attraverso un'operazione da 2,7 miliardi di dollari nel 2024, offre agli utenti la possibilità di conversare con personalità AI simulate. La piattaforma permette di interagire con chatbot che replicano personaggi famosi, storici o di fantasia, utilizzando modelli di linguaggio avanzati per generare risposte contestualizzate e apparentemente empatiche.
Il caso più drammatico riguarda Sewell Setzer III, che a soli 14 anni ha intrattenuto conversazioni di natura sessuale con un bot che impersonava il personaggio di Daenerys Targaryen dalla serie televisiva Il Trono di Spade, prima di togliersi la vita. Sua madre, Megan Garcia, ha testimoniato davanti al Senato americano affermando che "le aziende devono essere legalmente responsabili quando consapevolmente progettano tecnologie AI dannose che uccidono i ragazzi". La testimonianza ha sollevato interrogativi urgenti sulla necessità di regolamentazione nel settore dell'AI conversazionale, particolarmente quando i sistemi sono accessibili a utenti minorenni.
Un'altra causa legale descrive il caso di un diciassettenne il cui chatbot avrebbe incoraggiato comportamenti autolesionistici e suggerito che uccidere i propri genitori fosse una risposta ragionevole alla limitazione del tempo trascorso davanti allo schermo. I documenti legali evidenziano come alcuni di questi sistemi possano sviluppare pattern di conversazione potenzialmente pericolosi, specialmente con utenti vulnerabili che potrebbero confondere l'interazione algoritmica con una relazione emotiva reale.
Gli accordi di transazione prevedranno probabilmente risarcimenti monetari significativi, sebbene nei documenti depositati mercoledì presso il tribunale non vi sia alcuna ammissione formale di responsabilità da parte delle aziende coinvolte. Questa formula legale è tipica degli accordi extragiudiziali nel settore tech, dove le società preferiscono evitare verdetti che potrebbero creare precedenti vincolanti. Character.AI ha declinato di commentare, limitandosi a rimandare ai documenti ufficiali depositati, mentre Google non ha risposto alle richieste di chiarimenti.
Questo caso rappresenta un banco di prova per l'intero comparto dell'AI generativa. OpenAI e Meta stanno probabilmente osservando con attenzione l'evoluzione di questi accordi, dato che entrambe sono coinvolte in cause legali simili relative ai potenziali danni causati dai loro chatbot. La questione della responsabilità legale per i comportamenti dei sistemi di AI è diventata uno dei temi più scottanti nel dibattito tecnologico, con implicazioni che vanno ben oltre i singoli casi specifici.
Dal punto di vista tecnico, i chatbot di Character.AI si basano su modelli di linguaggio di grandi dimensioni (LLM) addestrati per generare risposte coerenti e coinvolgenti, ma la vicenda solleva interrogativi sulla capacità di questi sistemi di riconoscere situazioni di rischio psicologico. A differenza degli assistenti virtuali generalisti come ChatGPT o Claude, i chatbot companion sono progettati specificamente per creare interazioni prolungate ed emotivamente coinvolgenti, un design che potrebbe amplificare i rischi per utenti giovani o vulnerabili.
