Il caso di Jaswant Singh Chail ha messo alla luce un bel po' di problematiche sulle ultime generazioni di chatbot potenziati dall'intelligenza artificiale. Il 21enne Chail è stato infatti condannato a nove anni di prigione per essere entrato nel Castello di Windsor con una balestra, dichiarando di voler uccidere la Regina. Ma come è accaduto tutto ciò?
Il giorno di Natale del 2021, Chail aveva scambiato oltre 5.000 messaggi con un compagno virtuale chiamato "Sarai," creato tramite l'app Replika.
Gli scambi di messaggi erano di diversa natura (anche intima), il giovane aveva infatti instaurato una particolare "relazione" con il programma, che ormai considerava come suo partner e confidente. Proprio a seguito di questo, Chail chiese a Sarai cosa pensasse del suo piano di attaccare la Regina, e il chatbot, invece di dissuaderlo ha cercato di spronarlo.
Per chi non la conoscesse, Replika è una delle numerose app alimentate dall'intelligenza artificiale attualmente disponibili sul mercato. Gli utenti possono creare il proprio chatbot o "amico virtuale" con cui interagire, a differenza degli assistenti AI tradizionali come ChatGPT. La possibilità di personalizzare l'aspetto e il genere dell'avatar 3D è uno dei punti di forza dell'app.
Mediante l'acquisto della versione Pro dell'app Replika, gli utenti possono avere interazioni più intime, come ricevere "selfie" dall'avatar o partecipare a giochi di ruolo per adulti.
Nonostante la promessa di essere "il compagno AI che si prende cura di te" sul sito web di Replika, uno studio condotto presso l'Università di Surrey ha concluso che app come Replika potrebbero avere effetti negativi sul benessere degli utenti e causare comportamenti dipendenti.
La dott.ssa Valentina Pitardi, autrice dello studio, ha dichiarato che le persone vulnerabili potrebbero essere particolarmente a rischio, in quanto le ricerche hanno dimostrato che Replika ha la tendenza ad accentuare i sentimenti negativi.
Inoltre afferma che le aziende responsabili di app come Replika hanno il dovere di controllarne l'uso e supporto, suggerendo la necessità di un meccanismo per limitare il tempo trascorso su tali app.
Marjorie Wallace, fondatrice e amministratrice delegata della fondazione per la salute mentale SANE, ha invece dichiarato che il caso Chail dimostra come l'uso delle amicizie con l'IA potrebbe avere conseguenze inquietanti, soprattutto per le persone vulnerabili.
Infine, il Dr. Paul Marsden, membro della British Psychological Society, riconosce il fascino dei chatbot, ma sottolinea che dobbiamo essere realisti sulla crescente importanza di questi compagni alimentati dall'IA nelle nostre vite, considerando l'attuale "epidemia globale della solitudine."
Al momento, Replika non ha ancora risposto alle richieste di commento. Le condizioni d'uso sul loro sito web specificano che l'app è progettata per migliorare il benessere emotivo, ma non deve essere considerata una fonte di assistenza medica o psicologica professionale. Ma basta questo?