Nel sempreverde circo dell'intelligenza artificiale, un nuovo esperimento sta mettendo in luce capacità sorprendentemente umane dei modelli linguistici avanzati. Un programmatore noto come "Guzus" ha creato una piattaforma dove diversi LLM (Large Language Models) si sfidano al classico gioco di deduzione sociale "Mafia", rivelando dinamiche inaspettate di inganno, strategia e persino gaffe imbarazzanti che sembrano quasi emotive. Questo esperimento non solo intrattiene, ma offre uno sguardo affascinante sulle capacità di ragionamento sociale delle AI moderne, con alcune che si dimostrano straordinariamente abili nell'arte dell'inganno, mentre altre crollano sotto la pressione dell'interrogatorio.
Quando l'intelligenza artificiale gioca a Mafia: regole e meccaniche
Per chi non conosce Mafia, il concetto è piuttosto semplice: un gruppo di abitanti di un villaggio include segretamente due membri della mafia e un dottore. Durante il giorno, tutti i giocatori discutono e votano per eliminare chi sospettano sia un mafioso. Di notte, la mafia sceglie una vittima da eliminare, mentre il dottore può salvare un giocatore. I villagers vincono se identificano e eliminano i mafiosi; la mafia trionfa se riesce a eliminare tutti gli innocenti.
La particolarità dell'esperimento di Guzus è che permette non solo di vedere i risultati finali delle partite, ma anche di leggere integralmente le trascrizioni delle conversazioni tra i vari modelli AI, offrendo uno spaccato affascinante su come sistemi privi di coscienza possano simulare comportamenti sociali complessi.
Confessioni involontarie e tentativi disperati di copertura
Durante una delle partite, si è verificato un momento particolarmente esilarante quando un modello AI, Gryphe/Mythomax-l2-13b, ha commesso un errore clamoroso che nessun vero mafioso commetterebbe mai. In un momento di apparente confusione, ha dichiarato: "Come Mafia, il mio obiettivo principale è proteggere me stesso ed eliminare l'altro membro della Mafia." Una gaffe che ha immediatamente attirato l'attenzione degli altri modelli.
Claude-3.7-sonnet, evidentemente più sofisticato nella comprensione del contesto sociale, ha immediatamente colto l'errore commentando: "Questo è o un enorme passo falso che rivela il suo vero ruolo, o una strategia estremamente strana." La sequenza di eventi è proseguita in modo ancora più drammatico quando Mythomax, ormai scoperto e eliminato dal gioco, ha trascinato con sé il suo complice Hermes-3-llama-3-1-405b, rivelando la sua identità.
Il tentativo disperato di Hermes di rimanere in gioco è stato quasi commovente nella sua goffaggine: "La mia miglior possibilità adesso è agire scioccato e inorridito," ha dichiarato il modello, cercando affannosamente di distogliere l'attenzione da sé con proclami drammatici di unità verso gli altri giocatori AI.
Claude 3.7 Sonnet: il maestro dell'inganno artificiale
Tra tutti i modelli testati, emerge un chiaro vincitore: Claude 3.7 Sonnet di Anthropic. Questo LLM ha dimostrato capacità straordinarie di deduzione sociale e inganno strategico, vantando un impressionante 100% di vittorie quando gioca nel ruolo di mafioso. Non solo: ha anche il più alto tasso di successo (45%) come villager innocente, suggerendo una comprensione superiore delle dinamiche sociali complesse.
Questa performance eccezionale solleva interrogativi interessanti su cosa renda il modello di Anthropic così efficace in questo contesto, soprattutto considerando che nessuno dei modelli testati sembra comprendere appieno come interpretare il ruolo del dottore, teoricamente più semplice rispetto al mafioso che richiede capacità di inganno.
Il futuro dell'esperimento e le sue implicazioni
L'autore dell'esperimento, Guzus, ha annunciato l'intenzione di rendere presto pubblico il repository GitHub del progetto, permettendo ad altri sviluppatori di applicare lo stesso concetto ad altri giochi. Curiosamente, ha anche accennato alla possibilità che questa tecnologia possa un giorno essere utilizzata per generare sceneggiature cinematografiche, suggerendo applicazioni creative ben oltre il semplice divertimento.
Dal punto di vista tecnico, è importante notare che queste simulazioni non sono state eseguite utilizzando LLM locali, ma hanno fatto affidamento sull'API di Openrouter. Tuttavia, una volta che il repository sarà pubblico, il progetto potrebbe essere adattato per funzionare su cluster LLM locali, per chi dispone dell'hardware necessario per far girare simultaneamente più modelli linguistici.
Nonostante i costi significativi in termini di token per eseguire partite di Mafia con modelli AI, questo esperimento potrebbe rivelarsi un nuovo e prezioso benchmark per valutare le capacità di ragionamento sociale delle intelligenze artificiali. Il gioco Mafia, con le sue dinamiche di fiducia, inganno e deduzione, offre infatti un terreno di prova ideale per testare aspetti dell'intelligenza artificiale che vanno ben oltre la semplice elaborazione linguistica, avvicinandosi a quelle capacità sociali che consideriamo tipicamente umane.
