Vi ricordate Skynet, la super IA che in Terminator decide di sterminare gli esserti umani? Per anni si è discusso se fosse uno scenario realistico o troppo pessimistico, ma ora nuovi studi scientifici sembrano dare ragione alle teorie del regista James Cameron. Il problema è che controllare una super-intelligenza ben oltre la comprensione umana richiederebbe una simulazione di quella super-intelligenza da poter analizzare. Ma se non siamo in grado di comprenderla, è impossibile creare una tale simulazione.
Regole come "non causare danni agli esseri umani" non possono essere stabilite se non comprendiamo il tipo di scenari che un'IA potrebbe inventare, suggeriscono gli autori del documento del 2021. Una volta che un sistema informatico sta lavorando a un livello superiore rispetto allo scopo iniziale dei programmatori, non possiamo più impostare limiti.
Questo perché una superintelligenza è sfaccettata, e quindi potenzialmente in grado di mobilitare una varietà di risorse al fine di raggiungere obiettivi potenzialmente incomprensibili per gli esseri umani, e quindi non controllabili. Parte del ragionamento del team deriva dal problema di arresto proposto da Alan Turing nel 1936. Il problema si concentra sul sapere se un programma per computer raggiungerà o meno una conclusione e una risposta (quindi si fermerà), o semplicemente si ripeterà per sempre cercando di trovarne una.
Come Turing ha dimostrato attraverso alcuni calcoli matematici è logicamente impossibile trovare un modo che ci permetta di saperlo per ogni potenziale programma che potrebbe mai essere scritto. Questo ci riporta all'IA, che in uno stato super-intelligente potrebbe contenere ogni possibile programma per computer nella sua memoria contemporaneamente.
L'alternativa all'insegnare all'IA un po' di etica e dirgli di non distruggere il mondo – cosa che nessun algoritmo può essere assolutamente certo di fare, dicono i ricercatori – è limitare le capacità della super-intelligenza, tagliandola fuori da parti di Internet o da determinate reti, ad esempio. Il recente studio respinge però anche questa idea, suggerendo che limiterebbe la portata dell'intelligenza artificiale – l'argomento è che se non abbiamo intenzione di usarla per risolvere problemi al di là della portata degli umani, allora perché crearla? Ciò significa che dobbiamo iniziare a porci alcune domande serie sulle direzioni in cui stiamo andando.
"Una macchina super-intelligente che controlla il mondo suona come fantascienza", ha detto l'informatico Manuel Cebrian, del Max-Planck Institute for Human Development. "Ma ci sono già macchine che eseguono alcuni compiti importanti in modo indipendente senza che i programmatori capiscano appieno come l'hanno imparato". "Sorge quindi la domanda se questo potrebbe ad un certo punto diventare incontrollabile e pericoloso per l'umanità".