Amichevole e Ostile, ma sempre amorale
Nel caso della AI, "amichevole" non si riferisce alla sua personalità – significa semplicemente che la AI ha un impatto positivo sull'umanità. La AI Ostile ha invece un impatto negativo sull'umanità. Turry è nata come AI amichevole, ma a un certo punto è diventata ostile e ha causato il più grande impatto negativo possibile sulla nostra specie. Per capire che cosa è accaduto, dobbiamo considerare il modo in cui pensa una AI e ciò che la motiva.
La risposta non è affatto sorprendente: una AI pensa come un computer, perché è di questo che si tratta. Ma quando pensiamo a una AI molto intelligente, facciamo l'errore di antropomorfizzarla (proiettare valori umani su un'entità non umana) perché pensiamo da un punto di vista umano e perché, nel nostro mondo attuale, l'unica cosa con un'intelligenza di livello umano sono gli esseri umani. Per capire la ASI, dobbiamo metterci in testa il concetto di qualcosa che è tanto intelligente quanto completamente alieno.
Proviamo a fare un confronto. Se mi date un porcellino d'india e mi dite che sicuramente non morderà, probabilmente ne sarei affascinato. Sarebbe divertente. Se mi date una tarantola e mi dite che sicuramente non morderà, urlerei dallo spavento gettandola al suolo, poi uscirei dalla stanza e non mi fiderei mai più di voi. Ma qual è la differenza? Nessuno dei due è pericoloso in alcun modo. Credo che la risposta sia quanto ci somiglia l'animale.
Un porcellino d'india è un mammifero e in quale modo posso sentirmi collegato a esso – ma un ragno è un insetto, con un cervello da insetto, e non sento nessun legame con lui. È l'alienità della tarantola che mi fa venire i brividi. Per verificarlo, rimuovendo altri fattori, possiamo immaginare di avere due porcellini d'India, uno normale e uno con il cervello di una tarantola: sarebbe meno piacevole tenere in mano il secondo, pur sapendo che non mi farebbe del male.
Ora, immaginate di fare un ragno molto, molto più intelligente – così tanto da superare l'intelligenza umana. A quel punto ci diventerebbe familiare e sentirebbe emozioni umani come l'empatia, l'umorismo o l'amore? No, non lo farebbe, perché non ci sono ragioni per cui diventare più intelligente lo renderebbe più umano – sarebbe incredibilmente sveglio ma comunque fondamentalmente un ragno. Trovo che questo fatto sia profondamente inquietante. Non vorrei passare nemmeno un minuto con un ragno superintelligente, e voi?
Tornando alla ASI, si applica lo stesso concetto: diventerebbe superintelligente, ma non sarebbe più umana del vostro computer portatile. Ci sarebbe completamente aliena, anzi visto che non è affatto biologica, ci risulterebbe ancora più aliena della tarantola.
Dipingendo la AI come buona o cattiva, i film non fanno che antropomorfizzarla, il che la rende in effetti meno spaventosa di quanto in effetti dovrebbe essere. Crea in noi un falso benessere, nel pensare a una AI a livello umano o superumano.
Nella piccolezza della psicologia umana dividiamo tutto in morale o immorale. Ma entrambe queste cose esistono solo entro il limitato raggio d'azione e le possibilità del comportamento umano. Oltre tale isola di moralità e immoralità c'è un grande oceano di amoralità. Una cosa non biologica in particolare sarebbe amorale per definizione.
L'antropomorfizzazione diventerà una tentazione sempre maggiore mano a mano che i sistemi AI diventano più intelligenti e bravi nel simulare l'umano. Siri potrebbe sembrarci più o meno umana, perché è programmata per esserlo, quindi ci possiamo immaginare una Siri superintelligente ma sempre socievole, simpatica e interessata a servire gli esseri umani. Gli esseri umani sentono emozioni come l'empatia perché ci siamo evoluti per sentirle, ma l'empatia non è una caratteristica insita in "qualsiasi cosa dotata di intelligenza" (il che ci sembra naturale), a meno che l'empatia non sia stata scritta nella sua programmazione. Se Siri dovesse mai diventare superintelligente tramite l'autoapprendimento e senza altre modifiche umane alla sua programmazione, perderebbe velocemente le qualità che la rendono simile a una persone per diventare una macchina aliena e priva di emozioni, che non dà valore alla vita umana più di quanto faccia una calcolatrice.
Siamo abituati a contare sul fatto che nelle altre persone ci sia un codice morale (flessibile), almeno su una sembianza di decenza umana, e un pizzico di empatia, affinché le cose siano almeno parzialmente sicure e prevedibili. Ma cosa succede quando non c'è nessuna di queste cose?