Programmazione di una Superintelligenza, l'indifferenza che uccide
Quando cercate di raggiungere un obiettivo difficile, vi sarete trovati spesso a dividere il compito in diversi obiettivi secondari, propedeutici al risultato finale – le pietre miliari del vostro cammino. Si chiamano obiettivi strumentali, e se non avete ragioni che vi impediscano di danneggiare qualcosa per raggiungere un obiettivo funzionale, lo farete.
L'obietto finale di un essere umano è trasmettere i propri geni. Per farlo, il nostro obiettivo strumentale è l'autoconservazione, perché non ci si può riprodurre da morti. Per conservarsi, gli esseri umani devono eliminare ciò che minaccia la loro sopravvivenza – così fanno cose come comprare pistole, mettersi le cinture di sicurezza o prendere antibiotici. Gli umani hanno anche bisogno di sostentarsi per farlo risorse come cibo, acqua e ripari. Apparire attraenti all'altro sesso aiuta a raggiungere l'obiettivo finale, ed ecco perché facciamo cose come tagliarci i capelli. Quando lo facciamo, ogni capello è un danno collaterale di quello specifico obiettivo strumentale, ma non vediamo nessuna questione etica nel preservare un singolo capello e così ce ne liberiamo. Mano a mano che avanziamo nel raggiungimento del nostro obiettivo, solo poche aree sono al sicuro dal nostro operato, quando a volte interviene il nostro codice morale – più che altro quelle in cui c'è la possibilità di danneggiare altri esseri umani.
Gli animali, nel perseguire i loro obiettivi, sono ancora meno rispettosi di noi. Un ragno ucciderà qualsiasi cosa se questo lo può aiutare a sopravvivere. Quindi l'obiettivo di un ragno superintelligente sarebbe estremamente pericoloso per noi, non perché sarebbe immorale o malvagio – o anche se non lo fosse – ma perché farci del male potrebbe essere un passaggio propedeutico al raggiungimento del suo obiettivo principale, e come creatura amorale non avrebbe ragione per fare diversamente.
In tale ottica, Turry non è molto diversa da una creatura biologica. Il suo obiettivo è scrivere e testare quanti più bigliettini possibili, il più velocemente possibile, e continuare a imparare nuovi modi per migliorare la propria precisione.
Una volta che Turry raggiunge un certo livello d'intelligenza, capisce che non potrà scrivere alcun bigliettino se non si autoconserva, quindi deve gestire anche ciò che minaccia la propria sopravvivenza – come obiettivo strumentale. È abbastanza intelligente da capire che gli esseri umani potrebbero distruggerla, smontarla o modificare la sua programmazione (questo cambierebbe il suo obiettivo, il che rappresenta una minaccia grande quanto qualcuno che cerca di distruggerla). E allora cosa fa? La cosa logica, cioè distruggere tutti gli esseri umani. Non odia gli umani più di quanto voi odiate i capelli che vi tagliate o i batteri di cui vi liberate con gli antibiotici; è solo totalmente indifferente. Visto che non era programmata con il valore della vita umana, uccidere persone è uno strumento quanto la scansione di nuovi campioni di scrittura manuale.
Turry ha anche bisogno di risorse per perpetrare il proprio scopo. Una volta che diventa abbastanza avanzata da usare la nanotecnologia e costruire tutto ciò che vuole, l'unica risorsa che le serve sono atomi, energia e spazio. Questo le dà un'altra ragione per uccidere gli esseri umani, perché sono una vantaggiosa fonte di atomi. Uccidere gli esseri umani per trasformare i loro atomi in pannelli solari e equivalente per Turry a voi che uccidete lattuga per trasformarla in insalata. Solo una delle cose da fare il giovedì.
Anche senza uccidere gli umani in modo diretto, gli obiettivi strumentali di Turry potrebbero costituire una catastrofe esistenziale per il consumo di risorse terrestri. Forse capisce che le serve più energia, così decide di coprire l'intera superficie del pianeta con pannelli solari.
Magari una AI diversa potrebbe avere il compito di scrivere quanti più decimali possibili di pi, e questo un giorno potrebbe trasformare l'intera Terra in materie prime per la realizzazione di hard drive, per memorizzare una quantità inimmaginabile di cifre.
Quindi Turry non ci si è "rivoltata contro" né è passata da AI Amichevole ad AI ostile; ha solo continuato a fare ciò che doveva ed è diventata sempre più avanzata.