La prima e unica Superintelligenza Artificiale
Bostrom e tanti altri credono anche che lo scenario più probabile è che il primo computer a diventare un ASI vedrà un vantaggio strategico nell'essere l'unico sistema ASI del mondo. E nel caso di un decollo rapido, se anche arriva al livello ASI solo qualche giorno prima del secondo classificato, sarà più che sufficiente per sopprimere permanentemente gli altri concorrenti. Bostrom lo chiama vantaggio strategico decisivo, che permetterebbe alla prima ASI del mondo di diventare ciò che viene chiamato un singleton – una ASI che può dominare il mondo a piacere per sempre, che la sua volontà ci porti all'immortalità, ci cancelli dall'esistenza, o trasformi l'universo in bigliettini di auguri.
Il fenomeno singleton può essere a nostro vantaggio oppure distruggerci. Se le persone più dedite alla teoria della AI e alla sicurezza umane riescono a trovare un modo sicuro di creare una ASI Amichevole prima che una AI qualsiasi diventi una AGI, potrebbe anche succedere che la prima ASI sia amichevole. (Elon Musk ha contribuito con 10 milioni di dollari al The Future of Life Institute, un'organizzazione dedita proprio a questo). A quel punto potrebbe usare il suo vantaggio strategico decisivo per assicurarsi lo stato di singleton e tenere facilmente sotto controllo ogni potenziale AI Ostile in via di sviluppo. Saremmo davvero in buone mani.
Ma se le cose vanno diversamente, se la corsa globale per sviluppare la AI arriva al decollo dell'ASI prima che la scienza capisca come renderla sicura, è molto probabile che emerga una ASI Ostile come Turry e che diventi il singleton, e allora saremmo minacciati da una catastrofe esistenziale.
Guardando a come tira il vento, però, c'è molto più da guadagnare nello sviluppo di tecnologia AI innovative di quanto ce ne sia nella ricerca sulla sicurezza delle AI stesse. Questa potrebbe essere la corsa più importante della storia umana. Ci sono concrete possibilità di mettere fine al nostro dominio sulla Terra, dopodiché resta da vedere ci aspetta l'oblio oppure un futuro meraviglioso.