Il problema della programmazione

Che la ASI ci conduca all'immortalità e a un futuro meraviglioso, oppure provochi l'estinzione del genere umano, dipende tutto dalla sua programmazione originale. Il problema, essenzialmente, è realizzare una ASI che non rischi di eliminare gli esseri umani come parte della sua attività principale. Esperti come Nick Bostrom hanno anche delineato un possibile piano d'azione, suddividendolo in diverse fasi.

La nostra volontà coerente estrapolata è il desiderio che avremmo se conoscessimo di più, pensassimo più in fretta, fossimo di più le persone che vorremmo essere, fossimo maturati di più insieme; è il punto in cui l'estrapolazione converge invece di divergere, dove i nostri desideri hanno coesione invece di interferire tra loro; estrapolati come vorremmo essere estrapolati; interpretati come vorremmo essere interpretati

In teoria potrebbe imporre dei limiti nella programmazione, ma prima di tutto c'è il problema della possibile interpretazione di tali limiti. Soprattutto però potremmo essere noi stessi, tra qualche anno o qualche generazione, a trovare tali limiti inadeguati - ma ormai immutabili.

La sfida della programmazione della AI occupa quasi tutto l'articolo conclusivo, che cita anche l'affascinante concetto di volontà coerente estrapolata.