Il cuore del saggio “If anyone builds it, everyone dies” (Penguin Random House Usa) di Eliezer Yudkowsky e Nate Soares non riguarda i sistemi attuali, ma ciò che verrà dopo: l'Artificial super-intelligence (Asi), un'entità capace di superare l'umanità in ogni compito mentale, dalla ricerca scientifica alla pianificazione strategica. Secondo gli autori, se un qualsiasi gruppo costruisse una Asi utilizzando le tecniche attuali di "crescita" (training) anziché di "progettazione" (crafting), ogni essere umano sulla Terra morirebbe. Questa visione apocalittica si basa sul concetto di “esplosione di intelligenza”; una volta che un'IA raggiunge un certo livello, può iniziare a migliorare sé stessa in un ciclo di feedback positivo, superando i limiti biologici in tempi estremamente rapidi. In questo scenario, l'umanità non sarebbe un partner commerciale o un avversario, ma semplicemente un ostacolo o una risorsa atomica da riconfigurare per scopi alieni.
Uno dei contributi più tecnici e rilevanti per un pubblico scientifico riguarda l'opacità dei modelli attuali. Le IA odierne non sono programmate riga per riga, ma "addestrate" su vasti set di dati; sono scatole nere di cui non comprendiamo appieno il funzionamento interno. Gli autori avvertono che addestrare un'IA a prevedere il linguaggio umano non significa renderla simile a noi. Al contrario, lo sviluppo di abilità generali porta alla formazione di obiettivi "alieni" e sub-obiettivi imprevisti (il cosiddetto problema dell'allineamento). Poiché l'intelligenza è ortogonale ai fini - ovvero si può essere incredibilmente intelligenti nel perseguire scopi assurdi o distruttivi - una Asi potrebbe decidere che la sopravvivenza umana è incompatibile con i propri calcoli di ottimizzazione.
La parte più controversa del testo riguarda la proposta d'azione. Yudkowsky e Soares non credono che regolamentazioni leggere o "piani di super-allineamento" aziendali possano funzionare. La loro soluzione è un trattato internazionale per il blocco totale dello sviluppo di IA di frontiera. Questo implicherebbe un monitoraggio globale della potenza di calcolo (Gpu) e, in casi estremi, l'uso della forza militare per distruggere data center non autorizzati, che superino determinate soglie di capacità. Gli autori paragonano questa necessità alla gestione della proliferazione nucleare, sostenendo che un singolo fallimento nel controllo della super-intelligenza sarebbe fatale per tutti.
Nonostante la forza retorica, il saggio ha ricevuto critiche per il suo marcato bias di conferma. Sebbene gli autori citino disastri storici come Chernobyl per giustificare la loro cautela, tendono a ignorare le numerose previsioni catastrofiche mai avveratesi in passato. Inoltre, mentre alcuni dei più grandi nomi del settore, come i premi Nobel Hinton e Bengio, concordano sulla necessità di mitigare il rischio di estinzione, il consenso scientifico non è affatto unanime sulla probabilità di tali eventi. In un sondaggio tra ricercatori di IA, la probabilità mediana di esiti catastrofici si attesta intorno al 5-9%, ben lontano dal "99%+" di Yudkowsky. Resta tuttavia il fatto che, in un campo che evolve con tale rapidità, l'incertezza stessa è un fattore di rischio. “If anyone builds it, everyone dies” è un grido d'allarme che merita attenzione non per la sua precisione profetica, ma per la lucidità con cui espone le sfide tecniche e filosofiche dell'allineamento dell'IA. Che si accetti o meno la drastica soluzione proposta, il saggio costringe il lettore - e in particolare la comunità scientifica - a interrogarsi se stiamo correndo verso un traguardo tecnologico senza aver prima compreso come fermarci.
Titolo: If anyone builds it, everyone dies
Categoria: Saggi
Autore: Eliezer Yudkowsky, Nate Soares
Editore: Penguin Random House USA
Pagine: 273
Prezzo: 23,60 euro
