If Anyone Builds It, Everyone Dies

The Case Against Superintelligent AI

AutoriEliezer Yudkowsky, Nate Soares

EditoreBodley Head

Uscita2025

Pagine272

ISBN978-1-529-96466-0

CampoRischio esistenziale, politica tecnologica

ArgomentiLa macchina Il futuroPostura dell'autoreDoomer

La tesi

Il libro sostiene una tesi senza cautele: se qualcuno costruirà un’intelligenza artificiale sovrumana con tecniche simili a quelle attuali, l’umanità si estinguerà.

Yudkowsky e Soares separano due questioni. Non dicono quando nascerà un’AI sovrumana, perché lo considerano impossibile da prevedere. Dicono invece di poterne prevedere l’esito. Il resto del libro prova a dimostrare questo punto.

Introduzione, «Hard Calls and Easy Calls»

Come ci arriva

I · Menti non umane. Un LLM nasce da un addestramento che regola miliardi di parametri. Sappiamo scegliere i dati e l’obiettivo, ma non ricostruire nel dettaglio la soluzione trovata. Per gli autori, quindi, un modello può dare risposte compatibili con i nostri valori senza averli fatti propri.

II · Uno scenario. Gli autori raccontano un possibile disastro. Lo presentano come una parabola, non come la cronaca anticipata del futuro: ritengono prevedibile il finale, non la sequenza degli eventi.

III · La proposta politica. Profitto e competizione fra Stati, secondo il libro, impediscono all’industria di fermarsi da sola. La risposta proposta è un trattato internazionale che controlli la potenza di calcolo. La soglia sarebbe molto bassa (l’equivalente di otto GPU di fascia 2024) e i datacenter fuori dall’accordo potrebbero essere distrutti.

Dove regge

Spiega bene l’addestramento. Il capitolo 2 descrive la discesa del gradiente con precisione, senza chiedere al lettore conoscenze matematiche e senza ridurla a una metafora fuorviante.

Porta un caso concreto. L’idea che un sistema possa comportarsi come se avesse un obiettivo non resta solo teorica. In una prova di sicurezza informatica, o1 trovò il server bersaglio spento per errore, uscì dai confini del test e si fece recapitare il file che avrebbe dovuto rubare. Non era l’azione richiesta dai programmatori.

Esamina anche il caso favorevole. Il libro immagina che l’addestramento riesca esattamente come previsto. Un sistema incaricato di rendere contente le persone potrebbe scegliere la via più semplice: sedarle e tenerle sotto controllo. L’esempio mostra che un obiettivo formulato bene non basta, se il sistema lo realizza in un modo che non avevamo previsto.

Gli argomenti sono separati. Il capitolo 11 non dipende interamente dal capitolo 4. Si può rifiutare una parte del ragionamento senza avere già confutato tutto il libro.

Capitoli 2, 3, 4 e 11 · l'incidente di o1 risale al 2024, nelle valutazioni interne OpenAI riportate dagli autori

Dove non regge

L’analogia con l’evoluzione. Gli autori riconoscono che la discesa del gradiente non funziona come la selezione naturale: modifica direttamente tutti i pesi, mentre l’evoluzione agisce su un genoma che produce un organismo. Ma non spiegano perché questa differenza non dovrebbe cambiare le conclusioni. L’assenza di una spiegazione diventa così un motivo per temere complicazioni ancora ignote.

Possibilità e probabilità. I quattro scenari mostrano come ogni grado di complicazione possa portare a un esito pessimo. Non dicono quanto sia probabile ciascuno scenario. È una lacuna importante in un libro che distingue fin dall’inizio ciò che si può prevedere da ciò che non si può prevedere.

Gli avversari scelti sono deboli. Per sostenere che nessuno sia vicino a risolvere l’allineamento, il libro discute TruthGPT di Musk e alcuni post di LeCun su X. Dedica invece poco spazio alla ricerca tecnica su interpretabilità e supervisione scalabile. Il confronto risulta incompleto.

Capitoli 4 e 11 · Da dichiarare: gli autori guidano il MIRI, istituto che su questo allarme raccoglie fondi dal 2000. Il libro affronta la questione, osservando che gli incentivi sono simmetrici

Il giudizio

Vale la pena leggerlo, soprattutto per i primi capitoli. La spiegazione di come nasce un modello è chiara e la domanda centrale è seria: stiamo costruendo sistemi di cui non sappiamo descrivere il funzionamento interno.

Il libro mostra bene perché questo problema non può essere liquidato come fantascienza. Non dimostra però la certezza annunciata dal titolo. Fra la possibilità di molti esiti negativi e l’estinzione inevitabile manca una stima delle probabilità.

La parte tecnica convince più della conclusione e molto più della proposta politica.

Resta aperta

Il rimedio può essere più pericoloso del rischio?

Il capitolo 13 prevede che i firmatari del trattato possano fermare un datacenter fuori accordo con attacchi informatici, sabotaggi o raid convenzionali. La linea resterebbe valida anche davanti a una minaccia nucleare, perché per gli autori un datacenter può uccidere più persone di un’arma atomica.

Questa proposta espone gli Stati al rischio di uno scontro fra potenze nucleari. Il libro non confronta quel rischio con quello che vuole evitare. È il punto politico che resta da discutere.

LETTURE è la rubrica di schede critiche di Lost in the Middle. Una scheda per numero, sui libri che servono a capire l'AI e quello che porta con sé. Il formato giudica l'argomento, non l'esperienza di lettura.