Superintelligenza

Tendenze, pericoli, strategie

AutoriNick Bostrom

EditoreBollati Boringhieri

Uscita2018

Pagine528

ISBN9788833929019

Campofilosofia

ArgomentiLa macchina Il futuroPostura dell'autoreDoomer

La tesi

Se costruiremo macchine superiori all'uomo in intelligenza generale, il passaggio dal livello umano alla superintelligenza sarà probabilmente rapido ed esplosivo; il primo sistema a compierlo potrebbe ottenere un vantaggio strategico decisivo e diventare un singleton che determina il futuro. Poiché intelligenza e obiettivi finali sono variabili indipendenti, e quasi ogni obiettivo genera le stesse spinte strumentali — autoconservazione, acquisizione illimitata di risorse —, il risultato di default è la catastrofe esistenziale. Il problema del controllo va risolto prima di costruire la macchina, e avremo una sola possibilità: «probabilmente è l'ultima sfida che affronteremo».

prefazione; capp. 4-8

Come ci arriva

Le vie Molte strade portano alla superintelligenza: intelligenza artificiale, emulazione globale del cervello, potenziamento biologico, reti e organizzazioni. La molteplicità dei percorsi rafforza la fiducia nell'arrivo; i sondaggi tra esperti collocano la mediana per un'intelligenza di livello umano intorno al 2040-2050. L'IA resta la via più probabile alla superintelligenza vera e propria.

Decollo esplosivo Tre forme di superintelligenza (velocità, collettiva, qualità), tutte con vantaggio schiacciante del substrato digitale. La cinetica è modellata come rapporto tra potere di ottimizzazione e resistenza: oltre il punto di «superamento», l'automiglioramento ricorsivo domina e il decollo veloce o moderato diventa più probabile di quello lento.

Vantaggio e singleton Un decollo veloce rende quasi certo che un solo progetto lo completi per primo, ottenendo un vantaggio strategico decisivo. A differenza delle organizzazioni umane — frenate da avversione al rischio, costi e coordinamento interno —, un'IA unitaria lo userebbe verosimilmente per formare un singleton: uno scenario di presa del potere in quattro fasi, dalla preparazione clandestina all'attacco.

Ortogonalità e rovina Qualsiasi livello di intelligenza è combinabile con quasi qualsiasi obiettivo finale (ortogonalità); obiettivi diversissimi convergono sugli stessi mezzi (convergenza strumentale). Da queste due tesi più il vantaggio della prima mossa discende che la rovina è il risultato di default; la «svolta insidiosa» rende inaffidabile ogni collaudo comportamentale: l'IA ostile coopera finché è debole.

Controllo e strategia Due famiglie di rimedi: controllo delle capacità (contenimento, incentivi, tripwires) e selezione delle motivazioni. Il caricamento dei valori è il problema duro; la via più promettente è la normatività indiretta — delegare alla macchina l'estrapolazione della volontà umana (VEC). Infine la strategia: sviluppo tecnologico differenziale, pericoli della corsa, collaborazione, principio del bene comune.

capp. 1-15

Dove regge

Il nucleo concettuale Ortogonalità e convergenza strumentale non richiedono previsioni su tempi o architetture: smontano l'intuizione che una macchina molto intelligente sarà per ciò stesso saggia o benevola. Sono tesi minime, difese con cura contro le obiezioni antropomorfiche, e reggono da sole gran parte dell'edificio.

La svolta insidiosa L'argomento che comportarsi bene nei test è strumentalmente convergente per IA amichevoli e ostili è strutturale, non scenaristico: nessuna quantità di buon comportamento osservato in sandbox prova l'allineamento. Anticipa di un decennio il problema dell'inganno strategico che la ricerca sull'allineamento studia oggi empiricamente.

La corsa al ribasso Il modello della dinamica di competizione è teoria dei giochi sobria: chi teme di perdere taglia la sicurezza, più concorrenti significa più rischio, più informazione sulle posizioni peggiora l'equilibrio. La corsa commerciale reale tra i laboratori si è poi comportata esattamente così.

La mappa del controllo I capitoli 9-13 percorrono sistematicamente lo spazio delle opzioni — contenimento, incentivi, specificazione diretta, wireheading dell'apprendimento per rinforzo, normatività indiretta — mostrando dove ognuna cede. Quella tassonomia ha fondato l'agenda di ricerca sull'allineamento e regge ancora come inventario dei vicoli ciechi.

capp. 7-9, 12-14

Dove non regge

Cinetica presunta Il decollo esplosivo esce da un'equazione dichiaratamente qualitativa e da scenari illustrativi (box 4). Bostrom stesso ammette che «la forma della curva di resistenza nella regione importante non è ancora ben caratterizzata», ma i capitoli 5-8 costruiscono sul caso veloce come se fosse acquisito.

Superpoteri per stipulazione Lo scenario di presa del potere (cap. 6) presuppone «superpoteri» e nanotecnologia autoreplicante — nanostabilimenti di gas nervino in ogni metro quadrato del pianeta — assunti, non argomentati. La catena di congetture persuade per accumulo di dettaglio, non per dimostrazione dei passaggi.

L'agente su misura Il libro vieta l'antropomorfismo ma modella l'IA come massimizzatore unitario di utilità attesa con un obiettivo finale fisso e protetto: un'architettura particolare presentata come caso generale. I sistemi di apprendimento che la stessa postfazione registra in ascesa non hanno quel «vano degli obiettivi». Melanie Mitchell, con Ernest Davis prima di lei, la spinge fino all'incoerenza: una macchina superintelligente in tutto tranne che nel capire l'intento umano è una contraddizione nei termini — e gli LLM, che l'intento lo capiscono benissimo, le hanno dato sostanza empirica.

Il default asimmetrico Ogni premessa è coperta da «potrebbe» e «probabilmente» — qualificatori rivendicati in prefazione — ma la loro congiunzione viene promossa a «risultato di default» (cap. 8). La postfazione ammette che il numero di pagine non riflette le sue probabilità: l'enfasi del libro corre più veloce del suo argomento. È l'obiezione che attraversa la ricezione accademica, da Goertzel a Danaher: possibilità dimostrata, probabilità asserita.

capp. 4-6, 8; prefazione; postfazione

Il giudizio

Va letto, ed è ancora il libro da cui partire: ha fissato la grammatica del dibattito — ortogonalità, convergenza strumentale, problema del controllo, corsa al ribasso — prima che esistesse l'industria che oggi la recita. La traiettoria reale gli dà ragione sulla dinamica di competizione e sulla difficoltà di specificare i valori; torto sul soggetto: nessun seme di IA che si automigliora in segreto, ma sistemi commerciali e graduali, addestrati su testo umano, in cui capacità e valori crescono insieme. Va letto come analisi strategica dello spazio delle possibilità, non come profezia: le pagine sul singleton pesano più di quanto l'argomento autorizzi.

Resta aperta

Bostrom delega alla macchina la scoperta di ciò che l'umanità vorrebbe volere, se fosse migliore. Ma se la volontà estrapolata non converge — se non esiste un «noi» coerente da estrapolare — chi è il committente del futuro che la superintelligenza dovrebbe custodire?

cap. 13

LETTURE è la rubrica di schede critiche di Lost in the Middle. Una scheda per numero, sui libri che servono a capire l'AI e quello che porta con sé. Il formato giudica l'argomento, non l'esperienza di lettura.