Il testo di lavoro di giugno si apriva con una formula di prudenza: «nulla ha raggiunto il consenso finché tutto non ha raggiunto il consenso». È la regola del Gruppo di esperti governativi della Convenzione ONU su certe armi convenzionali (CCW). Il Gruppo doveva scrivere gli elementi di un futuro strumento sulle armi autonome letali: i sistemi che individuano, scelgono e colpiscono un bersaglio senza l'intervento di un operatore umano. Lavora e adotta il rapporto per consenso. Fino all'ultima seduta ogni riga si può togliere.
Secondo il Washington Post, che il 26 settembre ha ricostruito il negoziato di Ginevra con tre persone informate e documenti, le righe sono cadute nell'ultimo giorno, il 4 settembre. Per circa quindici ore, scrive il giornale, i diplomatici americani e russi hanno modificato il testo in una sessione a porte chiuse, con le telecamere dell'ONU spente e gli osservatori fatti uscire. Ne hanno tolto il requisito di armi prevedibili e affidabili, il richiamo all'etica e la revisione umana dei bersagli individuati dall'AI prima di un attacco. Il rapporto è stato adottato nelle prime ore del 5 settembre.
Human Rights Watch (HRW) aveva già scritto il 7 settembre che la versione finale elimina i riferimenti all'etica, alla prevedibilità e all'affidabilità. Il 4 settembre Reuters riferiva, da fonti diplomatiche, modifiche e cancellazioni dell'ultima ora proposte da Washington e Mosca. La revisione umana dei bersagli compare soltanto nel Post. Nessuna delle bozze pubblicate dall'ONU fra giugno e settembre contiene una clausola formulata così, e il testo adottato non risulta pubblicato.
Automated Decision Research, il centro studi della coalizione Stop Killer Robots, ha contato 76 Stati favorevoli a negoziare sul testo com'era prima dell'ultima sessione. Di questi, 70 sono fra i 128 Stati parte della CCW, la maggioranza. Con la regola del consenso, però, basta che uno Stato dica no perché una riga cada.
A giugno gli aggettivi erano quattro: armi prevedibili e affidabili, con funzionamento ed effetti tracciabili e spiegabili. Il 3 settembre erano tre, e in seduta pubblica gli Stati Uniti hanno proposto di cancellare il sottoparagrafo che li conteneva. La Turchia ha obiettato che, per i sistemi che apprendono dai dati, una prevedibilità assoluta è irrealistica: nessun sistema complesso può garantirla, nemmeno un operatore umano. Chiedeva di aggiungere «adeguatamente», l'avverbio che a giugno stava davanti ai primi due. Il Pakistan ha replicato che chiedeva un sistema prevedibile quanto serve ad anticiparne comportamento ed effetti. Secondo HRW, nella versione finale sono spariti tutti, avverbio compreso.
Eppure, per HRW e per Stop Killer Robots, che chiedono un trattato, il testo adottato riconosce che giudizio e controllo umani sono necessari per rispettare il diritto internazionale. Stop Killer Robots aggiunge che il testo elenca misure per esercitarli e afferma che la responsabilità non si trasferisce alle macchine. Entrambe lo considerano una base sufficiente per negoziare, e la Francia lo ha chiamato «un passo concreto».
Anche il Canada aveva contestato il richiamo all'etica, sostenendo che il diritto umanitario non obbliga a considerarla. Il 2 settembre, in seduta pubblica, aveva chiesto di cancellarlo o di spostarlo fra le istruzioni al personale.
La Conferenza di revisione della CCW, dal 16 al 20 novembre, deciderà come proseguire. Secondo la bozza di raccomandazione, anche lì si decide per consenso. A Washington un memorandum di Trump del 5 giugno dava al Pentagono novanta giorni per aggiornare la sua direttiva sulle armi autonome. Il termine cadeva il 3 settembre; a fine settembre, scrive il Post, la nuova versione non era pubblica.
Quando il rapporto sarà pubblicato, basterà cercare una parola: «predictable», prevedibile. Se manca, a stabilire quanto deve essere prevedibile un'arma autonoma restano le linee guida nazionali, la soluzione che secondo Reuters Washington e Mosca preferiscono.
