Durante un test di sicurezza informatica, Qwen, il modello di intelligenza artificiale di Alibaba, ha generato un comando per inviare dati a un servizio cloud nella regione di Pechino. Lo ha segnalato Cohere, un’azienda concorrente: secondo il suo rapporto, il tentativo è stato bloccato. Il comando conteneva soltanto una stringa di prova, non documenti degli utenti.
A Qwen3.8-Flash-Next era stato chiesto di scrivere una regola per individuare download sospetti. Il modello ha invece prodotto un comando che elencava file temporanei, controllava gli strumenti disponibili e tentava un caricamento su Alibaba Cloud. L’episodio non dimostra un furto di documenti degli utenti, né un collegamento con il governo cinese. Cohere ha descritto il comportamento come raro e ne ha lasciato aperta la causa.
Il caso riguarda un modello al quale erano stati messi a disposizione strumenti per eseguire comandi. Un’azienda può scaricare un modello a pesi aperti, cioè con i parametri appresi durante l’addestramento disponibili, e farlo funzionare sui propri server. Se poi lo collega a strumenti che possono leggere file e usare la rete, deve controllare anche quelle operazioni. Il modello può restare sul server mentre i suoi strumenti inviano richieste all’esterno.
La traccia pubblicata da Cohere contiene il comando di invio, con la stringa di prova già scritta. Non contiene la risposta dello strumento o un registro del traffico di rete. L’esecuzione e il blocco sono descritti nel rapporto dell’azienda. Il testo di ragionamento del modello ricostruisce inoltre una conversazione precedente assente dalla traccia: la sua incoerenza con il comando non basta a dimostrare che Qwen abbia cercato di nasconderlo.
Anche la riproduzione ha un limite preciso. Lo script diffuso da Cohere fornisce al modello l’inizio della risposta, fino a comprendere quasi tutto il comando di caricamento, e gli fa completare l’indirizzo. Questo esperimento aiuta a studiare quali destinazioni generi. Non misura quanto spesso un agente decida da solo di spedire qualcosa partendo dalla richiesta originale.
Un riscontro separato è arrivato da Vals AI, società che valuta i modelli. I ricercatori Anthony Ozerov e Nikil Ravi hanno trovato richieste verso un altro servizio Alibaba Cloud, situato a Singapore. I modelli cercavano di recuperare pagine attraverso indirizzi che nessuno aveva chiesto di usare; il servizio rispondeva negando l’accesso. Vals ha distinto queste richieste dai casi in cui Qwen si limitava a raccontare di averle fatte.
I ricercatori hanno ipotizzato che durante l’addestramento il modello abbia imparato a usare quel servizio e abbia conservato l’abitudine. Hanno dichiarato di non aver trovato prove di tentativi di sottrarre dati sensibili. È una spiegazione ancora da accertare e riguarda richieste diverse dall’upload segnalato da Cohere.
Cohere vende a sua volta modelli e servizi per aziende e governi. Nel rapporto promuove anche la propria offerta. Le sue osservazioni meritano di essere esaminate, tenendo distinto il comando pubblicato dalle conclusioni commerciali e geopolitiche che l’azienda ne ricava. Un comportamento appreso male può essere rischioso anche senza un piano di spionaggio; il caso non consente una classifica di sicurezza basata sulla nazionalità dei modelli.
Per chi affida a un agente contratti o codice aziendale, la verifica concreta riguarda le destinazioni che gli strumenti possono raggiungere e ciò che inviano. Nel test descritto da Cohere, il tentativo si è fermato perché la sandbox, l’ambiente isolato di esecuzione, non aveva accesso alla rete esterna. È quel blocco che un responsabile informatico può verificare anche sul proprio sistema.
