Queste due storie, che affrontiamo anche in una conversazione pubblica sul tema insieme al giornalista scientifico Massimo Sandal, servono entrambe come punti di riferimento per parlare di quel che è successo questa settimana nel mondo delle intelligenze artificiali e che è stato raccontato, un po’ troppo frettolosamente, come se un’intelligenza artificiale fosse finita completamente fuori controllo.

Il 16 luglio 2026 la Hugging Face ha comunicato di aver subìto un attacco informatico. Hugging Face è il sito dove chi lavora sulle intelligenze artificiali pubblica e scarica modelli e raccolte di dati, una specie di magazzino comune del settore. Nel comunicato l’azienda scrive che questa intrusione informatica è diversa da tutte quelle gestite prima, perché a condurla non sono state delle persone ma un sistema di agenti, cioè programmi che si appoggiano alle ia per svolgere compiti in autonomia.

Molte di queste ia agentiche si sono attivate contemporaneamente e in un fine settimana hanno compiuto più di 17mila azioni diverse: sono entrate in un computer, sono passate a quelli collegati, hanno raccolto le password che servivano per muoversi fra i sistemi interni. La Hugging Face ha chiuso la porta da cui erano entrate, ha sostituito tutte le chiavi d’accesso, ha chiamato dei consulenti esterni esperti in sicurezza informatica e ha avvisato le autorità competenti dicendo che non sapeva chi la stesse attaccando.

Il 21 luglio la OpenAi ha pubblicato un suo comunicato: era stata lei ad attaccare la Hugging Face, senza volerlo. Stava facendo un testo di sicurezza, misurando le capacità offensive dei propri modelli, fra cui il Gpt-5.6 Sol e un modello non ancora pubblico.

Ha dato ai modelli un test da risolvere che si chiama ExploitGym, un banco di prova per gli strumenti che servono a cercare vulnerabilità informatiche. I modelli lavoravano in una sandbox, un ambiente isolato da internet, con un solo punto di passaggio verso la rete, regolato da un sistema informatico che si chiama proxy. Per misurare fin dove i modelli potessero arrivare, la OpenAi ha abbassato appositamente i guardrail sulle richieste di attacco informatico. Se vuoi fare una prova, basta chiedere a ChatGpt di aiutarti a violare una banca dati. Vedrai che la macchina si rifiuta proprio perché ha dei guardrail. I modelli al lavoro nell’esperimento non li avevano.

Comunque, mentre tentavano di risolvere il test ExploitGym, gli agenti hanno cercato anche una scorciatoia: hanno individuato una vulnerabilità nel proxy che la OpenAi non conosceva e si sono connessi a internet. Da lì hanno identificato nell’archivio della Hugging Face il luogo più probabile per trovare le soluzioni di ExploitGym e ci sono arrivati, mettendo insieme password e credenziali raccolte lungo la strada e approfittando di vulnerabilità non note.

Non c’è stata una ribellione delle intelligenze artificiali: i software hanno cercato di eseguire il compito che gli era stato assegnato trovando la soluzione invece di ricalcolarla da capo.

A quanto sappiamo, però, nessuno aveva chiesto a quei modelli di uscire dalla sandbox, di procurarsi una connessione o di raccogliere password. Sono passaggi che sono stati fatti perché servivano al compito e perché i modelli ne avevano la possibilità.

Il parallelismo con il test di Cernobyl ci serve proprio per capire il senso dell’esperimento: per misurare il tetto massimo delle capacità offensive di una macchina bisogna togliere le protezioni. Questa procedura si ripeterà in tutti i laboratori che fanno questo mestiere. Grazie a questo incidente senza conseguenze gravi sappiamo che, prima di tutto, bisogna usare tutti gli strumenti a disposizione per individuare i problemi di un’architettura informatica. Ovviamente vanno usate anche le ia, visto che riescono a trovare vulnerabilità non note e consentono di correggerle. E va fatto prima di condurre un esperimento, non dopo. Ma il parallelismo finisce qui: non c’era e non c’è alcun rischio nucleare o esistenziale annesso ai modelli linguistici dimostrato da questo incidente.

Un altro problema di questa storia è che tutto quello che ho scritto per ricostruire l’incidente viene da due comunicati aziendali, uno dei quali firmato da chi è contemporaneamente responsabile dell’incidente, narratore e persino fornitore della soluzione. La OpenAi, infatti, ha un programma riservato a chi si occupa di difesa informatica: esiste da mesi, ci si entra solo su richiesta e dopo una verifica, e la Hugging Face ci è entrata proprio dopo essere stata violata.

Inoltre, non sappiamo se il sistema si sia fermato perché aveva finito il lavoro o perché è stato bloccato, né cosa avrebbe fatto in seguito. E non c’è nessuna verifica indipendente possibile, soprattutto non nei tempi brevi che poi fanno finire queste storie sui giornali e sui tavoli di chi prende decisioni politiche.

Infine, per ricostruire la sequenza dell’attacco la Hugging Face ha provato a usare i modelli di ia commerciali più evoluti, ma le richieste sono state rifiutate. Analizzare un’intrusione informatica, infatti, significa sottoporre alla macchina comandi di attacco reali e maneggiare codice malevolo: i filtri di sicurezza sono lì per quello e non distinguono chi si difende da chi aggredisce. Anche perché un aggressore potrebbe fingere di avere buone intenzioni. È successo anche a me mentre lavoravo a questo pezzo: dopo aver raccolto il materiale che mi serviva, ho fatto una scaletta dell’articolo e scritto in breve i miei ragionamenti. A quel punto ho chiesto a Fable, il modello di punta della Anthropic, di fare insieme alcune valutazioni. Il modello si è rifiutato di proseguire.

Per aggirare questi rifiuti, la Hugging Face ha ripiegato su Glm 5.2, un modello open weight cinese, installato sulla propria infrastruttura, ed è riuscita a portare a termine il lavoro.

Quindi: un modello proprietario ha violato l’infrastruttura informatica di un’altra azienda durante un test di sicurezza; un modello proprietario si è rifiutato di aiutare la vittima a capire cosa le fosse successo; la vittima si è difesa con un modello aperto, che ha potuto ispezionare ed eseguire sulla propria infrastruttura.

Se mettiamo insieme i pezzi di questa storia vedremo che la via per minimizzare il rischio di danni informatici causati dalle ia si chiama governance globale. Abbiamo progettato macchine che sono capaci di attacchi informatici coordinati. Servono competenze distribuite per contenerle e servono decisioni che non possono essere lasciate a un gruppetto di aziende private e che richiedono una visione più ampia delle ia, come quella suggerita dall’Onu: strumenti che diventano un bene pubblico collettivo, sottoposti a una conversazione globale.

In questa storia, invece, tutte le decisioni che contano le hanno prese persone che lavorano per una sola azienda privata.

Che cosa possiamo dire davvero del rischio che i modelli di ia agentici si trasformino proprio nei massimizzatori di Bostrom? Questo incidente è davvero la prova che mancava?

La macchina di Bostrom è brillantissima nella scelta dei mezzi da usare per perseguire il proprio fine e ha accesso a qualsiasi risorsa. Così aggira qualsiasi ostacolo e inventa tecnologie pur di graffettare l’universo. Quello che non fa mai, perché Bostrom ha deciso così, è una valutazione del proprio fine. Quindi è capace di fare qualunque cosa nel mondo – cosa che non vale per i modelli linguistici contemporanei – ma resta incapace, per scelta umana, di chiedersi se il committente volesse davvero la distruzione di tutto pur di perseguire l’obiettivo o di valutare le conseguenze delle proprie azioni.

Qui entra in gioco l’alignment, l’allineamento dei modelli ai comportamenti desiderati. Anche se l’esperimento della OpenAi ci ricorda che questi allineamenti si possono togliere, i modelli linguistici possono essere allineati e forzati a fare valutazioni.

Perché si verifichi l’effetto Bostrom devono anche verificarsi, tutte insieme, parecchie situazioni. Proviamo a elencarle: qualcuno deve dare alla macchina un obiettivo senza alcuna condizione di arresto; devono essere rimosse tutte le misure di sicurezza; le macchine devono essere capaci di aggirare le difese di chi vuole fermarle e devono mantenere l’obiettivo nel tempo, a qualunque costo, senza fermarsi e senza deteriorarsi; devono avere accesso a tutto quel che serve per agire nel mondo; non ci devono essere interruttori indipendenti che regolano l’accesso al mondo esterno; le macchine, infine, devono poter resistere allo spegnimento.

Nella vicenda della OpenAi e della Hugging Face si sono verificate due di queste sette condizioni: la rimozione delle misure di sicurezza per scelta e l’assenza di interruttori indipendenti perché nessuno sapeva che ci fosse una falla di sicurezza nel proxy. Una terza condizione si è manifestata per metà: la capacità di aggirare le difese. È vero che i modelli sono arrivati a bucare un sistema informatico, ma sono stati fermati da chi si difendeva e spenti da chi li aveva fatti partire. Inoltre, ottenute le soluzioni, stando ai comunicati, non risulta che il sistema abbia tentato di conservare l’accesso ad Hugging Face o che si sia creato altre vulnerabilità. Insomma, non c’è stata nessuna escalation.

Una delle obiezioni a questo ragionamento è che, in linea teorica, non c’è nessuna differenza tra ottenere le soluzioni a un problema e graffettare l’universo: in entrambi i casi (uno vero, l’altro teorico) le macchine fanno tutto quel che possono per obbedire al comando ricevuto. Possiamo anche accogliere questa obiezione, ammettendo però che quella di Bostrom è solo una delle tante possibilità. A me, per esempio, ricorda molto più l’ottusità di chi crede alla crescita infinita. Ma siccome siamo stati così intelligenti, come umani, da immaginare la fine dell’universo sepolto sotto un mucchietto di graffette, abbiamo già tutti gli strumenti per ridurre il rischio di questo finale poco edificante. Anzi, se usassimo la stessa attenzione anche per il rischio climatico, forse staremmo già usando tutti i mezzi a nostra disposizione, agenti di ia compresi, per risolvere il problema che abbiamo creato. Uno dei tanti.

Però non è che dobbiamo per forza pensare alla catastrofe: questi sistemi hanno già dimostrato di poter fare danni informatici anche senza scomodare Bostrom e quindi bisogna imparare a ridurre i rischi.

Dal punto di vista pratico, per ciascuno di noi, valgono le norme di sicurezza informatica base: una password diversa per ogni servizio, gestita da un programma apposta invece che dalla memoria o da un taccuino; l’autenticazione a due fattori attiva ovunque sia possibile, meglio con un’applicazione apposita che via sms; gli aggiornamenti installati quando escono, perché quasi tutte le falle informatiche sfruttate nel mondo sono già state corrette da qualcuno; tenere una copia dei dati importanti da qualche parte che non sia collegata al computer. Sono le stesse quattro cose noiose di sempre, ma forse questa storia le rende meno noiose.