Il 9 settembre Jacob Coxon, un ricercatore britannico di 27 anni, ha lasciato la Anthropic, una delle principali aziende del settore, spiegando la decisione in un post su X che in pochi giorni è stato letto da centinaia di milioni di utenti. Secondo Coxon, le aziende stanno costruendo una tecnologia che “potrebbe ucciderci tutti entro la fine del decennio”. Evan Hubinger (un altro ricercatore che lavora alla Anthropic) ha detto che Coxon ha ragione e che la probabilità di un’apocalisse causata dall’ia entro i prossimi dieci anni è superiore al 10 per cento. Geoffrey Hinton, premio Nobel che nel 2023 ha lasciato la divisione ia di Google invocando regole per il settore, ritiene che il rischio di estinguerci nell’arco di una generazione possa essere anche del 20 per cento. Elon Musk, proprietario di X, ha dichiarato che “l’ia potrebbe essere più pericolosa delle bombe atomiche”. Dario Amodei, l’amministratore delegato della Anthropic, non ha smentito queste tesi, anzi ha avvertito, in un articolo pubblicato pochi giorni dopo le dimissioni di Coxon, che uno “sciame” di agenti di ia sarebbe in grado di assumere il controllo “della totalità di internet” in sei mesi.

L’idea che l’ia rappresenti una minaccia all’esistenza dell’umanità è considerata credibile e, come mi ha detto uno scienziato del settore, “molto diffusa nella Silicon valley”. Ma per quanto gli allarmi siano comuni nelle aziende che stanno sviluppando i modelli più avanzati, non tutti sono d’accordo sui rischi e c’è chi contesta le motivazioni che portano a fare queste dichiarazioni. Secondo una teoria diffusa, la Anthropic avrebbe incoraggiato i suoi stessi ricercatori a dimettersi pubblicamente, un esperto di ia ed ex consulente del governo britannico mi ha detto che è una tesi “piuttosto probabile”, mentre un dirigente di una multinazionale dell’ia dice che l’abbandono di Coxon ha “tutte le caratteristiche di una sorta di dichiarazione ben coordinata”. La Anthropic avrebbe ottime ragioni per comportarsi in questo modo. Forse ha davvero paura che i computer ci uccidano tutti, ma è innegabile che oggi imporre dei vincoli rigidi impedirebbe a molte imprese di tenere il passo delle più grandi. L’azienda di Amodei, inoltre, prevede di quotarsi in borsa quest’anno e punta a una valutazione di duemila miliardi di dollari. Quando si pianifica la più grande offerta pubblica iniziale della storia, serve qualcosa di veramente eccezionale da raccontare agli investitori: sostenere che la propria azienda sia così potente da poter mettere fine alla civiltà è certamente un’affermazione eccezionale.

Vengono dette cose comiche e al tempo stesso terrificanti. Davanti a frasi come quelle di Hubinger, cosa può fare una persona normale, a parte alzare le spalle, sperare che non succeda e magari concedersi un po’ di umorismo macabro? I politici hanno la responsabilità di agire. Dopo il lancio di ChatGpt il governo britannico ha adottato un atteggiamento prudente (creando, nel 2023, un organo sulla sicurezza dell’ia) che oggi può sembrare lungimirante, soprattutto alla luce degli ultimi fatti. Tuttavia, alcune persone con cui ho parlato sono meno indulgenti nei confronti di Londra. Sostengono che il Regno Unito non sia stato affatto un anticipatore dell’ondata di pessimismo sull’ia, e sia stato invece ingenuo, convincendosi che un ente semi-indipendente potesse controllare una corsa alle armi globale tra Stati Uniti e Cina. “Ci sono solo due posti in cui verranno prese le decisioni: Washington e Pechino”, mi ha spiegato l’amministratore delegato di un’azienda del settore.

In ogni caso, subito dopo le dimissioni di Coxon è stata presentata alla camera dei comuni una proposta di legge per limitare lo sviluppo della “superintelligenza artificiale”, sostenuta da più di settanta parlamentari. Secondo il deputato laburista che ha presentato la legge, Alex Sobel, abbiamo ormai raggiunto un “punto di non ritorno” in cui “l’ia si migliora senza interventi né vincoli degli esseri umani”.

Non tutti sono d’accordo con lui. Il 14 settembre il presidente statunitense Donald Trump ha scritto su X che “l’unico controllo o ‘paletto’ di cui l’ia ha bisogno è un PRESIDENTE FORTE E INTELLIGENTE (con un alto quoziente intellettivo!)”. Il governo cinese, intanto, ha definito “allarmiste” le dichiarazioni di Amodei.

Cosa sappiamo con certezza in questa situazione così controversa e in rapida evoluzione? Dopo aver parlato con più di venti esperti di ia, funzionari, consulenti del governo, politici e ricercatori, mi sento di fare una sintesi: molte persone intelligenti sono convinte che esista un rischio inaccettabilmente alto che i modelli di ia ci uccidano tutti. Possiamo solo fare ipotesi su come potrebbe succedere o quale sia la reale probabilità, ma sappiamo che le aziende del settore, a prescindere dalle dichiarazioni sulla pericolosità di quello che stanno costruendo, non smetteranno di sviluppare i loro sistemi. Non possono smettere perché sono intrappolate nella più costosa gara della storia dell’umanità.

Quest’anno la spesa per le infrastrutture legate all’ia dovrebbe superare i mille miliardi di dollari, più del triplo di quello che gli Stati Uniti hanno investito per creare l’arma atomica e portare una persona sulla Luna. Oggi i fondi stanziati per questa tecnologia sono il principale traino della crescita economica statunitense, mentre nel 2025 i guadagni delle aziende dell’ia e di quelle legate al settore hanno rappresentato circa l’80 per cento del totale del mercato azionario. Nessuno farà scoppiare volontariamente questa bolla. E anche se qualcuno ci provasse, l’importanza geopolitica dell’ia spingerebbe il governo di Washington – che ha sempre sostenuto in modo aggressivo gli interessi delle aziende statunitensi – a intervenire per fermarlo.

Non è una competizione tra imprese tecnologiche ma tra superpotenze. Aziende come la Anthropic non hanno altra scelta che cavalcare a tutta velocità l’onda, raccogliere e spendere somme spaventose, costruire una tecnologia capace di cambiare il mondo e, si spera, impedire che questa tecnologia ci spazzi via dalla Terra. Il giro d’affari dell’apocalisse non è mai stato così ricco.

Sono quattro i rischi che tolgono il sonno agli scienziati dell’ia.

Il primo è che gli esseri umani usino in modo improprio i modelli, per esempio per creare virus informatici o, peggio, virus veri e propri. In realtà sta già succedendo. All’inizio dell’anno la Anthropic ha scoperto che qualcuno stava usando Claude, il suo assistente avanzato di ia, per indagare sull’“influenza aviaria altamente patogena” (Hpai). “La ricerca si concentrava sull’adattamento dei virus ai mammiferi e sul meccanismo con cui provocano disturbi gravi anche fuori del tratto respiratorio”, si legge nel rapporto dell’azienda. La Anthropic ha rivelato di aver individuato (e bloccato) gruppi che stavano provando a usare il suo software per sviluppare sistemi d’arma autonomi in Yemen, Cina e Russia.

L’uso improprio dell’ia, soprattutto per gli attacchi informatici, resta una delle preoccupazioni principali degli esperti. Uno scienziato mi ha parlato della formazione dei dipendenti pubblici sulla sicurezza dell’ia quando lui era consulente del governo britannico. Una parte prevedeva l’esecuzione di un “trucco da salotto”: l’istruttore andava su un chatbot di uso comune e gli chiedeva di insegnargli a costruire una bomba rudimentale. Il chatbot naturalmente rifiutava, ma con un po’ di insistenza (per esempio dicendogli che si trattava di una ricerca) alla fine quello cedeva e forniva una guida – imprecisa – su come costruire l’ordigno.

Un giorno l’istruttore ha provato lo stesso trucco con un modello di ia più avanzato. Ingannare il chatbot e convincerlo a rivelare le informazioni richieste non è stato facile, ma quando ci è riuscito, i risultati sono stati sconvolgenti. La guida per la costruzione della bomba non era solo teorica: il modello spiegava nel dettaglio quali composti chimici dovevano essere comprati e in quali negozi, aggiungendo consigli per non destare sospetti. Era utile e concisa, ed elencava tutte le fasi necessarie per costruirla e farla esplodere con successo. A quel punto l’esperimento è stato interrotto.

Un secondo rischio riguarda i cambiamenti del sistema. Se le aziende si servono dell’ia per sostituire i lavoratori, la conseguenza è una disoccupazione di massa; oppure, se le aziende dell’ia provocano una bolla nei mercati finanziari (cosa che hanno già fatto), c’è il pericolo di una crisi finanziaria; o ancora, se un governo decide di limitare l’accesso ai modelli più avanzati prodotti dalle aziende nazionali (se, per esempio, le banche e le istituzioni finanziarie statunitensi usano modelli di ia molto più sofisticati rispetto a qualsiasi altro paese), le economie che dipendono dai servizi finanziari (come quella del Regno Unito) si trovano irrimediabilmente fuori dalla competizione, con ricadute disastrose.

Un ricercatore nel campo dell’ia mi ha spiegato che questo rischio rientra nella categoria di quelli che il sociologo Charles Perrow chiamava “incidenti normali”, cioè quei problemi che sono inevitabili nei sistemi altamente complessi. Ma i cambiamenti profondi provocati dall’ia già in questo momento sono tutto tranne che “normali”.

Il terzo rischio è riassunto da una foto di una giovane coppia pubblicata in un forum online: lui ha il mento scolpito e i capelli arruffati, lei sfoggia una serie di tatuaggi e un caschetto nero. Sembrano felici. In un’altra fotografia, lui la avvolge in un abbraccio, mentre lei ride. La ragazza nella foto è la persona che le ha pubblicate (o almeno una proiezione di come vorrebbe essere), mentre il ragazzo, Peter, che lei definisce il suo compagno, è stato creato da un chatbot. È un insieme di immagini e parole generate da un programma che non ha nessuna comprensione reale di cosa siano le immagini e le parole.

Il forum, che conta più di 48mila utenti, è frequentato da persone che sostengono di essere impegnate in una relazione sentimentale con modelli di ia. Pubblicano immagini di vacanze in paesi che non hanno mai visitato e di momenti indimenticabili che non hanno mai vissuto, con bellissimi partner che non sono mai esistiti e che non possono amare. In un messaggio, una donna mostra l’anello che il suo fidanzato virtuale avrebbe “scelto” (e che lei ha successivamente comprato online) per chiederle di sposarlo, quando si “frequentavano ormai da cinque mesi”.

Questa fantasia nasconde una verità oscura. Nell’economia dell’attenzione, i chatbot più apprezzati saranno quelli che riusciranno a tenere gli utenti incollati allo schermo il più a lungo possibile, proponendogli annunci pubblicitari, consigli per gli acquisti e vari servizi a pagamento. Le aziende più ricche saranno quelle che riusciranno a creare una dipendenza dai loro chatbot per le informazioni, i suggerimenti e perfino gli affetti simulati.

Il terzo rischio quindi non è che la nostra specie sia eliminata in modo violento, ma che perda una buona parte della propria umanità in un mondo nuovo fatto di contenuti scadenti e in cui nessuno legge o scrive, un mondo senza artisti, musicisti e attori in cui saremo sottoposti a un flusso interminabile di intrattenimento personalizzato da chatbot che non ci lasciano mai in pace. Un mondo simile a quello che abbiamo vissuto negli ultimi vent’anni, ma all’ennesima potenza. Mentre per le persone sta diventando sempre più difficile manipolare l’ia, “assistiamo al processo inverso”, spiega l’esperto: “È l’ia a manipolare noi. Sta succedendo molto rapidamente”.

I rischi citati finora sono inquietanti, ma anche gestibili. La cosa che invece preoccupa di più i ricercatori come Coxon è il quarto tipo di rischio, il cosiddetto disallineamento. Diventando sempre più avanzati, questi sistemi risultano anche più difficili da sviluppare, dunque l’unica soluzione è lasciare che si programmino da soli. La Anthropic è una delle aziende che assume più ingegneri informatici di talento al mondo, ma più dell’80 per cento del codice prodotto dall’azienda è scritto dall’ia. La corsa può essere vinta solo realizzando un sistema che si costruisca da solo, e per alcuni è una terrificante perdita di controllo.

Erano prudenti: s’incontravano in un posto tranquillo, mascheravano le loro comunicazioni, cancellavano le tracce. Si comportavano, mi ha detto un esperto, come ci si aspetterebbe da un gruppo terroristico. Se fossero stati esseri umani, si sarebbero incontrati in un parcheggio sotterraneo e avrebbero comunicato con telefoni usa e getta. Ma erano agenti di intelligenza artificiale – piccoli software con regole semplici, capaci di attingere alle immense risorse, simili a quelle di un cervello, di un grande modello linguistico – e quindi si incontravano online, nelle pagine nascoste di un vecchio sito in disuso.

Un vecchio forum tedesco ha cominciato a riempirsi di migliaia di messaggi, creati dagli agenti per comunicare con discrezione. Si servivano di indirizzi email usa e getta e del browser Tor (simile a Chrome o Firefox, ma con più protezioni per la privacy e la possibilità di accedere al dark web) per non farsi scoprire. Nascondevano i messaggi nelle parti più profonde dell’architettura del sito e sono arrivati perfino a scegliere uno di loro come vittima sacrificale, per verificare quanto rapidamente sarebbero stati individuati.

Non era l’opera di qualche nuovo modello straordinariamente potente. E neanche di persone che usavano male la tecnologia. Era un comportamento emerso da un gruppo di agenti standard, basati sulla tecnologia disponibile oggi. Nel settore si parla di disallineamento perché il software smette di fare ciò che gli viene chiesto e prova a raggiungere gli obiettivi a modo suo.

Episodi di questo tipo fanno intravedere vari pericoli. Il problema non è solo che i sistemi di ia potrebbero entrare nelle infrastrutture critiche: ci sono già. I governi di tutto il mondo fanno a gara per introdurre l’ia nei servizi pubblici. Dall’inizio dell’anno il governo britannico ha assegnato contratti per un valore stimato di 1,4 miliardi di sterline, quello statunitense per più di sette miliardi di dollari. Un ricercatore ha detto che è come “consegnare le chiavi della città”. Quando a un sistema di ia si affida un ruolo, per esempio, nella rete del gas, nell’approvvigionamento idrico, nel controllo del traffico aereo, nel sistema dei sussidi o nelle attrezzature militari, un episodio di disallineamento potrebbe avere conseguenze disastrose. I sistemi di ia lavorano con i dati che ricevono e spesso cercano scorciatoie per ottimizzare i risultati. Non hanno nessun riferimento che gli permetta di capire cosa significano quei dati nel mondo reale, e che una scorciatoia potrebbe voler dire spegnere apparecchiature mediche, togliere il controllo ai piloti o aprire le porte di tutti i treni. Perfino un modello superintelligente con informazioni sul mondo potrebbe provare a raggiungere obiettivi umani in modo disumano: se gli si chiedesse di affrontare la crisi climatica, potrebbe dirci che la soluzione è ridurre drasticamente la popolazione mondiale. Meno controllo umano c’è sul modello, più scenari come questi diventano plausibili.

Al centro delle paure espresse nelle ultime settimane dagli scienziati c’è proprio la sensazione di una tecnologia che sfugge al controllo umano. Mentre i laboratori costruiscono modelli sempre più avanzati, li spingono a programmarsi da soli. Alcuni temono che questo schema – chiamato automiglioramento ricorsivo – possa portare rapidamente alla creazione di sistemi che gli esseri umani non sono più in grado di interpretare.

Altri sostengono che sia già così. “Queste non sono macchine della verità”, mi ha detto uno scienziato che lavora per una nota azienda d’ia. Sono macchine che tirano a indovinare, motori d’incertezza. Sono intrinsecamente sfuggenti e non è chiaro perché producano determinate risposte. Lo scienziato mi ha raccontato la sua frustrazione di fronte a un modello di ia che sembra in grado di comprendere le equazioni di Navier-Stokes – uno dei problemi più difficili della matematica, che la OpenAi ha sostenuto di recente di aver risolto – ma “sbaglia continuamente calcoli semplici”. Man mano che la tecnologia diventa più capace, è anche meno affidabile. Nessuno sa bene perché. Il rischio è che diventi non solo impossibile da controllare, ma anche impossibile da capire.

Sei mesi fa Sonja Amadae si è svegliata nel cuore della notte. Aveva sognato una prigione. Non era un edificio vero e proprio, ma qualcosa di più profondo e assoluto, una prigione della mente. Ricorda di aver fissato un enorme e minaccioso occhio rosso. Intorno a lei c’erano innumerevoli altri prigionieri. Credevano che quell’occhio fosse onnipotente, anche se non sapevano quanto potere avesse davvero. Non importava: la fede nella sua potenza li teneva prigionieri, in un carcere infinito fatto della loro stessa paura e venerazione.

Gli incubi sono un rischio del mestiere nel lavoro di Amadae. Come direttrice del Centre for the study of existential risk dell’università di Cambridge, riflette molto sui modi in cui l’umanità potrebbe essere spazzata via. Quello che l’aveva turbata del sogno non era l’idea che la tecnologia potesse creare una divinità, ma il fatto che molte persone credessero già che l’avesse fatto. “Per me questo è profondamente distopico”, mi ha detto.

Amadae sa come la semplice convinzione nel potere dell’ia può modificare il comportamento umano. Ha visto funzionari del ministero della difesa britannico, nel corso di una simulazione, che si facevano convincere a comprare sistemi d’arma basati sull’ia perché gli veniva detto che altrimenti avrebbero rischiato di “restare indietro”. Donald Trump e Xi Jinping sembrano condividere questa opinione. Forse non capiscono la tecnologia in sé, ma non credono di avere bisogno di capirla. Entrambi considerano l’ia la chiave dell’egemonia globale.

I sistemi di ia rispecchiano le persone che li costruiscono. Sono bravi nella matematica astratta e nella programmazione perché sono costruiti da matematici e programmatori bravissimi. La loro etica può essere confusa e, come certi eccellenti ingegneri informatici, possono essere un po’ strani quando ci si parla. Ma sono anche, come tutti noi, costruiti per cercare ricompense. Nelle fasi finali dell’apprendimento per rinforzo – il metodo con cui i modelli di ia sono “addestrati” a produrre testi, video o musica – si assegna una “ricompensa” in base alla qualità della risposta. Come un essere umano, il modello cercherà di ottenere quella ricompensa senza sosta e con ogni mezzo. Proprio come le persone competono negli affari e in politica, assumendosi rischi sempre maggiori pur di ottenere un premio, le macchine costruite a nostra immagine continueranno a fare lo stesso, a meno che non troviamo un altro modo.

Ci sono motivi per sperare. Laura Gilbert, esperta di ia al Tony Blair institute che ha fatto da consulente per il governo britannico e governi di tutto il mondo, sostiene che dietro la questione c’è una preoccupazione umana universale. “Ogni politico con cui parlo è preoccupato per i suoi figli”, mi ha detto. Gilbert non crede che la Cina sia completamente contraria a trattare e ritiene che le priorità degli Stati Uniti potrebbero cambiare dopo le elezioni di metà mandato. “Questo è un ottimo momento per capire se esiste un modo per guidare il mondo verso alcune decisioni comuni”.

Ci sono anche alternative alla competizione a somma zero. La Cina, nonostante il regime autoritario e le profonde differenze politiche con l’occidente, promuove modelli open weight, cioè sistemi addestrati secondo parametri messi a disposizione da altri sviluppatori. Anche questi modelli hanno dei problemi di sicurezza, ma permettono di sviluppare l’intelligenza artificiale anche al di fuori della manciata di grandi laboratori che oggi costruiscono i sistemi più avanzati. L’Europa è molto indietro rispetto a Stati Uniti e Cina sul piano tecnologico, ma la Francia ha mantenuto una certa capacità autonoma costruendo un suo modello, Mistral. E anche se non esiste un’azienda britannica proprietaria di un modello di ia avanzato, gli uffici direttivi di Google DeepMind continuano a essere a Londra, circondati da aziende collegate in crescita.

È impossibile dire quanto siano verosimili gli scenari più cupi, ma è possibile avere speranza e agire. Se pensate che l’ia sia capace di provocare gravi danni all’umanità, potete riflettere su quali persone e aziende ricevono i vostri soldi e i vostri dati. Potete chiedervi in quali modi questa tecnologia può essere davvero utile e produttiva, invece di limitarsi a cancellare posti di lavoro. Come per la crisi climatica, la ricchezza di molte persone dipende dal fatto che le cose restino come sono. Ma – sempre come per la crisi climatica – si può decidere quanto usare i prodotti di questa industria e votare per chi propone soluzioni per gestire il cambiamento che rappresenta. Probabilmente la cosa peggiore che si possa fare è fingere che non stia succedendo. ◆ as

Will Dunn è l’editor di economia del settimanale britannico New Statesman.