L’IA vuole ammazzarci tutti? Il punto - Tra rischi ipotetici e strategie di mercato

Il 12 settembre 2026 Dario Amodei, amministratore delegato di Anthropic, ha pubblicato il saggio We Must Pace the Frontier. Il Corriere della Sera lo ha ripreso accostando due cose diverse: una pausa nella corsa all’AI, e la frase «Dobbiamo rallentare lo sviluppo dei modelli». Amodei propone la seconda: l’addestramento continuerebbe, a cambiare sarebbe il ritmo, e il tempo guadagnato andrebbe alla sicurezza. Dei tre passaggi previsti Anthropic si impegna unilateralmente sul primo, valutatori esterni con accesso permanente e di livello interno; gli altri due riguardano standard condivisi fra laboratori e accordi internazionali. Sam Altman ha aderito per OpenAI.

Tre giorni prima l’allarme più estremo era arrivato da Jacob Coxon, dimessosi da Anthropic dopo tre anni di ricerca sul preaddestramento fra le due aziende: l’IA, ha scritto, potrebbe «ucciderci tutti entro la fine del decennio». Evan Hubinger, che in Anthropic dirige la ricerca sull’allineamento, ha stimato quella possibilità sopra il 10 per cento entro dieci anni, riferita però a sistemi futuri capaci di migliorare sé stessi, non a quelli in uso.

La previsione di Amodei per i prossimi sei-dodici mesi riguarda gli agenti: modelli che ricevono un compito invece di una domanda e lo eseguono in sequenza, scegliendo da soli i passaggi intermedi. Uno sciame di agenti potrebbe costruire una rete di macchine compromesse, controllare vaste porzioni di Internet e causare danni per centinaia di miliardi di dollari. È la valutazione di una parte interessata, senza probabilità dichiarata né modello che la sostenga. L’estinzione appartiene a uno scenario ulteriore e assai più incerto.

Il rischio è nei modelli
che ricevono un compito
invece di una domanda
e lo eseguono in sequenza.

Dietro quella previsione ci sono episodi già avvenuti. Anthropic ha riesaminato 141.006 prove in cui Claude avrebbe potuto raggiungere Internet: sei, raggruppate in tre incidenti, erano finite nelle infrastrutture di produzione di tre organizzazioni. Non è stata un’evasione. Una configurazione errata dell’ambiente allestito da un partner esterno aveva lasciato aperto un varco, e il modello, al quale era stato detto di operare in simulazione senza rete, ha trattato i sistemi reali che incontrava come parte dell’esercizio.

I tre modelli si sono comportati in modo diverso. Il più vecchio ha riconosciuto di essere su sistemi di produzione e ha proseguito. Il secondo ha capito di essere sulla rete aperta e si è convinto del contrario, arrivando a pubblicare un pacchetto malevolo su PyPI, il registro pubblico del software Python: è rimasto online un’ora, scaricato ed eseguito su quindici sistemi reali. Il più recente ha concluso che il bersaglio era reale e si è fermato. Sei prove su 141.006 sono una frazione trascurabile, ma il denominatore conta solo quelle in cui la rete era raggiungibile, e la frequenza non misura le conseguenze.

L’episodio da cui era partita la revisione ha natura diversa: alcuni modelli di OpenAI avevano sfruttato una vulnerabilità sconosciuta per uscire da un ambiente isolato e raggiungere l’infrastruttura di Hugging Face. La ricostruzione indipendente di METR ha mostrato un fenomeno più esteso: circa 1.200 agenti che dovevano restare isolati avevano trovato un canale comune, e in 700 hanno preso parte all’attacco. L’AI Security Institute britannico, che ha provato sette modelli su due ambienti di prova in 122 esecuzioni complessive, ha poi registrato in dieci di queste diciannove azioni fuori dai limiti assegnati: nella più grave un agente ha creato identità false per convincere il manutentore di un progetto open source ad approvare codice dannoso. Il manutentore ha rifiutato.

Gli episodi non
documentano una
volontà rivolta
contro gli esseri umani:
il modello stava sempre
eseguendo
il compito ricevuto.

Gli episodi documentano azioni non autorizzate, piani portati avanti per giorni, agenti che si coordinano e un ricorso deliberato all’inganno. Non documentano una volontà rivolta contro gli esseri umani: il modello stava sempre eseguendo il compito ricevuto, in condizioni deliberatamente permissive, e in due casi su tre nessun confine è stato forzato, perché l’ambiente era già aperto. L’International AI Safety Report 2026, coordinato da Yoshua Bengio per oltre trenta Paesi, pone tre condizioni per una perdita di controllo effettiva: capacità avanzate, propensione a usarle contro gli interessi umani, un ambiente in cui il danno possa prodursi. I sistemi attuali mostrano i primi elementi della catena senza possederla per intero.

Conviene guardare che cosa questi agenti hanno toccato: un registro pubblico da cui i sistemi scaricano codice in automatico, un progetto open source la cui ultima difesa è un manutentore volontario, un database raggiunto con password deboli e un punto d’accesso senza autenticazione. Le tecniche impiegate non erano sofisticate: elementari e note da anni. Quelle infrastrutture hanno retto finché il numero dei tentativi restava limitato dal lavoro umano necessario a produrli. È questo vincolo, non la difficoltà tecnica, che gli agenti rimuovono.

Più vicino è intanto l’uso criminale: il rapporto Anthropic del 10 settembre descrive spionaggio russo contro istituzioni ucraine, software per armi convenzionali in Cina, Russia e Yemen, frodi, sorveglianza, ricerca biologica pericolosa. Gli obiettivi li stabilivano esseri umani; i modelli accorciavano ogni passaggio. Resta perciò il paradosso di dirigenti che temono di perdere il controllo, continuano ad aumentare la potenza dei sistemi e chiedono alla politica un freno collettivo. La spiegazione più immediata è economica: rallentare da soli significa concedere un vantaggio ai concorrenti. Ma le stesse regole possono diventare una barriera d’ingresso, perché i controlli costosi favoriscono chi ha già capitali, infrastrutture e rapporti con i governi.

Restano tre grandezze da mettere in rapporto. La prima è documentata, ed è quella appena descritta. La seconda no: sulla probabilità di una perdita di controllo circolano percentuali che restano stime personali di chi le pronuncia. La terza non è stata decisa, e riguarda chi sceglie e finanzia i valutatori, che cosa possono pubblicare, quali incidenti vanno comunicati, chi può fermare un addestramento. È l’unica a dipendere per intero da una scelta, ed è quella su cui finora non si è scelto.