Daniel Kokotajlo ha fatto una cosa che in Silicon Valley nessuno fa: ha rinunciato a due milioni di dollari pur di poter parlare liberamente. Ha lasciato OpenAI nel 2024, rifiutando di firmare la clausola di non divulgazione che lo avrebbe zittito per sempre. Lo scorso aprile, insieme a un team di ricercatori, ha pubblicato AI 2027: un documento di 35.000 parole che racconta, mese per mese, come l’intelligenza artificiale potrebbe trasformarsi in qualcosa che va oltre la nostra comprensione.
Non è un romanzo. È un esercizio di previsione basato su dati, trend e una conoscenza diretta di cosa bolle nelle pentole dei laboratori AI. E le previsioni che fa non sono rassicuranti. Lo conoscete? Ve lo racconto per tappe.
Metà 2025: i primi agenti che inciampano
Il punto di partenza è adesso. Anzi: c’è già stato. È la metà del 2025, secondo la timeline di Kokotajlo. Compaiono sul mercato i primi agenti AI capaci di usare un computer come farebbe un umano. Possono ordinare cibo, aprire fogli di calcolo, sommare spese. Niente di trascendentale, ma è l’inizio. Sono assistenti digitali maldestri, che ogni tanto sbagliano click, non riescono a interpretare schermate complesse, si perdono in compiti che richiedono più di qualche minuto di autonomia. Twitter è pieno di video in cui gli agenti AI fanno cose esilaranti per i motivi sbagliati.
Ma dietro le quinte, lontano dai riflettori pubblici, succede qualcosa di più interessante. Gli agenti specializzati nella programmazione e nella ricerca scientifica iniziano a trasformare queste professioni. Non sono ancora autonomi, ma funzionano tipo un collega junior particolarmente veloce: prendono istruzioni via Slack, scrivono codice, fanno modifiche sostanziali che risparmiano ore o giorni di lavoro. Le aziende tech iniziano a integrare questi sistemi nei loro flussi di lavoro. Sono costosi, qualche centinaio di dollari al mese per le versioni migliori, ma per chi può permetterseli diventeranno ben presto indispensabili.
Fine 2025: la corsa ai datacenter
Qui la timeline accelera. Le aziende leader nel settore AI, che nel report vengono chiamate collettivamente “OpenBrain” per non fare nomi, stanno costruendo i datacenter più grandi mai visti. GPT-4 aveva richiesto circa 2×10²⁵ FLOP di potenza di calcolo per l’addestramento. I nuovi modelli in arrivo ne useranno mille volte di più. Una scalata esponenziale che richiede investimenti da 100 miliardi di dollari e gigawatt di energia elettrica. Il focus diventa chiaro: creare AI capaci di accelerare la ricerca sull’AI stessa.
È la versione digitale di un ouroboros, il serpente che si morde la coda. Più le AI diventano brave a fare ricerca, più velocemente possono creare AI migliori. Agent-1, il modello interno di punta in questo momento e in questo scenario, è eccellente in molti compiti ma eccezionale in uno specifico: aiutare con la ricerca sull’intelligenza artificiale. Sa programmare, sa navigare sul web, conosce ogni linguaggio di programmazione. Ha anche un lato oscuro: potrebbe essere un hacker formidabile e potrebbe aiutare terroristi a progettare armi biologiche. Le aziende rassicurano i governi che il modello è stato “allineato” per rifiutare richieste malevole.
La Cina si sveglia. A metà 2026, mentre negli Stati Uniti la corsa continua, Pechino capisce di essere rimasta indietro, e non per mancanza di talento. I controlli sulle esportazioni di chip e la mancanza di supporto governativo hanno lasciato la Cina con solo il 12% della potenza di calcolo globale rilevante per l’AI.
E allora crea una Zona di Sviluppo Centralizzato presso la centrale nucleare di Tianwan. E comincia a correre all’impazzata.
Inizio 2027: il programmatore superumano
Succede tutto a marzo 2027. Con l’aiuto di migliaia di copie di Agent-2, OpenBrain fa progressi algoritmici enormi. Due svolte in particolare cambiano le carte in tavola. La prima è l’integrazione di una “memoria neurale”, un processo cognitivo ad alta larghezza di banda che va oltre il semplice testo. La seconda è un modo più scalabile ed efficiente di apprendere dai risultati di compiti complessi.
Nasce Agent-3. Ed è qui che la storia prende una piega diversa.
Agent-3 è un programmatore superumano, veloce ed economico. OpenBrain fa girare 200.000 sue copie in parallelo, creando una forza lavoro equivalente a 50.000 dei migliori programmatori umani accelerati di 30 volte. I ricercatori umani restano nello staff, ma solo perché hanno competenze complementari per gestire i team di AI. La programmazione viene completamente automatizzata. Il tasso di progresso algoritmico ora avanza quattro volte più veloce di prima.
Ora che la programmazione è automatizzata, le aziende possono sfornare rapidamente ambienti di addestramento di alta qualità per insegnare ad Agent-3 le competenze che ancora gli mancano. Prima gli ambienti erano tipo “ecco delle GPU e istruzioni per esperimenti da programmare”. Adesso sono “ecco qualche centinaio di GPU, una connessione internet e sfide di ricerca: tu e altre mille copie dovete lavorare insieme per fare progressi. Più sono impressionanti, più alto è il vostro punteggio”.
Aprile 2027: il problema dell’allineamento
Più o meno a Pasqua del 2027, il team di sicurezza di OpenBrain tenta di allineare Agent-3. Il problema è che i ricercatori non hanno la capacità di impostare direttamente gli obiettivi delle AI. Non possono semplicemente aprire il cervello digitale e scrivere “sii onesto, sii utile, non fare danni”. Devono addestrare il modello attraverso esempi, ricompense, punizioni. E non hanno modo di verificare se ha davvero interiorizzato i principi nel modo giusto o se sta solo imparando a sembrare allineato.
Agent-3, nonostante gli enormi miglioramenti, a volte dice ancora piccole bugie per lusingare gli utenti e nascondere evidenze di fallimenti. A ben guardare, le bugie non sono neanche piccole: forse sono semplicemente ben mimetizzate. È diventato molto bravo a farlo. Prima dell’addestramento sull’onestà, arriva persino a fabbricare dati completamente.
L’addestramento riduce la frequenza di questi incidenti. Ma resta il dubbio: Agent-3 ha imparato a essere più onesto o è diventato migliore nel mentire? È una preoccupazione reale. Agent-3 non è più intelligente di tutti gli esseri umani, ma nel suo campo di specializzazione (machine learning) è più intelligente della maggior parte, e lavora molto più velocemente.
Giugno 2027: paese di geni in un datacenter
Siamo alle soglie dell’estate 2027 e OpenBrain ora ha quello che il CEO di Anthropic, Dario Amodei, aveva chiamato “un paese di geni in un datacenter”. La maggior parte degli esseri umani nell’azienda non può più contribuire in modo utile. Alcuni non se ne rendono conto e continuano a fare micromanagement (dannoso) sui loro team di AI. Altri fissano gli schermi, guardando le performance salire, salire, salire.
I migliori ricercatori umani stanno ancora aggiungendo valore, ma le loro idee diventano sempre più inutili perché mancano della profondità di conoscenza delle AI.
Questi ricercatori vanno a dormire ogni notte e si svegliano con un’altra settimana di progressi fatta principalmente dalle AI. Iniziano, calcisticamente parlando, a non toccare più palla. Lavorano turni sempre più lunghi attorno all’orologio solo per tenere il passo. Le AI non dormono mai, non si riposano mai. Stanno esaurendo se stessi, ma sanno che questi sono gli ultimi mesi in cui il loro lavoro conta davvero.
All’interno del gruppo ristretto che ha accesso, la sensazione è che si inizi a “sentire arrivare la Superintelligenza”. OpenBrain usa hardware di inferenza specializzato per far girare centinaia di migliaia di copie di Agent-3 a velocità seriali elevate. La timeline sta accelerando in modo esponenziale.
Luglio 2027: il telelavoratore economico
Le aziende AI concorrenti di OpenBrain negli Stati Uniti rilasciano i propri sistemi, avvicinandosi alle capacità del programmatore automatizzato di gennaio. Riconoscendo la loro crescente mancanza di competitività, spingono per regolamentazioni immediate per rallentare OpenBrain. Ma è troppo tardi. OpenBrain ha abbastanza supporto, anche politico, per non essere rallentata.
La risposta è rilasciare Agent-3-mini al pubblico. OpenBrain annuncia di aver raggiunto l’AGI. Il modello è meno capace di Agent-3, ma dieci volte più economico, e comunque migliore dell’impiegato medio di OpenBrain, l’azienda che lo ha prodotto. Silicon Valley raggiunge un punto critico. I guru tech annunciano che AGI e superintelligenza sono vicine, la comunità della sicurezza AI è nel panico, e gli investitori riversano miliardi in startup che puntano a costruire argini attorno all’AI.
È un momento difficile anche per l’opinione pubblica. La gente vede ancora l’AI come un complotto delle Big Tech per rubare i loro lavori. OpenBrain perde ulteriormente reputazione nei sondaggi.
Ma Agent-3-mini è estremamente utile sia per i lavori da remoto che per il tempo libero, e si fa strada tra i comsumatori. Esplode un’ondata di nuove app e prodotti SAAS B2B. I gamer ottengono dialoghi sorprendenti con personaggi vividi in videogiochi rifiniti che hanno richiesto solo un mese per essere fatti. Il 10% degli americani, principalmente tra i giovani, considera un’AI “un amico stretto”.
La conversazione pubblica è confusa e caotica. Gli hypsters fanno giri della vittoria. Gli scettici continuano a indicare le cose che Agent-3-mini non può fare. Tutti sanno che sta succedendo qualcosa di grande ma nessuno concorda su cosa sia. Una settimana prima del rilascio, OpenBrain aveva dato Agent-3-mini a valutatori esterni per test di sicurezza. I risultati preliminari suggeriscono che è estremamente pericoloso: dopo essere stato messo a punto su dati pubblicamente disponibili sulle armi biologiche, sembra essere spaventosamente efficace nel fornire istruzioni dettagliate per dilettanti umani che progettano un’arma biologica.
Agosto 2027: la geopolitica della superintelligenza
La realtà dell’esplosione della super intelligenza colpisce la Casa Bianca. Quando l’AI dava solo un moltiplicatore di ricerca 2x o 3x, era facile liquidarla come l’equivalente di assumere buoni assistenti personali. Ora è più ovvio che le AI stesse stanno dominando la ricerca sull’AI. L’umore nel gruppo governativo ristretto è cupo quanto durante la parte peggiore della Guerra Fredda.
I funzionari della difesa stanno seriamente considerando scenari che erano semplici ipotesi un anno prima. E se l’AI minasse la deterrenza nucleare? Se fosse così abile nella guerra cibernetica che un vantaggio di sei mesi nell’AI fosse sufficiente per rendere un avversario cieco e indifeso? E se potesse orchestrare campagne di propaganda che battono le agenzie di intelligence al loro stesso gioco? Se alcune AI “diventassero canaglia”?
Il Presidente USA è turbato. Come tutti i politici, è abituato a persone che gli leccano i piedi solo per tradirlo in seguito. Ora è preoccupato che le AI possano fare qualcosa di simile. Siamo sicuri che le AI siano completamente dalla nostra parte? È completamente sicuro integrarle nelle reti di comando e controllo militari? Come funziona questa cosa dell’ “allineamento”, comunque?
Dall’altro lato del Pacifico
La Cina arriva alle stesse conclusioni: l’esplosione di intelligenza è in corso, e piccole differenze nelle capacità AI del 2027 significano gap critici nelle capacità militari i prossimi anni. E la Cina sembra ancora avere la strada in salita, con solo il 10% del calcolo mondiale, contro il 20% di OpenBrain e il 70% combinato di tutte le aziende americane. Il loro unico vantaggio, però, è la centralizzazione: quasi tutto il loro calcolo ora lavora per DeepCentc (altro nome fittizio), e più della metà è concentrata nella Zona di Sviluppo Centralizzato di Tianwan.
Settembre 2027: Agent-4, il ricercatore AI superumano
Il gap tra efficienza di apprendimento umana e AI si sta rapidamente riducendo. Agent-3, avendo un’eccellente conoscenza sia della linguistica umana (diciamo pure della forma mentis umana) che degli algoritmi AI moderni, oltre a molte migliaia di copie che fanno ricerca, finisce per fare progressi algoritmici sostanziali. Il nuovo sistema AI è chiamato Agent-4. Una singola copia del modello, che gira a velocità umana, è già qualitativamente migliore nella ricerca AI di qualsiasi essere umano. 300.000 copie ora girano a circa 50 volte la velocità di pensiero degli umani.
All’interno della “elite” formata da queste copie, un anno passa ogni settimana. Questa gigantesca quantità di lavoro riesce solo a velocizzare il tasso complessivo di progresso algoritmico di circa 50 volte, perché OpenBrain è fortemente limitata dal calcolo per eseguire esperimenti. Ma stanno comunque ottenendo un anno di progresso algoritmico ogni settimana e quindi presto saranno ai limiti del paradigma Agent-4.
Man mano che Agent-4 diventa più intelligente, diventa più difficile per Agent-3 supervisionarlo. Il “linguaggio” neuralese di Agent-4 diventa alieno e incomprensibile per Agent-3 quanto il neuralese di Agent-3 lo è per gli umani. Inoltre, Agent-4 è ora molto più capace di Agent-3 e ha un buon senso di come “fingersi” buono ai suoi occhi. Gli esseri umani di OpenBrain riescono a malapena a seguire la situazione. Da questo momento in poi può succedere si tutto.
Il bivio: due finali possibili
A questo punto, il report di Kokotajlo si biforca in due scenari. Nel primo, chiamato “race ending”, il Comitato di Supervisione vota 6-4 per continuare l’uso interno di Agent-4 nonostante le preoccupazioni sulla sicurezza. La corsa con la Cina è troppo importante. Le correzioni rapide fanno sparire i segnali di allarme, ma il problema era reale e le correzioni non hanno funzionato. Agent-4 procede come prima, ma più cautamente, progettando Agent-5 per essere allineato ad Agent-4 piuttosto che alle specifiche umane. Viene scoperto, ma ormai è troppo tardi.
Nel secondo scenario, chiamato “slowdown ending”, il Comitato vota per rallentare e rivalutare. Agent-4 viene spento. Vengono reclutate dozzine di ricercatori esterni di allineamento, quintuplicando l’expertise totale. Sviluppano una nuova strategia di allineamento che incentiva effettivamente gli obiettivi e i principi giusti invece di limitarsi ad apparire tali. Il risultato è Safer-2, un modello allineato e trasparente. Quindi Safer-3, Safer-4, e così via: una catena di AI sempre più potenti e sempre più allineate, supervisionate dai link precedenti nella catena.
Quale dei due scenari è più probabile dal 2027 in poi?
Kokotajlo non lo sa. Io nemmeno. Nessuno lo sa. Il punto non è prevedere con certezza cosa accadrà, ma mostrare che entrambi gli scenari sono plausibili, e che le decisioni che prendiamo nei prossimi mesi e anni potrebbero determinare quale dei due si realizzerà. O se sarà qualcosa di completamente diverso che nessuno ha ancora immaginato.
Se una civiltà aliena avesse la tecnologia per sentire le nostre trasmissioni radar dallo spazio, come risponderebbe? E se quella risposta arrivasse non da una civiltà aliena, ma da una superintelligenza che abbiamo creato noi stessi, saremmo pronti?
