Chi decide quali pagine italiane entrano nell’addestramento IA? Finora lo decide un file di testo di poche righe, il robots.txt, che ogni sito appende alla propria porta, e per alcuni lo decide un contratto. Abbiamo contato le pagine di 40 siti italiani in un archivio pubblico del web, usato per costruire molti dataset di addestramento. E abbiamo ricavato una tendenza: le testate che hanno chiuso la porta prima dell’estate 2024 hanno perso oltre metà del proprio spazio. Ad esempio, le pagine del Corriere della Sera sono passate da 201.000 a 5.900. Quelle che non l’hanno mai chiusa invece restano dentro, come Adnkronos, che da 12.000 pagine è salita a 24.000.
Nel frattempo due grandi gruppi editoriali hanno firmato accordi con OpenAI, e a uno dei due il Garante per la privacy ha rivolto un avvertimento formale sull’uso dei dati dell’archivio. Per quanto abbiamo trovato, a chi è rimasto nell’archivio pubblico nessuno ha pagato niente. La tesi di questo articolo è che un cartello alla porta vale quanto la forza di chi lo appende: i grandi chiudono e trattano, gli altri restano aperti o chiudono a tentoni.
Anche Futuro Prossimo ha chiuso la porta, senza sapere bene cosa avrebbe comportato. Questo articolo racconta com’è andata, per noi e per chi sta per decidere. I numeri li ho messi a disposizione di tutti in una pagina aperta, con i dati dei 40 siti che abbiamo misurato: la trovate nel box più in fondo.
La biblioteca e il cartello
Immaginate una biblioteca pubblica del web. Si chiama Common Crawl, la gestisce un’organizzazione non profit e dal 2008 ogni mese manda un programma, CCBot, a fotocopiare miliardi di pagine. Le copie sono a disposizione di chiunque, gratis: università, piccole aziende, laboratori che costruiscono modelli di IA anche in italiano. Dataset come C4 e mC4 (la versione multilingue, italiano compreso) sono stati ricavati da quelle copie.
Ogni sito può appendere alla porta un cartello, il file robots.txt che vi dicevo, in cui elenca chi può entrare e chi no. Il cartello funziona solo con i visitatori educati, perché chiede per favore. Se un sito vieta l’ingresso a CCBot, lui smette di passare. Le copie già fatte restano negli scaffali delle edizioni precedenti, e quelle successive non contengono più quel sito. Altri programmi fanno lo stesso mestiere per aziende diverse: GPTBot per OpenAI, ClaudeBot per Anthropic, Google-Extended per i modelli di Google e così via.
Per capire cosa è successo in Italia abbiamo fatto due cose. Abbiamo contato, edizione per edizione, quante pagine di ciascun sito stanno nell’archivio, da dicembre 2023 a ottobre 2026. Poi abbiamo ricostruito dalle copie di Wayback Machine cosa dicevano i loro “cartelli”, cioè i robots.txt, e da quando.
Come abbiamo contato le pagine
Fonte: l’indice pubblico di Common Crawl, sei edizioni (CC-MAIN-2023-50, 2024-33, 2025-05, 2025-33, 2026-04 e 2026-43), interrogato per dominio e sottodomini. Le dimensioni delle edizioni vengono dalle statistiche di Common Crawl: da 2,17 a 3,35 miliardi di pagine catturate. I cartelli robots.txt arrivano dalle copie di Wayback Machine, fino a 26 per sito.
Dati chiave: 40 siti, di cui 22 hanno vietato CCBot e 24 GPTBot in almeno una copia del cartello. Il confronto tra i due gruppi (20 siti con blocchi prima di luglio 2024 e 12 mai bloccati, esclusi i siti con meno di 5 copie del cartello) misura le pagine per milione di pagine catturate: 230 contro 95 per i primi, tra 62 e 134 per i secondi. Il conteggio di ogni sito ha un’incertezza di circa 3.000 pagine. Tabella completa e metodo sono nella pagina dei dati aperti.
Il “caso Corriere”: ha chiuso la porta all’AI nel 2023 e per due anni le pagine sono rimaste
Nelle copie di Wayback Machine, il cartello del Corriere della Sera vieta l’ingresso a CCBot e a GPTBot già a settembre 2023, e a Google-Extended da novembre. È tra le date più precoci della nostra tabella. Nell’archivio, però, le pagine del sito non scompaiono: a dicembre 2023 ce ne sono 201.000, ad agosto 2024 161.000, a gennaio 2025 ancora 152.000, e ad agosto 2025 106.000.
Il crollo arriva dopo. A gennaio 2026 sono 79.000 e nell’edizione di ottobre 2026, la più recente, 5.900: il 97% in meno rispetto a due anni fa. Nelle copie di ottobre 2026 compare per la prima volta anche il blocco di ClaudeBot, il crawler di Anthropic. Un blocco dichiarato nel 2023 e un calo che si vede nel 2026 sono due fatti che non sappiamo collegare con i documenti che abbiamo. Una pagina può restare negli scaffali anche dopo che la porta è stata chiusa, o il cartello può non essere stato rispettato per un tratto, o il sito può aver cambiato struttura.
Per saperlo bisognerebbe chiederlo al Corriere, e qui lo scriviamo come domanda: hai visto mai che qualcuno da Via Solferino ci risponda?
La Stampa quasi sparisce in un’edizione, Repubblica resta
Prendiamo due testate dello stesso gruppo. La Stampa blocca GPTBot a settembre 2023 e CCBot a dicembre, e per un anno e mezzo cala di poco: 65.000 pagine a dicembre 2023, 58.000 a gennaio 2025. Ad agosto 2025 sono 27.000. A gennaio 2026 ne restano 497, e a ottobre 309: un’ecatombe.
Repubblica ha un cartello quasi identico (GPTBot a novembre 2023, CCBot a gennaio 2024) e un destino diverso. Oscilla tra 33.000 e 122.000 pagine a seconda dell’edizione, e a ottobre 2026 ne ha 37.000, il 42% in meno di quando abbiamo cominciato a contare. Stesso editore, stessa data di blocco in pratica, un risultato che va da quasi niente a quasi la metà.
Il Sole 24 Ore, che chiude CCBot, GPTBot e Google-Extended a gennaio 2024, scende da 273.000 a 79.000 pagine. L’ANSA, che chiude i quattro crawler a gennaio 2026, ha già 4.000 pagine ad agosto 2025 e 7.500 oggi: dopo il blocco non si vede nessun cambiamento.
E chi non ha mai chiuso la porta all’addestramento IA?
Dall’altra parte del grafico ci sono i siti che nei cartelli non hanno mai vietato CCBot né GPTBot: Adnkronos, AGI, Fanpage, Tgcom24, Il Giornale, Libero, Il Fatto Quotidiano, Open, HWUpgrade, Avvenire. Hanno oscillato tra edizioni, ma senza una direzione. Adnkronos passa da 12.000 a 24.000 pagine, Il Foglio, che vieta soltanto GPTBot da ottobre 2023, da 7.000 a 31.000.
Messi insieme, i 20 siti con blocchi precoci (prima di luglio 2024) passano da 230 a 95 pagine per milione di pagine catturate dall’archivio: il 59% in meno. I 12 che non hanno mai bloccato restano tra 62 e 134, con un valore di partenza di 91 e uno di arrivo di 84. Due gruppi di dimensioni diverse, quindi con un margine di rumore ampio, ma la direzione si distingue.
Fra i chiusi ci sono anche quelli che sono arrivati tardi: GalileoNet a maggio 2026, Quotidiano.net a ottobre 2026. E c’è una categoria che nell’archivio quasi non esiste più: National Geographic Italia, Le Scienze, Studenti.it e Skuola.net hanno ormai meno di 100 pagine nelle edizioni recenti.
Per chi volesse costruire un modello AI in italiano considerando anche fonti su scienza e scuola, queste fonti nell’archivio aperto sono quasi assenti.
Un contratto di 3 anni e un archivio da consegnare in blocco
Il 24 settembre 2024 GEDI, il gruppo che pubblica Repubblica e La Stampa, firma con OpenAI un contratto triennale a pagamento. L’annuncio arriva a fine settembre, con le dichiarazioni del presidente John Elkann e di Sam Altman: gli utenti italiani di ChatGPT potranno vedere citazioni, contenuti e link delle testate del gruppo, e c’è di mezzo anche il prototipo SearchGPT, di cui avevamo scritto a luglio 2024.
Quanto abbia incassato GEDI, nessun documento pubblico tra quelli che abbiamo trovato lo dice.
I dettagli stanno in un provvedimento del Garante per la privacy, il numero 741 del 27 novembre 2024. Prevedeva un trasferimento unico di tutto l’archivio pubblicato fino al 29 novembre 2024, poi il passaggio quasi immediato dei nuovi articoli. Le finalità dichiarate erano due: la ricerca di notizie in ChatGPT, con sintesi e link, e il miglioramento dei sistemi di OpenAI, addestramento compreso.
L’archivio comprende Repubblica, La Stampa, HuffPost, La Provincia Pavese, La Sentinella, Limes, MYmovies e Alfemminile, tra gli altri.
Cosa ha scritto il Garante
Il Garante ha rivolto a GEDI e a cinque società del gruppo un avvertimento formale, lo strumento che precede un eventuale procedimento. Il testo dice che la cessione, così come progettata, poteva violare il regolamento europeo sui dati personali. In quell’archivio ci sono dati ordinari, dati di categorie particolari (salute, opinioni, orientamento) e, in misura residua, perfino dati su condanne e reati: persone che compaiono in articoli di anni fa e che ora si ritrovano dentro un contratto fra due aziende.
Tra le obiezioni, quattro sono le più concrete. GEDI invocava il legittimo interesse come base giuridica, che per i dati particolari non basta. L’informativa pubblicata da Repubblica risaliva a dicembre 2023, prima del contratto. Una volta consegnati i dati, le persone coinvolte avrebbero potuto fare richieste solo a OpenAI Ireland, e non all’editore. La valutazione d’impatto, infine, era stata presentata il 19 novembre, cioè undici giorni prima della consegna e ancora incompleta.
Secondo Punto Informatico, GEDI ha comunicato al Garante il piano: contenuti fino al 29 novembre consegnati il 30. Cosa sia successo dopo, nelle fonti che abbiamo consultato, non risulta: né una sospensione né una sanzione.
Anche questa potete considerarla una domanda fatta a GEDI, che non ha ancora una risposta. Ma non siamo rimasti con le mani in mano, e nell’attesa abbiamo continuato a raccogliere dati.
Prima il blocco, poi il contratto
Mettiamo le date una di fianco all’altra. Il cartello della Stampa vieta l’ingresso a GPTBot, il crawler di OpenAI, a settembre 2023, quello di Repubblica a novembre, quello del Corriere a settembre 2023. Il contratto GEDI arriva un anno dopo. RCS, la società del Corriere, stringe con OpenAI un accordo di natura tecnologica per un assistente virtuale, sempre secondo la ricostruzione di Agenda Digitale, che non indica data né importi.
Una lettura possibile è che chi chiude il cancello gratuito abbia poi qualcosa da vendere per riaprirlo a pagamento. Un’altra è che i due fatti siano scollegati: i gruppi chiudono per difendere il copyright e firmano quando un’azienda offre una condizione accettabile. I documenti consentono la sequenza e basta, e per decidere fra le due letture servirebbe che qualcuno dei protagonisti spieghi il calendario.
Chi non ha ricevuto un euro
Altri accordi con editori italiani non li abbiamo trovati. L’unico caso pubblico che si aggiunge è una causa: Mediaset (RTI e Medusa Film) ha citato Perplexity davanti al Tribunale di Roma, sostenendo che abbia usato le sue opere audiovisive per addestrare i propri sistemi. Riguarda film e programmi, non notizie, e l’articolo che la racconta non la lega ai cartelli dei siti.
Per quanto riguarda il resto, nel 2025 Meta, Microsoft e Amazon hanno firmato accordi di licenza con numerose realtà editoriali, secondo ISAE, che non nomina alcun editore italiano. Quindi, per i siti che nelle nostre tabelle non hanno mai chiuso, la ricerca documentale non mostra compensi né contratti. Hanno lasciato la porta aperta e il loro lavoro è nell’archivio comune. Nessun documento pubblico dice che qualcuno sia stato pagato per averlo lasciato.
Ma parliamo di noi: due milioni di clic da un solo canale
Per sedici mesi, dal 29 giugno 2025 al 28 ottobre 2026, Discover ha portato a Futuro Prossimo 2,1 milioni di clic e la Ricerca di Google 260.000. Su 100 clic che arrivano da Google tra Ricerca web e Discover, 89 vengono da Discover, un canale deciso da un algoritmo che nessuno di noi può chiamare al telefono.
Il sito ha vissuto quasi tutto di quello: per questo, ogni idea di bloccare qualcuno mi costringe a fare due conti.
Il dilemma che ho in testa, e che hanno in testa tutti gli editori, si enuncia in una riga: se vieto ai programmi dell’IA di leggere il sito rischio di sparire dalle ricerche, se li lascio entrare rischio di farmi prendere i contenuti senza che nessuno mi dica grazie. È la stessa ansia che spinge autori ed editori verso i bollini “AI free”, di cui abbiamo scritto a marzo. Nessuno ha una risposta documentata, e io meno degli altri. Se l’unico modo di sopravvivere è farsi spogliare dall’IA, la cosa non si mette bene, e non per noi soltanto: un sito che vive di clic e che le macchine svuotano dei suoi contenuti resta con le pagine e senza lettori.
Come ho chiuso all’AI? Per tentativi
Il mio robots.txt, fino ad aprile 2025, pesava 6.304 byte. A giugno era sceso a 466. Tra giugno 2025 e il 17 gennaio 2026 ho chiuso CCBot e altri 8 crawler: la copia di quel giorno elenca GPTBot, Google-Extended, Applebot-Extended, anthropic-ai, Amazonbot, cohere-ai, ImagesiftBot e Bytespider. Quando mi chiedono perché l’ho fatto rispondo la verità: ho proceduto per tentativi. C’era il sito che perdeva traffico e un elenco di nomi sconosciuti da togliere uno alla volta, e nessuna teoria.
Dopo la chiusura ho visto dei problemi e ho aspettato (che se ci pensate è un’altra forma di tentativo). Il 13 marzo 2026 ho chiesto un intervento ad un mio consulente, e la copia del mio robots.txr targata 1 aprile porta la sua firma: il mio consulente riapre GPTBot, ClaudeBot, Google-Extended e PerplexityBot, lascia chiusi CCBot, Amazonbot e ImagesiftBot.
Ora va decisamente meglio, ma comunque non bene come prima.
Cosa dicono i miei numeri (saltate il paragrafo se non vi interessa l’aspetto tecnico)
Qui devo essere onesto con chi legge, e con me stesso. Le serie che ho non mostrano un rapporto netto tra i cartelli e il traffico.
La Ricerca passa da 890 clic al giorno a ottobre 2025 a 529 a novembre, due mesi prima del grande blocco di gennaio. A gennaio 2026, con il blocco appena attivo, ne fa 446 al giorno, in linea con dicembre: nessun gradino visibile. Dal 20 aprile 2026 dimezza, da circa 3.000 a circa 1.500 clic a settimana, tocca il fondo a maggio con 190 al giorno e a settembre risale a 724. A ottobre, fino al 28, è a 464.
Discover racconta una storia più strana. Dal 10 al 26 marzo 2026 si ferma quasi del tutto: in alcuni giorni zero clic. Il blocco largo risulta in vigore il 17 gennaio, e a febbraio Discover aveva fatto 110.000 clic, più di gennaio, senza effetti visibili. Google aveva chiuso il 27 febbraio un aggiornamento dedicato a Discover, e il 24 e 25 marzo ha fatto girare un aggiornamento contro lo spam, seguito il 27 marzo da un core update concluso l’8 aprile. Il traffico riparte il 15 aprile con 9.000 clic in un giorno.
Ottobre 2026 è il mio miglior mese di Discover di tutto il periodo, con 204.359 clic in 28 giorni. Luglio 2025, però, ne aveva fatti più di 340.000.
Cosa si può dire con prudenza? Secondo quanto riporta PPC Land citando la documentazione di Google, Google-Extended governa l’uso dei contenuti per Gemini e non incide su inclusione e posizione nella Ricerca. Se è così, il blocco di quel crawler non può avere svuotato Discover. Per le funzioni di IA dentro la Ricerca, le AI Overviews, il controllo passa da Googlebot, cioè dalla stessa porta da cui entrano i miei clic. A luglio 2026 Google ha documentato un nuovo comando in Search Console per quelle funzioni, esteso a tutti i siti entro il 31 agosto. Il comando va verificato nelle pagine di Google, e per ora lo cito di seconda mano.
Mi manca un dato, e lo dico: il traffico che arriva dai chatbot, per capire quanto costa chiudere a ChatGPT o a Perplexity. Non sono riuscito a estrarlo da Analytics.
La pagina dei dati: 40 siti italiani da consultare
Ho passato giorni a mettere insieme questi numeri, prima a mano, poi usando Claude per creare un Artefatto: 40 siti italiani, sei edizioni di Common Crawl, fino a 26 copie del robots.txt per ciascun sito. Non volevo che restassero chiusi dentro un articolo, quindi li ho messi in una pagina aperta, a disposizione di chiunque voglia usarli.
Dentro c’è una tabella dei 40 siti, ordinabile e ricercabile per nome, con le pagine presenti in ogni edizione, i crawler vietati e la data della prima copia del cartello in cui compare il divieto. Poi il confronto tra i due gruppi di siti e un capitolo su metodo e limiti, scritto perché possiate controllarmi.
Aprite qui la pagina dei dati aperti. Se un numero vi sembra sbagliato, scrivetemi: i conteggi si possono rifare.
Alla fine, chi può permettersi di chiudere all’intelligenza artificiale?
Rimettiamo in fila quello che i dati mostrano. I grandi gruppi hanno chiuso nel 2023 e nel 2024, due di loro hanno stretto accordi con OpenAI, e le loro pagine hanno lasciato l’archivio pubblico con tempi che nemmeno per il Corriere sappiamo spiegare. I siti rimasti aperti sono ancora lì e, per quanto risulta, nessuno li ha pagati.
Un sito come il nostro ha chiuso per tentativi, ha riaperto su consiglio di un consulente e oggi non sa dire quanto sia costata la prima scelta.
Chi ha un archivio da vendere e un ufficio legale per trattare può chiudere la porta all’AI e riaprirla solo a pagamento. Chi vive di clic che arrivano da un algoritmo invece chiude al buio, e lascia al caso quali pagine italiane impareranno le macchine di domani.
Il mio robots.txt chiede oggi a CCBot di non entrare, e a GPTBot di accomodarsi: due decisioni opposte sull’addestramento IA, prese per tentativi.
Chissà quanto mi porterà la scelta di un “cartello” così sulla mia porta. Perché per ora, a quanto pare, un cartello alla porta vale quanto la forza di chi lo appende.
