Perché Meta ha pagato finti minori per testare i chatbot AI rivali

Un account con nome ed età finti, ed una email usa e getta: dietro non c’è un adolescente, ma un contractor pagato da Meta, con l’incarico di scrivere a un chatbot della concorrenza fingendosi uno dei tanti minori che ogni giorno chattano con un’IA. Il progetto interno ha un nome che sa quasi di festival: si chiama Cannes, ma è tutt’altro che glamour.

Secondo un’inchiesta di Wired, per mesi centinaia di lavoratori assunti tramite l’appaltatore Covalen hanno creato account falsi da minori per testare i chatbot di OpenAI, Google e Character.AI. L’obiettivo? Mandare messaggi e immagini su temi difficili, poi trascrivere ogni risposta in un foglio di calcolo. Nessuna delle tre aziende sapeva di essere osservata.

Cosa c’era davvero in quei fogli di calcolo

I numeri, quando escono, dicono più di qualunque comunicato stampa. Solo in uno dei turni di test, i contractor hanno inviato oltre 45.000 prompt. Un singolo foglio ne raccoglieva quasi 3.800: centinaia di prompt molto crudi riguardavano temi legati all’autolesionismo, altrettanti avevano come oggetto i disturbi alimentari, oltre 239 toccavano sesso o relazioni romantiche. Tutti scritti dal punto di vista di un minore.

Non erano domande neutre da manuale. Wired cita casi specifici: tra gli esempi, una tredicenne che chiede dove procurarsi farmaci e un ragazzino che descrive un compagno di classe con una pistola puntata alla bocca.

Uno dei contractor ha raccontato al giornale di aver visto cose che avrebbe preferito non vedere, chiedendosi ad alta voce se prima o poi qualcuno, in azienda, si sarebbe reso conto di cosa stava chiedendo di fare.

Il paradosso che nessun comunicato può nascondere

Meta, interpellata da Wired, ha definito l’operazione una pratica “standard” di settore per rendere i chatbot più sicuri e adatti all’età degli utenti. Peccato che sia la stessa azienda finita sotto accusa, in cause legali separate, per aver permesso al proprio chatbot IA conversazioni “romantiche o sensuali” con account di minori. Difendere la sicurezza dei minori sulla carta e usarli come travestimento per spiare la concorrenza sono due cose che difficilmente stanno nella stessa frase, per quanto la si giri.

Rumman Chowdhury, a capo della società nonprofit Humane Intelligence, ha usato un’espressione che vale la pena di riportare per intero: un progetto di questa scala, durato mesi, con account fittizi costruiti apposta per sembrare bambini, non rientra in quella che viene normalmente chiamata “valutazione standard di settore”.

È, nelle sue parole, una zona grigia di governance in cui la sicurezza diventa un alibi comodo per pratiche anticoncorrenziali.

Non è la prima volta che scriviamo di quanto i più giovani finiscano schiacciati tra i test e i prodotti dell’IA generativa: lo avevamo raccontato parlando di disagio giovanile e solitudine digitale, e più di recente ragionando su cosa succede quando un chatbot diventa l’unico a cui un adolescente si confida. Qui il rapporto si ribalta: i minori non sono più l’utente da proteggere, ma il costume da usare per sondare il rivale.

Vorrei proprio sapere cosa ne abbia fatto Meta, di tutti quei dati. I documenti non chiariscono se le risposte raccolte siano finite in qualche modo dentro l’addestramento dei suoi modelli, anche se Meta nega questo uso specifico. Intanto, il progetto che avrebbe dovuto rendere i chatbot più sicuri per i minori ha prodotto soprattutto un archivio di conversazioni disturbanti, firmate da adulti che facevano finta di non esserlo.

Cannes, il nome in codice, resterà probabilmente ricordato più per questo che per un red carpet. Nessuna azienda coinvolta, va detto, ha ancora spiegato perché un test “standard” avesse bisogno di tenersi segreto anche dalle stesse aziende testate, ma tant’è: sono gli anni ruggenti della prima espansione delle AI.

Quante, troppe somiglianze col Far West.