Quando fate una domanda a un assistente con intelligenza artificiale, di solito le vostre parole viaggiano fino a un computer lontano che appartiene a un’azienda. L’IA locale prende la strada opposta: il modello gira su una scatola appoggiata alla vostra scrivania. Una di queste scatole l’ha costruita un imprenditore di Wichita, nel Kansas, che si è poi preso il tempo di controllare cosa uscisse dalla rete di casa.
Ha contato 1.520 byte nei due sensi, 760 dei quali in uscita, tutti spesi a chiedere l’ora a un server pubblico. Accanto a questa riservatezza il modello genera circa 3 pezzetti di parola al secondo (la misura è sua).
Che cosa esce da un’IA locale su Raspberry Pi in 9 minuti e 43 secondi
L’apparecchio si chiama PHNTM One e contiene un Raspberry Pi 5 da 8 GB con uno schermo tattile da 10,1 pollici. Questa IA locale chatta, risponde sui vostri documenti, tiene appunti e ascolta la voce, tutto sul dispositivo se si resta in modalità Privato. Lo assembla a mano Jacob DeCamp, che ha un passato nelle vendite idrauliche, dove ha ricoperto ruoli di guida e di formazione tecnica, e lo costruisce accanto al suo lavoro di giorno.
Una scheda della stessa famiglia faceva da cervello, nel marzo 2025, agli occhiali che leggono ad alta voce di uno studente. Il 30 ottobre Jacob ha messo sotto controllo l’unità di prova per 9 minuti e 43 secondi, in modalità Privato. La cattura ha registrato 20 pacchetti da 76 byte ciascuno: 10 richieste dell’ora in uscita e 10 risposte in arrivo, per un totale di 1.520 byte nei due sensi e 760 byte in uscita. Il Raspberry Pi 5 ha un orologio interno con batteria di riserva facoltativa (su questa unità manca), e PHNTM One lo sincronizza online circa ogni 64 secondi.
Sulla domanda che pesa di più, chi ha controllato che i dati restino in casa, lascio la parola a lui. Lo scambio è avvenuto via email: la mia domanda è un po’ accorciata, la sua risposta è tradotta dall’inglese e leggermente sfoltita.
Chi ha verificato che in modalità Privato tutto venga elaborato in locale: un test indipendente o le sue misure? Posso vedere le prove?
La mia tesi è che chat, recupero dei documenti, memoria ed elaborazione della voce girino sul dispositivo in modalità Privato. Il computer genera comunque del traffico di sistema, e le integrazioni che il proprietario sceglie di collegare seguono percorsi separati.
Tutte le prove finora sono i miei test, fatti da me con gli strumenti di sviluppo basati sull’IA che uso, e nessun soggetto indipendente le ha verificate: un controllo esterno lo accoglierei volentieri. Ci sono test automatici che falliscono se una risposta in modalità Privato arriva mai al percorso di codice del cloud, e poi c’è una cattura di 10 minuti di tutto il traffico di rete di un’unità di prova, il 30 ottobre, durante chat in tre lingue, italiano compreso. L’unico traffico verso Internet era la sincronizzazione dell’orologio.
Sì, le prove si possono vedere: le mando a parte un breve riepilogo della cattura.
Il riepilogo indica da solo fin dove arriva la prova. La cattura riguarda una sola unità in una sola sessione, è girata sul dispositivo stesso, senza apparecchiature di rete separate, e usava un software ancora in pre-rilascio. Boosted, documenti, voce, aggiornamenti e configurazione del Wi-Fi non facevano parte di questa cattura.
Il test di rete del 30 ottobre, in numeri
Test: cattura interna di DeCamp Labs su un’unità di prova, un Raspberry Pi 5 da 8 GB con software 0.9.0 in pre-rilascio e Boosted spento. Si è svolta il 30 ottobre 2026 dalle 17:57 alle 18:07, ora del Centro degli Stati Uniti. Il riepilogo arriva dal costruttore, e la pagina dei test di PHNTM One descrive come ripetere i controlli.
Dati chiave: 20 pacchetti nei due sensi, 10 richieste in uscita e 10 risposte in arrivo, da 76 byte ciascuno: 1.520 byte in tutto, 760 dei quali in uscita. La cattura dei pacchetti registra 0 ricerche DNS. A parte, i 287 rilevamenti delle connessioni, uno ogni 2 secondi, mostrano 0 connessioni verso indirizzi esterni. Il contatore del firewall, separato e riferito ai pacchetti in uscita, ha contato 11 pacchetti (836 byte): la richiesta in più si deduce avvenuta prima dell’inizio della cattura.
Quanto ci mette a rispondere un Raspberry Pi 5 con Gemma 3 4B
Il modello che muove questa IA locale è Gemma 3 4B di Google, compresso (Q4_K_M) e gestito da Ollama, con una finestra di 8.192 token. Nel test del 30 ottobre genera una mediana di 2,96 token al secondo su 8 risposte (un token è un pezzetto di parola). Alle prime parole si arriva con una mediana di 19 secondi e alla risposta completa con 28.
La prima domanda di una conversazione, senza il suo inizio già in memoria, ne ha chiesti 87 e 94. Quasi tutto il tempo, spiega Jacob, è servito a rileggere il testo completo dato al modello (istruzioni, conversazione e domanda): circa 80 secondi per 1.540 token. L’autocontrollo orario del dispositivo aveva spinto fuori dalla memoria rapida l’inizio della conversazione, e il modello ha dovuto ripartire da zero.
Con una correzione, sull’unità di sviluppo la stessa domanda è scesa da 96 a 17 secondi, e sull’unità per le recensioni la rimisurazione è ancora da fare. Nei test di sviluppo del 21 ottobre, su uno dei due dispositivi, due risposte hanno fatto aspettare 178 e 241 secondi prima del primo testo.
Facciamo due conti: a circa 3 token al secondo, una risposta piena, fino al limite di 700 token, richiede quasi 4 minuti di sola scrittura, più l’attesa per le prime parole. Il calcolo è mio e parte dalla velocità che Jacob ha misurato: la durata di una risposta tipica dipende dalla domanda e, per ora, resta da misurare.
Misure esterne sullo stesso modello e sulla stessa scheda ce ne sono poche, e arrivano dallo stesso autore. La tabella attuale di Kunal Ganglani indica circa 3,5 token al secondo per generare testo con Gemma 3 4B, e il valore vicino a 8 riguarda la lettura del prompt. Una sua pagina più vecchia riporta da 8 a 11. Il 2,96 di Jacob sta poco sotto i 3,5 della tabella attuale, e la sua stessa pagina dei test ricorda che la lunghezza del prompt cambia i tempi. Su questa scatola la privacy si misura in byte e l’attesa in secondi.
Che cosa legge davvero il modello quando gli date un PDF da 40 pagine
Fare domande ai propri documenti è la funzione su cui si regge questa IA locale. Il dispositivo estrae il testo di ogni pagina e lo taglia in passaggi da circa 1.500 caratteri, ciascuno con il suo numero di pagina. A ogni domanda ne recupera fino a 8 e ne porta al modello al massimo 5, dentro un limite di 8.192 token. Di un PDF da 40 pagine il modello ne vede soltanto qualche estratto.
I rimandi di pagina li aggiunge il software e dicono da dove viene un passaggio: la verifica della risposta resta a voi. Secondo il mio conto, cinque passaggi da 1.500 caratteri valgono circa 1.900 token, fino a 2.500 secondo come si conta l’italiano. Alla velocità di elaborazione dichiarata, la sola lettura di questi estratti non in cache richiederebbe da un minuto e mezzo a due minuti e mezzo. L’attesa complessiva prima delle prime parole dipende anche dal resto del prompt, dalla cache e da altri tempi aggiuntivi, e resta da misurare.
In Privato chat, documenti, memoria e voce restano sul dispositivo. Con Boosted attivo, insieme alla domanda partono verso Anthropic gli estratti dei documenti, le note, le memorie e le letture del dispositivo. Lo dico per trasparenza: Anthropic è la società di Claude, l’assistente che uso anche per scrivere.
Sul sito l’italiano compare per le risposte scritte e parlate, e la voce locale tra le funzioni descritte come documentate. Nella sua risposta Jacob precisa che il riconoscimento del parlato in italiano è stato provato finora soltanto con voci sintetiche. Tra il 6 e l’11 novembre è in programma una prova con altoparlante e microfono, e i parlanti nativi sono ancora da confermare.
Quanto costa PHNTM One in Italia e chi l’ha già comprato
Per l’Italia il prezzo è 999 euro, con consegna e imposte di importazione incluse (IVA e dazi). Oggi la pagina d’ordine lo tratta come preordine: il pagamento si addebita subito e si può annullare con rimborso completo fino alla spedizione. Gli ordini italiani partiranno a conformità UE completata, e per ora la data non c’è.
Il collaudo dell’unità finita per la marcatura CE è il passo che resta, Jacob sta cercando il laboratorio e la dichiarazione di conformità, già scritta, aspetta la firma. Mancano ancora la nomina del responsabile UE e la registrazione RAEE per i rifiuti elettronici. Nessun cliente ha ancora pagato un’unità, quindi nessuna è stata spedita ai clienti. Due unità sono andate a un creator americano, una originale e una di sostituzione.
Per quanto mi riguarda, non vedo l’ora di metterci le mani e provarla di persona, presumibilmente a gennaio, per capire quanto di questi numeri regge sulla scrivania.
A febbraio 2025 raccontammo il debutto di Alexa+, l’assistente di Amazon con IA generativa. Il prezzo annunciato era di circa 18 euro al mese, come quello dei concorrenti a pagamento, e nulla per chi aveva Amazon Prime. A quella tariffa 999 euro valgono circa 4 anni e mezzo di abbonamento, e la differenza è che l’IA locale risponde anche senza Internet.
L’IA locale di PHNTM One tiene i dati sulla scrivania finché la si lascia lavorare al suo passo. Con Boosted, l’interruttore che manda gli estratti dei documenti ad Anthropic con la chiave del proprietario, cambia la strada delle domande. Quale delle due strade convenga a un PDF da 40 pagine lo diranno le prove di gennaio, se i tempi reggono.
