Un cliente chiede a un piccolo hotel di modificare una prenotazione. Il personale controlla le camere disponibili e il sistema gestionale suggerisce di rifiutare: forse la richiesta è incompatibile con l’occupazione prevista, forse l’algoritmo considera basso il valore della prenotazione, forse ha interpretato male un dato. La risposta parte. Se il cliente protesta, il responsabile prova a capire perché. Ma dove cerca?
Il suggerimento che diventa una decisione
Le decisioni assistite dall’intelligenza artificiale raramente arrivano come un ordine esplicito. Possono comparire come un punteggio, una previsione, una priorità o un testo già pronto. Una persona può accettarle senza accorgersi di quanto abbiano orientato la scelta. Il problema emerge dopo, quando qualcuno chiede di ricostruire il percorso: quali informazioni erano disponibili, quale criterio ha pesato e chi ha approvato l’esito?
La domanda non riguarda solo i sistemi sofisticati. Può nascere anche quando un’attività usa uno strumento commerciale per prevedere la domanda, selezionare i candidati a un colloquio, rispondere ai clienti o sintetizzare i commenti online. Se il risultato entra in una decisione reale, poterlo spiegare diventa una questione di gestione.
Che cosa significa ricostruire una scelta
Ricostruire non significa necessariamente conoscere ogni passaggio matematico di un modello. Per un’impresa può essere più utile documentare quali informazioni ha fornito al sistema, che cosa gli ha chiesto, come ha interpretato la risposta e quale decisione ha preso. È una traccia del processo decisionale, non una spiegazione completa del funzionamento tecnico dell’IA.
Un primo elemento è la fonte. Il sistema ha lavorato su dati interni, su informazioni fornite dal cliente o su un documento? La fonte era aggiornata e pertinente? Se il personale usa una sintesi generata dall’IA, può risalire ai materiali da cui è stata ricavata? Senza queste informazioni, un risultato plausibile rischia di sembrare più solido di quanto sia.
Poi vengono i criteri. Che cosa si stava cercando di ottenere? Ridurre i costi, rispettare una preferenza del cliente, distribuire i turni in modo equilibrato? Se il criterio non è dichiarato, diventa difficile valutare se la risposta fosse adatta al caso. Un sistema può anche produrre un risultato coerente con una richiesta sbagliata o incompleta.
Servono infine le evidenze e le responsabilità. Quali elementi sono stati controllati prima di agire? Chi ha verificato il risultato? Chi poteva correggerlo o fermare la procedura? In un’attività piccola non occorrono necessariamente nuovi moduli o software: una registrazione essenziale, proporzionata al rischio, può già indicare data, fonte, criterio, verifica e responsabile.
Da un problema operativo al QEN Framework
È da domande come queste che prende forma il lavoro di Cognitive Logic, iniziativa fondata da Roberto Malini per sviluppare metodi di lettura e valutazione delle decisioni organizzative. Il QEN Framework nasce dal tentativo di rendere espliciti criteri ed evidenze nella valutazione degli impatti sociali, ambientali e territoriali delle attività economiche. La successiva evoluzione QEN Sovereign estende questa impostazione alla governance delle informazioni e delle decisioni anche quando intervengono sistemi di IA.
Nel caso dell’hotel, applicare questo approccio non significa chiedere al software di certificare la propria risposta. Significa conservare, in forma adeguata e proporzionata, il riferimento alla richiesta del cliente, i dati di disponibilità effettivamente considerati, il criterio applicato, il suggerimento ricevuto e la persona che ha deciso. Così, in presenza di un reclamo, si può distinguere un errore del dato, un criterio discutibile e una scelta umana non verificata.
Il QEN Framework propone quindi una disciplina di collegamento tra fonti, criteri, evidenze e responsabilità. Non è una certificazione, non costituisce uno standard ufficiale e non garantisce di per sé che una decisione sia corretta: la sua utilità va verificata nei singoli contesti applicativi.
Tracciabilità non significa accumulare dati
Una traccia ordinata non dimostra che le informazioni fossero complete, che il sistema fosse equo o che l’esito fosse giusto. Può però rendere visibili le lacune: una fonte non verificata, un criterio applicato senza controllo, una risposta automatica accettata troppo in fretta. Da qui può partire la correzione del processo.
Anche la registrazione ha limiti precisi. Conservare più dati del necessario può esporre informazioni riservate o personali; annotare tutto può rendere il controllo impraticabile. Occorre calibrare la documentazione sulla rilevanza e sul rischio della decisione, rispettando le regole applicabili in materia di dati personali. Una previsione usata per orientare una scelta reversibile può richiedere una traccia diversa da quella impiegata per negare un servizio o valutare una persona.
La domanda da fare prima, non dopo
Il punto è più ampio di qualsiasi framework: quando una decisione assistita dall’IA conta davvero, un’organizzazione dovrebbe poterne ricostruire il percorso. La prossima volta che un sistema suggerisce una scelta, vale la pena chiedersi: tra un mese sapremo dire quali dati l’hanno sostenuta, quale criterio abbiamo seguito e chi ne ha verificato l’esito?
