Un laboratorio di informatica che lavora sulla semplificazione dell’interazione uomo-computer per persone di tutte le abilità ha sviluppato un lettore labiale digitale con un suo sistema di apprendimento automatico che aiuti l’utente a capire meglio.
LipType è un’invenzione del professor Ahmed Sabbir Arif e del suo laboratorio. In breve: legge il movimento labiale. Lo legge così bene che consente alle persone di inviare messaggi di testo o e-mail su PC e smartphone, e di avere interazioni senza contatto con dispositivi pubblici come bancomat o altri chioschi senza parlare ad alta voce.
Ci sono altri dispositivi che leggono il labiale, ma non sono ampiamente utilizzati perché lenti e spesso difettosi.
Un salto in avanti
Ci sono molti errori nella dettatura, specialmente in luoghi rumorosi. Le persone con problemi di lingua hanno ugualmente problemi a farsi capire, magari per l’accento. LipType funziona per chiunque. Le persone potrebbero dover inviare un messaggio privato mentre si trovano in uno spazio pubblico, o in una riunione, e con LipType possono semplicemente muovere le labbra senza emettere suoni.
Arif suoi studenti hanno aggiunto vari filtri con differenti algoritmi di intelligenza artificiale per consentire la lettura labiale in diverse condizioni di illuminazione. Hanno poi introdotto un correttore di errori basato su diversi modelli di linguaggio e hanno scoperto che LipType era significativamente più veloce di altri dispositivi già esistenti.
Il test sulla lettura labiale
Per accompagnare il test del software, il laboratorio di Arif ha condotto uno studio sociale per vedere se le persone avrebbero utilizzato una tale tecnologia. Hanno contattato studenti e persone della comunità, comprese le persone con disabilità, e hanno condotto un sondaggio online. Le reazioni sono state entusiaste.
Anche i risultati dei test sul software sono stati eccezionali. “LipType si è comportato più velocemente del 58% rispetto ad altri modelli,” dice la ricercatrice Laxmi Pandey. “Il dispositivo si è mostrato all’avanguardia in vari contesti reali, con scarsa illuminazione e rumore. Il successo di LipType mi fa credere che possa rivoluzionare la nostra interazione tra di noi e con i dispositivi informatici”.
Lo studio sociale e quello sul lettore labiale LipType sono stati accettati per la pubblicazione e la presentazione alla principale conferenza internazionale sull’interazione uomo-computer .
Le possibili applicazioni del lettore labiale LipType
Ci sono diverse possibili applicazioni per questo sistema di lettura labiale. Ovviamente LipType può avvicinare moltissimo agli strumenti digitali le persone con disabilità. In molti casi potrebbe tornare utile alle forze dell’ordine, per comprendere cosa accade in scenari nei quali non può accedere con l’ascolto. Anche le interfacce per l’auto possono essere utili, così da poter scrivere messaggi anche ascoltando musica. C’è una filosofia di design per tutto: il limite è la fantasia.
