I ricercatori della Duke University hanno sviluppato uno strumento di intelligenza artificiale che può trasformare le immagini sfocate e irriconoscibili dei volti delle persone in convincenti ritratti generati dal computer, con dettagli più fini che mai.
I metodi precedenti a Pulse GAN potevano dettagliare un'immagine con pixel sfocati fino a otto volte la sua risoluzione originale. Ma il team di Duke ha escogitato un modo per prendere una manciata di pixel e creare facce dall'aspetto realistico con una risoluzione fino a 64 volte maggiore, "immaginando" caratteristiche come linee sottili, ciglia e rughe che non c'erano nella prima immagine.
Non sono mai state create prima immagini con questa risoluzione
Cynthia Rudin, scienziata informatica, Duke University
Non è un identikit
Il sistema Pulse GAN non può essere utilizzato per identificare le persone, affermano i ricercatori: non trasformerà una foto sfocata e irriconoscibile da una videocamera di sicurezza in un'immagine cristallina di una persona reale. Piuttosto, è in grado di generare nuovi volti che non esistono, ma sembrano plausibilmente reali.
La stessa tecnica potrebbe in teoria scattare foto a bassa risoluzione di quasi tutto e creare immagini nitide e realistiche, con applicazioni che vanno dalla medicina e dalla microscopia all'astronomia e alle immagini satellitari, ha detto il co-utore Sachit Menon, doppia specializzazione in matematica e informatica.
I ricercatori presenteranno il loro metodo, chiamato PULSE GAN , da domani al 19 giugno alla conferenza 2020 sulla visione artificiale e il riconoscimento dei modelli (CVPR).
Gli approcci tradizionali partono dall'acquisizione di un'immagine a bassa risoluzione con pixel sfocati e "indovinano" quali pixel extra sono necessari cercando di farli corrispondere, in media, ai pixel corrispondenti in immagini ad alta risoluzione che il computer ha visto prima. Come risultato di questa media, le aree strutturate nei capelli e nella pelle che potrebbero non allinearsi perfettamente da un pixel all'altro potrebbero apparire sfocate e indistinte.
Il team alla Duke ha adottato un approccio diverso
Invece di acquisire un'immagine a bassa risoluzione e aggiungere lentamente nuovi dettagli, il sistema ricerca esempi di volti ad alta risoluzione generati dall'AI (ormai diventata bravissima in questo), cercando quelli che assomigliano il più possibile all'immagine di input quando vengono ridotti alla stessa dimensione.
Il team ha utilizzato uno strumento di apprendimento automatico chiamato GAN, o "rete generativa avversaria". Ne ho parlato più approfonditamente in questo articolo e in altri su questo sito. Le GAN sono reti neurali addestrate sullo stesso set di dati di foto. Una rete presenta volti umani creati dall'intelligenza artificiale che imitano quelli su cui è stata addestrata, mentre l'altra prende questo risultato e decide se è abbastanza convincente da essere scambiato per una foto reale. La prima rete migliora sempre di più con l'esperienza, fino a quando la seconda non riesce a distinguere. Gareggiano tra loro, in altri termini, e gareggiando si perfezionano.
PULSE è in grado di creare immagini dall'aspetto realistico da input rumorosi e di scarsa qualità. Da una singola immagine sfocata di un volto può emettere un numero illimitato di possibilità realistiche, ognuna delle quali appare sottilmente diversa.
Anche date foto pixelate in cui gli occhi e la bocca sono a malapena riconoscibili, "il nostro algoritmo riesce a farci qualcosa. Qualcosa che gli approcci tradizionali non possono fare". Parola del co-autore Alex Damian, matematico alla Duke.
Pulse GAN, la "fantasia" al potere
Il sistema può convertire un'immagine di pixel sfocati, o di 16x16 pixel in una di 1024 x 1024 pixel in pochi secondi, aggiungendo più di un milione di pixel, simile alla risoluzione HD. Dettagli come pori, rughe e ciocche di capelli, impercettibili nelle foto a bassa risoluzione, diventano nitidi e chiari nelle versioni generate al computer.
I ricercatori hanno chiesto a 40 persone di valutare 1.440 immagini generate tramite PULSE GAN e altri cinque metodi di ridimensionamento. Il loro giudizio? Un numero su una scala da uno a cinque. e Pulse GAN ha fatto meglio di tutti. Di più, ha ottenuto un punteggio quasi pari alle foto di alta qualità di persone reali.
Guardate voi stessi i risultati su http://pulse.cs.duke.edu/.
