Un team di ricercatori dell'Università della California e dei due dipartimenti di Facebook Reality Labs e AI Research ha sviluppato una rete neurale in grado di creare immagini 3D e figure 3D da immagini 2D.
Pifu HD, acronimo che sta per Pixel-Aligned Implicit Function HD, è stato addestrato per convertire in 3D immagini e video 2D che riproducono persone vestite.
Oltre alle caratteristiche del viso come bocca e naso, il sistema è in grado di convertire con precisione anche le rughe e la trama degli indumenti in un corrispondente modello 3D. Le pose fotografiche femminili sono eloquenti, ed anche le pose maschili non scherzano.
Pifu HD è una versione migliorata della precedente AI Pifu, introdotta lo scorso anno. Con più informazioni sui pixel è possibile trasferire dettagli più piccoli per un modello 3D, come pieghe e posizioni delle dita. Lo scienziato Shunsuke Saito ha presentato il nuovo lavoro in due video. C'è anche un documento scientifico con informazioni dettagliate.
L'addestramento di Pifu HD
L'intelligenza artificiale viene addestrata a produrre immagini 3D utilizzando immagini 2D, che fungono da punti di riferimento. Nel caso specifico è stato utilizzato un set di immagini di moda, che contiene modelli fotografici maschili e femminili in varie pose e con diversi articoli di abbigliamento.
Un po' come funziona per la risonanza magnetica medica, ciascun livello di profondità scansionato si traduce in una figura tridimensionale. Un codificatore di immagine calcola la rispettiva coordinata in 3D per ciascun pixel 2D e stima se si trova all'interno o all'esterno della sezione trasversale dell'immagine in esame. E da immagine a 3D a quel punto il passo è breve.
Pifu HD codifica in parallelo immagini a risoluzione ridotta, e utilizza le informazioni per creare il proprio modello 3D.
La demo video funziona abbastanza bene. Pertanto, Pifu può generare una figura umana 3D da immagini di modelli. Di più, un modello 3D molto più dettagliato da diverse immagini della stessa persona di riferimento con diversi angoli di visione.
Serve ancora un po' di tempo
Pifu non è ancora completamente sviluppato e non è abbastanza efficiente per essere utilizzato in modo produttivo con i suoi modelli 3D. La rapidità di creazione e apprendimento di questo software, tuttavia, lascia sbalorditi.
