Nvidia ha dimostrato un nuovo incredibile algoritmo di intelligenza artificiale che può trasformare automaticamente alcune foto in una scena 3D realistica.
L’algoritmo, che si basa su una rete neurale di deep learning, è stato in grado di creare una scena 3D da soli 12 scatti, operando un rendering in pochi secondi. I risultati sono ancora lontani dalla perfezione ma sbalorditivi: e mostrano la promessa di applicazioni future in settori come l’editing video e il rendering dei volti, persone o paesaggi.
Nvidia ha rilasciato un video che dimostra l’algoritmo in azione: dategli voi stessi un’occhiata.
Instant NERF, la “magia” 3D targata Nvidia
Lo strumento sviluppato da Nvidia è noto come Instant NERF, derivato da “campi di radianza neurale”, una tecnica di Google Research e UC San Diego University of California che è stata lanciata nel 2020.
Se volete saperne davvero di più date un’occhiata qui (testo in inglese). Se invece vi accontentate di quello che ho capito io: in sostanza, la tecnica accoppia i dati di colore e intensità della luce da alcune immagini 2D per produrre una scena 3D. E infatti oltre alle fotografie, il sistema ha bisogno di informazioni sulla posizione della telecamera.
I ricercatori lavorano sul miglioramento di questo tipo di modello da 2D a 3D da un paio di anni, aggiungendo più complessità ai rendering, e contemporaneamente riducendo le tempistiche. Nvidia sostiene infatti che il suo nuovo metodo di rendering con Instant NeRF è forse il più veloce mai creato: la procedura passa da durare alcuni minuti a essere completata praticamente all’istante.
I possibili campi di applicazione
Man mano che la tecnica diventa più rapida e facile da implementare, potrebbe essere utilizzata per tutti i tipi di attività, afferma Nvidia in un post sul blog che descrive il lavoro.
Instant NeRF può essere usato per generare avatar o ambienti per mondi virtuali, catturare partecipanti a videoconferenze e i loro dintorni in 3D, o ricreare impostazioni per mappe digitali 3D, secondo Isha Salian di Nvidia.
La tecnologia potrà essere utilizzata per insegnare ai robot e alle auto a guida autonoma come identificare la dimensione e la forma degli oggetti del mondo reale scattando fotografie 2D o filmati di essi. Sarà utilissima anche in architettura e nell’intrattenimento. Aiuterà startup (anche italiane, come questa) a creare più velocemente rappresentazioni digitali di ambienti reali che i creatori possano modificare e sviluppare in un lampo.
