Cos'è un NeRF?
Un campo di radianza neurale (NeRF) è una rete neurale in grado di ricostruire scene tridimensionali complesse da un insieme parziale di immagini bidimensionali. Le immagini tridimensionali sono necessarie in varie simulazioni, giochi, contenuti multimediali e applicazioni Internet delle cose (IoT) per rendere le interazioni digitali più realistiche e accurate. Il NeRF apprende la geometria, gli oggetti e gli angoli di una particolare scena. Poi esegue il rendering di viste 3D fotorealistiche da nuovi punti di vista, generando automaticamente dati sintetici per colmare le lacune.
Quali sono i casi d'uso dei campi di radianza neurale?
I NeRF possono eseguire il rendering di scenari complessi e generare immagini per diversi casi d'uso.
Grafica computerizzata e animazione
Nella grafica computerizzata, è possibile utilizzare i NeRF per creare effetti visivi, simulazioni e scene realistici. I NeRF catturano, eseguono il rendering e progettano ambienti, personaggi e altre immagini realistici. I NeRF sono comunemente utilizzati per migliorare la grafica dei videogiochi e l'animazione dei film VX.
Diagnostica per immagini
I NeRF facilitano la creazione di strutture anatomiche complete a partire da scansioni 2D come le risonanze magnetiche. La loro tecnologia è in grado di ricostruire rappresentazioni realistiche dei tessuti e degli organi del corpo, fornendo a medici e tecnici sanitari un contesto visivo valido.
Realtà virtuale
I NeRF sono una tecnologia fondamentale per le simulazioni di realtà virtuale e aumentata. Poiché possono modellare accuratamente scene in 3D, facilitano la creazione e l'esplorazione di ambienti virtuali realistici. A seconda della direzione di visualizzazione, il NeRF può mostrare nuove informazioni visive e persino eseguire il rendering di oggetti virtuali in uno spazio reale.
Immagini satellitari e pianificazione
Le immagini satellitari forniscono una serie di immagini che i NeRF possono utilizzare per produrre modelli completi della superficie terrestre. Ciò è utile per i casi d'uso di acquisizione della realtà (RC) che richiedono la digitalizzazione di ambienti reali: è possibile trasformare i dati di localizzazione spaziale in modelli 3D altamente dettagliati. Ad esempio, la ricostruzione di immagini aeree in rendering di paesaggi è comunemente utilizzata nella pianificazione urbana perché fornisce un utile riferimento per la disposizione reale di un'area.
L'immagine seguente mostra un esempio di modello di un edificio in 3D.
Come funzionano i campi di radianza neurale?
Le immagini 3D renderizzate al computer, create attraverso varie tecniche di grafica digitale, possiedono diverse proprietà specifiche che ne definiscono la qualità e il realismo. Ad esempio:
- Aspetti geometrici, come posizionamento, orientamento e scala dei modelli 3D nella scena
- Aspetti di illuminazione, come ombre, luminosità, colore e riflessi
- Trasparenza e traslucenza, che mostrano come la luce attraversa materiali come il vetro o la nebbia
- Volume e densità, come la densità del fumo o delle nuvole
- Texture che simulano materiali come stoffa, legno o metallo
Anche la scelta dei colori e la loro distribuzione giocano un ruolo fondamentale nell'impatto visivo dell'immagine. L'ombreggiatura determina il modo in cui le diverse superfici vengono illuminate, creando un senso di profondità e forma.
I NeRF combinano tecniche di computer grafica con l'architettura delle reti neurali per gestire tutti gli aspetti precedenti.
L'immagine seguente è un esempio di immagine 3D renderizzata al computer.
Architettura dei campi di radianza neurale
I NeRF utilizzano un aspetto neurale chiamato percettrone multistrato (MLP), un'architettura di rete neurale completamente connessa, per creare una rappresentazione di una scena 3D. Un MLP è un modello fondamentale nelle reti neurali e nel deep learning. È addestrato per mappare le coordinate spaziali e visualizzare le direzioni dei valori di colore e densità. Utilizza una serie di strutture matematiche che organizzano gli input, come una posizione nello spazio 3D o una direzione di visualizzazione 2D, per determinare i valori di colore e densità in ogni punto di un'immagine 3D.
La rete impara anche come modificare la luminosità e il colore dei raggi di luce nella scena. Sviluppando una comprensione di questi raggi, nota come modellazione della radianza, è in grado di mostrare colori e densità diversi da diverse prospettive.
Scopri di più sul deep learning
Tipi di campi di radianza neurale
Le prime versioni dei NeRF erano difficili da ottimizzare e lente, e avevano bisogno dell'input delle foto per abbinare l'illuminazione utilizzando gli stessi raggi della fotocamera. In seguito, diverse varianti sono state migliorate rispetto alla tecnologia iniziale.
PixelNeRF
Una delle prime nuove forme di NeRF è stata PixelNeRF (CPVR 2021) Questa implementazione introduce un'architettura completamente convoluzionale che può dipendere da singoli input di immagini. Questo approccio elimina la necessità di molte viste calibrate e organizzate e riduce le risorse computazionali totali necessarie. Inoltre, ha semplificato il processo di creazione e ottimizzazione dei NeRF.
Mega-NeRD
Mega-NeRD (CVPR 2022) è un altro framework NeRF particolarmente utile quando si lavora con scene su larga scala. Offre un algoritmo di clustering geometrico alternativo e una struttura di rete sparsa che gli consentono di elaborare immagini con diverse condizioni di illuminazione. Questo NeRF ottimizzato utilizza una griglia di radianza neurale sparsa (SNeRG) per acquisire e renderizzare efficacemente gli ambienti del mondo reale.
NSVF
Neural Sparse Voxel Fields (NSVF) è un NeRF che può saltare qualsiasi pixel vuoto durante la fase di rendering, aumentandone la velocità. Questa tecnica apprende le strutture dei pixel nelle celle di rete, consentendo di creare immagini di alta qualità senza il bisogno di punti di vista specifici.
Plenoptic voxel
Invece di utilizzare la rete neurale del percettrone multistrato, l'innovazione Plenoptic Voxel (2021) utilizza una griglia 3D sparsa. Con questa griglia, è possibile aumentare la velocità di rendering delle nuove simulazioni mantenendo la fedeltà visiva tramite l'interpolazione dei voxel.
Come fanno i campi di radianza neurale a renderizzare le immagini?
Rendering neurale designa il processo di creazione dell'immagine da parte del NeRF. I NeRF utilizzano varie tecniche per trasformare i dati grezzi in rappresentazioni 3D dettagliate.
Rendering grafico
Le tecniche di rendering del campo della computer grafica consentono ai modelli NeRF di proiettare e manipolare le scene geometricamente. Ad esempio:
- Il ray casting simula la prospettiva dell'utente per calcolare la visibilità degli oggetti
- Il ray tracing estende questo concetto simulando il comportamento fisico della luce, inclusi riflessi, rifrazioni e ombre
- La rasterizzazione converte le informazioni vettoriali 3D in pixel su uno schermo 2D, utilizzando vari algoritmi per simulare in modo efficiente gli effetti di illuminazione e texture
Rendering dei volumi
Il rendering dei volumi è un'altra strategia essenziale. Un algoritmo determina i valori di rosso, verde, blu e alfa (densità del volume) per ogni pixel in uno spazio o in un'immagine 3D. Queste figure vengono mappate alle posizioni corrispondenti in un'immagine 2D.
Un'altra tecnica è la sintesi delle viste, che funziona in modo inverso al rendering dei volumi. Questa tecnica crea una vista 3D a partire da una serie di immagini 2D. e un layout emisferico che rappresenta l'oggetto utilizzando una serie di immagini riprese da diverse angolazioni. Questo processo adatta ogni immagine 2D alla rispettiva posizione attorno a un oggetto, ricostruendola in 3D.
In che modo AWS può supportare i requisiti dei campi di radianza neurale?
Amazon Web Services (AWS) offre molti servizi per supportare i requisiti del NeRF.
AWS RoboMaker è un servizio di simulazione basato sul cloud che permette di eseguire, dimensionare ed automatizzare simulazioni senza gestire alcuna infrastruttura. AWS RoboMaker rende la creazione di ambienti di simulazione più rapida e conveniente fornendo mondi di simulazione e varie risorse 3D. È possibile utilizzare queste risorse di simulazione per creare ambienti di simulazione in grado di soddisfare il livello di fedeltà richiesto. Con AWS RoboMaker WorldForge, è possibile generare centinaia di mondi di simulazione residenziale 3D diversi e definiti dall'utente in pochi minuti.
AWS IoT TwinMaker è un servizio che crea gemelli digitali di sistemi del mondo reale come edifici, fabbriche, apparecchiature industriali e linee di produzione. Offre la possibilità di utilizzare i dati esistenti da più sorgenti, creare rappresentazioni virtuali di qualsiasi ambiente fisico e combinare modelli 3D esistenti con dati del mondo reale. Con AWS IoT TwinMaker, è possibile sfruttare i gemelli digitali per creare una visione olistica delle operazioni più velocemente e con meno sforzo.
Inizia subito a utilizzare i campi di radianza neurale su AWS creando un account.
Fasi successive su AWS
Ottieni accesso istantaneo al Piano gratuito di AWS.
