Američki proizvođač grafičkih procesora Nvidia objavio je istraživački rad u kojem opisuje novi model umjetne inteligencije (AI) koji je sposoban pretvarati 2D video isječke u detaljne 3D modele.
Istraživanje je otkrilo da trenutni generativni AI modeli imaju poteškoća u hvatanju finih detalja objekata, kao što su ponavljajući uzorci teksture, homogene boje i snažne varijacije boja. Novi AI sustav tvrtke Nvidia, nazvan Neuralangelo, navodno prevladava ove probleme. Neuralangelo pruža modele visoke vjernosti i sposobnost preciznog prijenosa tekstura složenih materijala iz 2D videozapisa.
Kako bi se Nvidia-ina AI tehnologija mogla razviti kao alat za 3D printanje?
Nvidia ističe potencijalne koristi posebno za kreativne profesionalce koji mogu brzo i jednostavno stvarati virtualne objekte koristeći snimke snimljene pametnim telefonom. Umjetnost, virtualna stvarnost, razvoj video igara, robotika i proizvodnja industrijskih digitalnih blizanaca navode se kao potencijalne primjene Neuralangela.
Tvrtka je već demonstrirala širok raspon mogućnosti svoje nove AI tehnologije, rekreirajući kip Davida Michelangela i kamion s ravnom platformom. Neuralangelo također može rekonstruirati velike okoline. Nvidia je uspješno stvorila 3D model parka na svojem kampusu u Bay Area-i koristeći snimke iz zraka snimljene dronom.
“Mogućnosti rekonstrukcije u 3D-u koje Neuralangelo nudi bit će velika korist za kreatore, pomažući im da rekreiraju stvarni svijet u digitalnom svijetu“, komentirao je Ming-Yu Liu, stariji direktor istraživanja u Nvidiji i suautor istraživačkog rada. “Ovaj alat će na kraju omogućiti developerima da uvežu detaljne objekte – bilo da se radi o malim kipovima ili masivnim zgradama – u virtualne okoline za video igre ili industrijske digitalne blizance.“
Iako novi AI alat još nije kombiniran s primjenama 3D printanja, glasnogovornik Nvidije je izjavio da bi to mogao biti budući smjer. Trenutno, modeli Neuralangela ne mogu se 3D printati.
Lako je zamisliti potencijalnu integraciju aditivne proizvodnje s Neuralangelom.
To bi se moglo postići izvozom AI generirane mreže kao datoteke za ispis u budućnosti, ili kao dio digitalnog blizanca. Trenutno se digitalni blizanci koriste u fazama dizajna i prototipa razvoja proizvoda, a i dalje se razvijaju tijekom životnog ciklusa proizvoda.
Pretvaranje 2D videozapisa u 3D modele pomoću umjetne inteligencije (AI)
Neuralangelo koristi Instant Neural Graphics Primitives (NGP) u kombinaciji s funkcijama signala udaljenosti (SDF) kako bi postigao visokokvalitetnu konverziju videozapisa. NGP pruža hibridne 3D rešetkaste strukture s kodiranjem višeresolucijskog hash-a. Ova hibridna reprezentacija značajno povećava moć predstavljanja neuronskih polja i omogućuje hvatanje finijih detalja.
Učinkovito, Neuralangelo uzima 2D video snimku objekta ili okoline i odabire nekoliko kadrova koji prikazuju različite gledišne točke. Nakon određivanja položaja kamere za svaki kadar, AI stvara grub model u 3D-u. Taj grub prikaz zatim se optimizira, poboljšavajući detalje i proizvodeći završni proizvod s visokom kvalitetom površine i preciznosti.
Istraživači ističu dvije ključne faktore ovog pristupa. Prvo, koriste se numerički gradijenti za izračunavanje derivacija visokog reda. To je navodno ključno za stabilizaciju procesa optimizacije. Drugo, progresivan raspored optimizacije je bitan za obnavljanje struktura na različitim razinama detalja. To omogućuje sveobuhvatnu i preciznu rekonstrukciju 3D modela.
