In un novu articulu Point-E: Un sistema per a generazione di nuvole di punti 3D da segnali cumplessi, u squadra di ricerca OpenAI presenta Point E, un sistema di sintesi cundizionale di testu di nuvola di punti 3D chì usa mudelli di diffusione per creà forme 3D variate è cumplesse guidate da testu cumplessu. spunti.in minuti nantu à una sola GPU.
U spettaculu maravigghiusu di i mudelli di generazione di l'imaghjini di l'oghje di l'arte hà stimulatu a ricerca in a generazione di oggetti di testu 3D.Tuttavia, à u cuntrariu di i mudelli 2D, chì ponu generà output in minuti o ancu seconde, i mudelli generativi di l'ughjettu generalmente necessitanu parechje ore di travagliu GPU per generà una sola mostra.
In un novu articulu Point-E: Un sistema per a generazione di nuvole di punti 3D da segnali cumplessi, a squadra di ricerca OpenAI presenta Point·E, un sistema di sintesi cundizionale testuale per i nuvuli di punti 3D.Stu novu approcciu usa un mudellu di propagazione per creà forme 3D variate è cumplesse da signali di testu cumplessi in solu un minutu o dui in una sola GPU.
A squadra hè focu annantu à a sfida di cunvertisce u testu in 3D, chì hè criticu per demucratizà a creazione di cuntenutu 3D per l'applicazioni di u mondu reale chì varieghja da a realtà virtuale è i ghjoculi à u disignu industriale.I metudi esistenti per cunvertisce u testu in 3D sò in duie categurie, ognuna di quale hà i so inconvenienti: 1) mudelli generativi ponu esse utilizati per generà campioni in modu efficiente, ma ùn ponu micca scala in modu efficiente per signali di testu diversi è cumplessi;2) un mudellu di testu-imaghjini pre-addestratu per trattà cues di testu cumplessi è variati, ma questu approcciu hè intensivu di calculu è u mudellu pò facilmente sbattà in minimi lucali chì ùn currispondenu à oggetti 3D significativi o coerenti.
Per quessa, a squadra hà esploratu un approcciu alternativu chì hà da scopu di cumminà i punti di forza di i dui approcci sopra, utilizendu un mudellu di diffusione testu-à-imaghjini furmatu nantu à un grande inseme di coppie testu-imaghjini (permettenu di trattà segnali diversi è cumplessi) è un mudellu di diffusione d'imaghjini 3D furmatu nantu à un settore più chjucu di coppie testu-imaghjini.dataset di coppia image-3D.U mudellu di testu à imagine prima mostra l'imaghjini di input per creà una sola rappresentazione sintetica, è u mudellu di l'imaghjini à 3D crea una nuvola di punti 3D basatu annantu à l'imaghjini selezziunati.
A pila generativa di u cumandamentu hè basatu annantu à i quadri generativi pruposti di recente per a generazione di l'imaghjini cundiziunali da u testu (Sohl-Dickstein et al., 2015; Song & Ermon, 2020b; Ho et al., 2020).Adupranu un mudellu GLIDE cù 3 miliardi di paràmetri GLIDE (Nichol et al., 2021), sintonizzati nantu à mudelli 3D resi, cum'è u so mudellu di trasfurmazioni di testu à imagine, è un inseme di mudelli di diffusione chì generanu nuvole di punti RGB cum'è u so mudellu. mudellu di trasfurmazioni.imagine à imagine.mudelli 3D.
Mentre i travaglii precedenti anu utilizatu architetture 3D per processà e nuvole di punti, i circadori anu utilizatu un mudellu simplice basatu in transducer (Vaswani et al., 2017) per migliurà l'efficienza.In a so architettura di mudellu di diffusione, l'imaghjini di nuvola di punti sò prima alimentati in un mudellu ViT-L/14 CLIP pre-trained è dopu i maglia di output sò alimentati in u cunvertitore cum'è marcatori.
In u so studiu empiricu, a squadra hà paragunatu u metudu Point·E prupostu cù altri mudelli 3D generativi nantu à i segnali di scoring da a rilevazione di l'ughjettu COCO, a segmentazione è i datasets di firma.I risultati cunfirmanu chì Point·E hè capaci di generà forme 3D diverse è cumplesse da signali di testu cumplessi è accelerà u tempu di inferenza da unu à dui ordini di grandezza.A squadra spera chì u so travagliu inspirerà più ricerche in a sintesi di testu 3D.
Un mudellu di propagazione di nuvola di punti pretrained è un codice di valutazione sò dispunibili nantu à u GitHub di u prugettu.Document Point-E: Un sistema per creà nuvole di punti 3D da indizi cumplessi hè in arXiv.
Sapemu chì ùn vulete mancà alcuna nutizia o scuperta scientifica.Abbonatevi à u nostru famosu newsletter Synced Global AI Weekly per riceve l'aghjurnamenti settimanali di l'AI.
Tempu di Postu: Dec-28-2022