Nvidia – czołowy producent procesorów graficznych na świecie, ogłosił stworzenie Magic3D, generatywnej, sztucznej inteligencji, która może tworzyć modele 3D na podstawie opisu tekstowego. Magic3D tworzy model siatki 3D z kolorową teksturą w ciągu ok. 40 minut.
Na prezentowanym video, specjaliści Nvidii wygenerowali model 3D żaby po wpisaniu frazy: „niebieska żaba z zatrutą strzałką siedząca na lilii wodnej”. Uzyskany obiekt po naniesieniu niezbędnych ulepszeń, może być wykorzystany w scenach graficznych CGI lub grach wideo. Nvidia traktuje Magic3D jako odpowiedź na DreamFusion – system zamiany tekstu na obiekty 3D zaprezentowany przez badaczy z Google we wrześniu 2022 r.
Zespół badawczo-rozwojowy Nvidii przekonuje, że ich technologia pozwoli każdemu tworzyć modele 3D bez potrzeby specjalnego szkolenia. „Po udoskonaleniu uzyskana technologia może przyspieszyć rozwój gier wideo (i VR) i być może ostatecznie znaleźć zastosowanie w efektach specjalnych do filmów i telewizji. Mamy nadzieję, że dzięki Magic3D możemy zdemokratyzować syntezę 3D i otworzyć kreatywność wszystkich w tworzeniu treści 3D”.
Magic3D stosuje dwuetapową metodę, która pobiera zgrubny model utworzony w niskiej rozdzielczości i optymalizuje go do wyższej rozdzielczości, wykorzystując model zamiany tekstu na obraz w celu wytworzenia obrazu 2D. Ten jest następnie optymalizowany do wolumetrycznego NeRF (Neuralne Pole Radiacyjne). Zdaniem Nvidii, technologia tworzenia modeli przez Magic3D pozwala generować je dwa razy szybciej niż DreamFusion.
Magic3D może również przeprowadzać szybką edycję siatki 3D. Mając podstawowy monit i model 3D o niskiej rozdzielczości, tekst można zmodyfikować, aby zmienić wynikowy model. Dodatkowo autorzy Magic3D zilustrowali zachowanie tego samego projektu wyjściowego przez wiele iteracji i wdrożenie stylu obrazu 2D (takiego jak malarstwo kubistyczne) do modelu 3D.
Źródło: www.research.nvidia.com
