NVIDIA Research 正在開發新學習引擎 可使用基本 2D 影像建立 3D 模型

NVIDIA Research 正在開發一款新學習引擎,可以使用基本的 2D 影像來建立 3D 物件模型,並且能夠在 NVIDIA Omniverse 中將影集《霹靂遊俠》裡那輛人工智慧(AI)霹靂車 KITT 這類極為經典的車輛化為現實。

【以下內容為廠商提供資料原文】



由位在多倫多的 NVIDIA AI Research Lab 開發的 GANverse3D 應用程式,能將平面影像打造成逼真的 3D 模型,並且可以在虛擬環境中進行視覺化的呈現和控制。這項功能可以幫助建築師、創作者、遊戲開發者和設計師輕鬆地在他們的模型中加入新的物件,無需 3D 建模方面的專業知識,也不用花費大筆預算進行渲染。

舉例來說,將一張汽車的照片變成一個 3D 模型,這個模型可以在虛擬場景中行駛,車上還配有逼真的頭燈、尾燈和方向燈。



為了產生訓練用的資料集,研究人員利用生成對抗網路(GAN)來合成從多個視角描繪同一物件的影像,就像攝影師圍繞一輛停放的車子走動,並從不同的角度進行拍攝。這些多視角影像被插入一個用於製作反影像的渲染框架中,這便是從 2D 影像推論出 3D 網格模型的過程。

使用多視角影像進行訓練後,GANverse3D 只需要一張 2D 影像便能預測出一個 3D 網格模型。此模型可以搭配 3D 神經網路渲染器,讓開發人員可以控制自訂物件和背景交換。

如果將 GANverse3D 當作 NVIDIA Omniverse 平台的擴充項目進行匯入,並且在 NVIDIA RTX GPU 上運行,便能透過 GANverse3D 把任何 2D 影像重新打造成 3D 物件,例如將 1980 年代熱門電影影集《霹靂遊俠》中,那輛深受觀眾喜愛、協助主角打擊犯罪的經典汽車 KITT。

過去用於製作反影像的模型將 3D 形狀作為訓練資料。

NVIDIA 研究科學家、同時也是這項研究的主要發起人 Wenzheng Chen 表示:「現在無需使用 3D 資產,我們便能將一個 GAN 模型變成一個超高效率的資料生成器,如此一來就能使用網路上的任何 2D 影像來建立 3D 物件。」

NVIDIA 研究人員且同為這項研究的發起人 Jun Gao 表示:「由於我們訓練使用的是真實影像,而非依賴合成資料的一般訓練管道,因此,所打造出來的人工智慧模型更適用於實際的應用程式。」

NVIDIA 將在接下來的兩場會議上發表 GANverse3D 背後的研究成果,分別為五月的國際學習表徵會議(International Conference on Learning Representations; ICLR)與六月的國際電腦視覺與模式識別會議(Conference on Computer Vision and Pattern Recognition; CVPR)。

從平面影像到立體的 KITT

最新遊戲新聞
人氣遊戲新聞
行動版 電腦版