用影片建立虛擬世界 NVIDIA 運用 AI 減低遊戲開發成本

用影片建立虛擬世界 NVIDIA 運用 AI 減低遊戲開發成本

還記得幾年前 《 Gran Turismo 》加入香港賽道,能夠在熟悉的街道作賽令不少賽車遊戲迷都為之興奮。到了最近 PS4 的《 Marvel’s Spider-Man 》,紐約街景被移植到遊戲裡,也令人感到很有臨場感。不過要製作接近實景的遊戲場景,很花成本和時間。 NVIDIA 最近就在一個 AI 開發大會裡,發表了一項運用 AI 來實時建構出 3D 虛擬環境的研究,將來有望令開發仿實景遊戲場景的成本大大減輕。

現在,要建立模仿實景的場景,要用人手將 3D 模型一個一個做出來。而 NVIDIA 這項研究,就是運用神經網絡來學習,按照影片來自動建構出建築物、樹木以至周圍的車輛,而產生出來的物件也能夠刪除、變更或增加。運用這項技術就可以即時建立基於現實世界景物的遊戲、駕駛和 VR 所用的互動場景。

NVIDIA 以一個駕駛遊戲來示範這項技術,那個遊戲運用深度學習結合圖像引擎來產生街道場景,開發人員以多套不同城市的駕駛影片來進行訓練,然後將場景裡的物件按語義抽出來,再用 Unreal Engine 4 遊戲引擎來為不同物件著色建立分色構圖,由神經網絡將構圖轉換成影像。

除了製作虛擬世界,這項技術還可以套用在人像模型上,模仿偶像巨星的跳舞。