還記得幾年前 《 Gran Turismo 》加入香港賽道，能夠在熟悉的街道作賽令不少賽車遊戲迷都為之興奮。到了最近 PS4 的《 Marvel’s Spider-Man 》，紐約街景被移植到遊戲裡，也令人感到很有臨場感。不過要製作接近實景的遊戲場景，很花成本和時間。 NVIDIA 最近就在一個 AI 開發大會裡，發表了一項運用 AI 來實時建構出 3D 虛擬環境的研究，將來有望令開發仿實景遊戲場景的成本大大減輕。
現在，要建立模仿實景的場景，要用人手將 3D 模型一個一個做出來。而 NVIDIA 這項研究，就是運用神經網絡來學習，按照影片來自動建構出建築物、樹木以至周圍的車輛，而產生出來的物件也能夠刪除、變更或增加。運用這項技術就可以即時建立基於現實世界景物的遊戲、駕駛和 VR 所用的互動場景。
NVIDIA 以一個駕駛遊戲來示範這項技術，那個遊戲運用深度學習結合圖像引擎來產生街道場景，開發人員以多套不同城市的駕駛影片來進行訓練，然後將場景裡的物件按語義抽出來，再用 Unreal Engine 4 遊戲引擎來為不同物件著色建立分色構圖，由神經網絡將構圖轉換成影像。
[ot-video][/ot-video]
除了製作虛擬世界，這項技術還可以套用在人像模型上，模仿偶像巨星的跳舞。