黑神話悟空中的3D渲染技術是怎麼回事？
2024年8月20日遊科互動科技有限公司出品的3A遊戲《黑神話：悟空》廣受全球玩家關注和熱議。在正式發售後不到24小時，Steam在線玩家峰值突破222萬，在Steam所有遊戲中在線玩家歷史峰值排名第二。這款現象級產品正式開啓國產3A遊戲元年。《黑神話：悟空》憑藉炫酷逼真的3D渲染效果和東方美學實力出圈，受央視、新華網、人民日報等官媒點贊和報道。
圖1：《黑神話：悟空》
圖片來源網絡 [1]
《黑神話：悟空》取材於《西遊記》的故事和人物角色，融入了大量古代建築、東方美學、國風音樂等中華文化元素，36個取景地中，共有27個來自山西，例如懸空寺、小西天等。在遊戲中，高清逼真的渲染場景與現實世界無縫銜接，虛擬與現實的界限在精湛的技術下難以分辨，帶來身臨其境的沉浸式體驗。
圖2：山西懸空寺vs《黑神話：悟空》渲染場景
圖3：《黑神話：悟空》3D實時渲染動態場景
圖片來源網絡[1]
3D實時渲染技術
在《黑神話：悟空》遊戲開發中，有一至關重要的技術—3D實時渲染技術。它能夠根據玩家的動作和視角變化，實時更新場景中的每一幀，確保遊戲體驗的流暢性和互動性。
（1）世界是“離散”的
光柵化渲染管線是當前主流的3D圖形渲染方法之一，廣泛應用於遊戲中。其工作原理是將三維場景的幾何數據（如多邊形、頂點等）轉換爲二維圖像，即將頂點信息連接形成的基本幾何圖元（如三角形）映射到二維的屏幕像素上。根據圖元的頂點位置進行着色。光柵化渲染雖然高效，但是相比較光線追蹤等物理更精確的渲染技術，其在光線的反射、折射、全局光照等方面的表現遜色。
圖4：離散化渲染
圖片來源網絡
圖5展示了不同密度三角面片表徵的3D物體。隨着三角形面片密度增加，3D物體越細膩，但也爲3D計算帶來了更大的負擔。
圖5：三角形面片表徵的3D模型
圖片來源網絡
（2）世界是“連續”的
3D物體的表徵本質上是找到在3D空間某座標下物體的例如反射率、光學密度、顏色等屬性。數學上實際上需要找到一種儲存關於3D點座標與這些物體屬性的方式。離散的3D表徵實際上是顯式地將這些關係存儲在網格中，通過訪問這些網格就能獲得物體的屬性，從而得到整個3D場景下的物體。那麼有沒有可能通過構造函數的方式，直接將輸入的3D座標映射爲物體屬性呢？神經隱式表徵給了我們答案。
2021年穀歌研究所Ben Mildenhall等[2]提出隱式神經表示的神經輻射場（Neural Radiance Field，NeRF）。NeRF通過優化多層感知機的神經網絡，實現從輸入的稀疏視圖合成複雜場景新視圖。輸入5D座標（空間位置（x,y,z）和觀察方向（θ,φ），輸出該空間位置的體積密度和與視角相關的輻射度（顏色），通過體渲染方式合成極具真實感的新視角渲染結果。但是該渲染技術訓練效率低，難以實現高分辨率實時渲染效果。2022年，英偉達Thomas Müller等[3]提出了Instant NeRF，採用多分辨率哈希表方式減少浮點運算和內存訪問次數，能在幾秒鐘內完成高質量神經圖形基元訓練，並能在幾十毫秒內完成1920×1080分辨率的渲染。
Nerf是計算機視覺中認知的一次飛躍：
計算機視覺的最高獎是“馬爾獎”（Marr Prize），以David Marr命名，而David Marr作爲計算機視覺4的開創者曾經提出過一個系統的視覺理論。在他的理論中，他把計算機視覺終極問題定義爲：輸入二維圖像，輸出是由二維圖像"重建"出來的三維物體的位置與形狀；而其他的一些我們現在常稱爲“計算視覺”的任務，比如識別、檢測等等，在Marr的理論中只能稱作“模式識別”問題，不能被稱作“計算視覺”問題。這其中的分別在於，Marr證明如果終極問題能夠被解決，那麼其他問題都能夠被解決。所以從整個計算機視覺的領域來講，NeRF所解決的就是計算機視覺最根本的問題，它所展示的效果是計算機視覺領域最根本的進步。
引用知乎專欄的內容
https://zhuanlan.zhihu.com/p/574351707
儘管NeRF已經在高真實感的新視角合成方面取得了突破性進展，但它依然存在隱式表達不直觀、訓練效率低等問題[4]。
圖6：NeRF投影與渲染過程
圖7：Instant NeRF 實時渲染結果
（3）在“離散”與“連續”中找到平衡
自2021年Nerf提出以來，有大量的工作前赴後繼，爲Nerf的改造與應用添磚加瓦，然而就在2023年夏天，Nerf的強大對手3D高斯潑濺（3D gaussian splatting, 3DGS）[5]正在蘊量着一次革命。3DGS結合隱式輻射場表示和顯式渲染的優勢。它首先將場景物體顯式表示爲點雲，然後給每個點賦予一個3D高斯橢球。顯式地將3D場景表示爲多個3D高斯函數，每個高斯橢球連續地表徵當前點雲的3D物體屬性。使用可微的光柵化進行渲染，基本思想是將所有3D高斯根據相機參數投影到影像平面上，形成一系列的二維平面高斯，再通過二維平面上高斯的疊加混合，最終合成影像[6]。通過對比渲染圖像與實際拍攝圖像直接的差異優化3D高斯橢球的參數，能夠在1080p分辨率下實現高質量的實時新視圖合成。近期，德國圖賓根大學Andreas Geiger課題組[7]介紹了一種抗鋸齒3D 高斯潑濺方法Mip-Splatting，引進了3D平滑濾波器和2D Mip濾波器以實現任意採樣率下的無僞影渲染。該工作獲得2024年CVPR最佳學生論文。
圖8：3D高斯函數濺射過程
圖9：3DGS實時渲染結果
3D實時渲染技術的應用
3D實時渲染技術不僅在遊戲領域有着廣泛應用，還在多個行業展現了其重要價值[8-10]。在自動駕駛領域，3D渲染技術可用於創建虛擬駕駛環境，協助自動駕駛系統識別和處理各種路況。例如，Waymo和Tesla等公司利用該技術進行自動駕駛的模擬測試。在虛擬現實與增強現實的應用中，3D渲染技術使人與虛擬環境之間的沉浸式交互成爲可能，提供實時的交互反饋。微軟推出的HoloLens增強現實設備可廣泛應用於工業製造、建築和醫療等領域，而Meta也推出了Meta Quest系列頭顯設備。此外，蘋果推出了混合現實設備Apple Vision Pro。它們通過3D渲染技術實現用戶與虛擬環境的互動。這項技術還被用於危險操作培訓，如飛行員培訓。在生物醫學領域，3D渲染可用於手術前的三維成像與模擬，幫助醫生規劃手術路徑，同時協助研究人員創建人體模型。天文學家則利用實時3D渲染構建並觀察星系、恆星等天體的三維模型，還可以創建虛擬天文館，讓公衆以沉浸式的方式探索宇宙。
圖10：3D實時渲染技術的應用
3D實時渲染技術在自動駕駛、人機交互、虛擬現實、生物醫學和天文觀測等多個領域展現了廣泛的應用前景，推動了智能化和可視化的發展。這項技術不僅提升了用戶體驗和產品功能，也加速了產品創新與迭代，具有顯著的市場價值和工程價值。通過精準的3D視覺模擬，3D渲染技術正悄然改變工業和日常生活的傳統模式，助力提供沉浸式體驗和智能化操作範式，從而提升了工作效率和決策能力，印證了“科技改善生活、科技服務生活”的理念。
作者：陳雅婷，張書赫（清華大學）
參考文獻
[1] https://www.heishenhua.com/
[2] Mildenhall B, Srinivasan P P, Tancik M, et al. Nerf: Representing scenes as neural radiance fields for view synthesis[J].Communications of the ACM, 2021, 65(1): 99-106.
[3] Müller T, Evans A, Schied C, et al. Instant neural graphics primitives with a multiresolution hash encoding[J]. ACM transactions on graphics, 2022, 41(4): 1-15.
[4] 高建, 陳林卓, 沈秋, 等. 基於三維高斯濺射技術的可微分渲染研究進展 (特邀)[J]. 激光與光電子學進展, 2024, 61(16): 1611010-1611010-13.
[5] Kerbl B, Kopanas G, Leimkühler T, et al. 3D Gaussian Splatting for Real-Time Radiance Field Rendering[J]. ACM Trans. Graph., 2023, 42(4): 139:1-139:14.
[6] Charatan D, Li S L, Tagliasacchi A, et al. pixelsplat: 3d gaussian splats from image pairs for scalable generalizable 3d reconstruction[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2024: 19457-19467.
[7] Yu Z, Chen A, Huang B, et al. Mip-splatting: Alias-free 3d gaussian splatting[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2024: 19447-19456.
策劃&監製：曹金
編輯：趙陽
來源：中國光學
原標題：光精漫談 | 黑神話悟空出世：身臨其境3D渲染技術
編輯：cc
轉載內容僅代表作者觀點
不代表中科院物理所立場
如需轉載請聯繫原公衆號
1.2.
3.
4.
5.
6.
7.
8.
9.
10.