什麼是 NeRF？
神經輻射場 (NeRF) 是一種神經網路，可以使用數張局部 2D 影像重建複雜的 3D 場景。在各種模擬、遊戲、媒體和物聯網 (IoT) 應用程式中需使用 3D 影像，使數位互動更加逼真和準確。NeRF 學會了特定場景的場景幾何、物體和角度。接著，從新視角呈現逼真的 3D 視圖，自動生成綜合資料以填補空隙。
神經輻射場有哪些使用案例？
NeRF 可以渲染複雜的場景並為各種使用案例生成影像。
電腦圖形和動畫
在電腦圖形中，您可以使用 NeRF 來創建逼真的視覺效果、模擬和場景。NeRF 擷取、渲染和投影逼真的環境、角色和其他影像。NeRF 通常用於改善電玩圖形和 VX 電影動畫。
醫學成像
NeRF 有助於透過 2D 掃描（例如 MRI）建立全面的解剖結構。該技術可以以真實呈現的方式重建身體組織和器官，為醫生和醫療技術人員提供有用的視覺情境。
虛擬實境
NeRF 是虛擬實境和增強現實模擬的重要技術。透過此技術可以準確建立 3D 場景，也因此有助於建立和探索逼真的虛擬環境。根據檢視方向，NeRF 可以顯示新的視覺資訊，甚至可以在實際空間中渲染虛擬物件。
衛星圖像和規劃
衛星圖像提供了一系列 NeRF 可以用來製作全面地球表面模型的圖像。它對於需要數位化現實環境的實境捕獲 (RC) 使用案例非常有用，您可以將空間位置資料轉換為極為詳細的 3D 模型。例如，因為能給予一個區域的真實世界配置有用參考，航空影像重建於地景渲染大量運用於都市規劃中。
下圖為 3D 建築模型的範例。
神經輻射場如何運作？
透過各種數字圖形技術創建的圖形渲染 3D 影像具有幾種不同的特性，這定義了它們的品質和真實感。例如：
- 幾何層面，例如場景中 3D 模型的定位、方向和比例
- 光線層面，例如陰影、亮度、顏色和反射
- 透明度，顯示光線如何穿過玻璃或霧等材料
- 體積和密度，例如煙霧或雲的密度
- 模擬布料、木材或金屬等材料的紋理
顏色的選擇及其分佈也在影像的視覺影響中有關鍵作用。陰影決定不同表面區域的光線照明方式，從而營造出深度和形狀。
NeRF 將電腦圖學技術與神經網路架構做結合，以便處理前述所有層面。
下列影像是電腦渲染 3D 影像的範例。
神經輻射場的結構
NeRF 使用名為多層感知器 (MLP) 的全面連結神經網路架構層面建立 3D 場景的呈現。MLP 是神經網路和深度學習的基礎模型。其受訓將空間坐標和檢視方向投射到顏色和密度值。MLP 使用一系列數學結構來組織輸入（例如 3D 空間中的位置或 2D 檢視方向），進而決定 3D 影像中每個點的顏色和密度值。
該網路也會學習如何改變場景中光線的亮度和顏色。透過對這些光線的了解（也稱為輻射模型），可以從不同的角度顯示不同的顏色和密度。
神經輻射場的類型
最早的 NeRF 版本很難進行最佳化且很緩慢，其需從照片輸入來匹配藉此使用相同相機光線的照明。接著以初始技術為基礎，現在已有多種改善的變化。
PixelNeRF
最早的 NeRF 新形式之一是 PixelNeRF (CPVR 2021)。此部署引入完全卷積架構，可以根據單一影像輸入進行條件。這種方法移除對許多已校準和有組織的視圖的需求，並減少所需的總計算資源。這個新方法簡化建立和最佳化 NeRF 的流程。
Mega-NeRD
Mega-NeRD (CVPR 2022) 是另一個 NeRF 框架，在處理大規模場景時尤其有用。它提供替代的幾何叢集演算法和稀疏網路結構，使其能夠處理不同照明條件的影像。此最佳化的 NeRF 使用稀疏神經輻射網格 (SNeRG) 來有效捕捉和渲染現實世界環境。
NSVF
神經稀疏體素場 (NSVF) 是一種 NeRF，可以在渲染階段跳過任何空像素，從而提高渲染速度。此技術學習網路儲存格中的像素結構，讓它能在不需特定視角的情況下建立高品質的影像。
Plenoptic voxel
Plenoptic Voxel (2021) 創新使用稀疏 3D 網格，而不是多層感知神經網路。使用此網格可以提高新模擬的渲染速度，同時透過語音插值保持視覺保真度。
神經輻射場如何渲染影像？
神經輻射是指 NeRF 建立影像過程的術語。NeRF 使用各種技術將原始資料轉換為詳細的 3D 呈現。
圖形渲染
電腦圖學領域的渲染技術使 NeRF 模型能夠以幾何方式投影和操作場景。例如：
- 射線投射模擬使用者的視角來計算物件的可見性
- 光線追蹤透過模擬光的物理行為，包括反射、折射和陰影來擴展這個概念
- 點陣化將 3D 向量資訊轉換為 2D 螢幕上的像素，利用各種演算法，有效地模擬照明和紋理效果
立體渲染
立體渲染是另一個重要的策略。演算法確定 3D 空間或影像中每個像素的紅色、綠色、藍色和 alpha (體積密度) 值。這些數字對應到 2D 影像中的對應位置。
另一種技術是視圖合成，該技術與立體渲染運作方式相反。此技術從一系列 2D 影像建構 3D 視圖。視圖合成建立半球形配置，該配置會使用從不同角度拍攝的一系列影像呈現物件。此過程將每個 2D 影像調整到物件周圍的各自位置，並以 3D 形式進行重建。
AWS 如何支援神經輻射欄位需求？
Amazon Web Services (AWS) 提供兩種支援 NeRF 要求的服務。
AWS RoboMaker 是基於雲端的模擬服務，可執行、擴展和自動化模擬，無需管理任何基礎設施。AWS RoboMaker 提供模擬世界和各種 3D 資產，讓建築模擬環境更快、更經濟實惠。可利用這些模擬資產來建立模擬環境，以符合所需的擬真度。使用 AWS RoboMaker WorldForge，可在幾分鐘內生成數百個使用者定義、多種 3D 室內住宅模擬世界。
AWS IoT TwinMaker 是一項服務，用於建立現實世界系統的數位分身，例如建築物、工廠、工業設備和生產線。提供了使用多方來源的現有資料、建立任何實體環境的虛擬表示，以及結合現有 3D 模型與真實資料等功能。透過 AWS IoT TwinMaker，您可利用數位分身，更快速省力地建立全面性營運視圖。
立即建立帳戶，開始使用 AWS 上的神經輻射欄位。
