工業技術研究院 資訊與通訊研究所  何丹期  郭豐源  吳欣怡  林應誠  楊欣曄  陳盈珊  朱彩熒

透過3DGS，用戶能夠更好地規劃家居空間，確保家具和裝飾品的最佳擺放位置，提升居住舒適度。

前言

人工智慧（Artificial Intelligence, AI）技術日新月異，3D建模技術已從電影特效和遊戲開發領域，廣泛應用於商業展示。無論是電商產品外觀的細緻呈現，或是大型工具機台的部件解構說明，3D建模都為企業帶來嶄新的互動體驗與行銷優勢。這股科技浪潮，正引領企業與消費者邁入全新的數位視野。其中，3D高斯潑濺（3D Gaussian Splatting, 3DGS）技術 [1]的出現，更突破了傳統3D建模成本高昂且擬真度不足的困境，為商務展示、工程監控、文創娛樂等產業注入創新動能。此外，數位雙生技術透過將實體物件的狀態與行為進行數位化，實現即時監控與優化，已在各行各業中廣泛應用。高擬真3D模型作為數位雙生的基石，不僅能快速生成逼真的虛擬場景，更能為機器人視覺模型提供豐富多元的數據支持，進而大幅提升模型的準確性與泛化能力。

隨著科技的進步，數位雙生技術逐漸成為各行各業的重要工具。高擬真3D建模技術作為數位雙生技術的核心組成部分，為其應用提供了強大的支持。本文將探討高擬真3D建模技術在數位雙生中的應用機會與挑戰，並展望其未來發展。

3D高斯潑濺技術實現了低門檻高擬真3D模型建模

傳統3D建模高度仰賴專業美術人員的參與，門檻高且製作時間長。根據模型的複雜程度，建模時間可能從數天至數個月不等。且模型品質完全取決於美術人員的技能和藝術水準，難以實現快速複製和標準化生產。這些限制使得3D內容製作效率低下，難以快速應用於實際場景，阻礙了其在多領域的普及與落地。

3D高斯潑濺（3D Gaussian Splatting, 3DGS）[1]是一種透過AI直接從拍照相片生成3D模型的技術。相較於傳統人工建模技術，具有多項顯著優勢。首先，3DGS能快速重建3D場景，大幅縮短建模時間，從數天減少到幾小時，且生成的3D模型高度還原實體場景物件上的所有細節。其次，它降低了使用門檻，使用者只需提供多角度的2D照片或影片，系統便能自動學習並生成高品質的3D模型，無需專業美術人員的深厚技術知識。此外，3DGS具備即時渲染能力，能在處理複雜場景時保持高效，並生成更逼真的效果。這些特點使得3DGS在遊戲、電影和虛擬現實等領域展現出廣泛的應用潛力。

3DGS的核心概念是用無數個細小的「高斯點」來模擬真實場景。每一個高斯點就像一個有著特定位置、大小和顏色的橢圓球，透過調整這些橢圓球的參數，就能精準地還原場景的幾何結構和光影效果。不同於傳統的三角形網格建模或是複雜的神經網路渲染，3DGS不僅速度更快，而且能呈現出極高的視覺品質，讓3D模型栩栩如生。

3DGS的建模流程也相當直觀。首先，需要從不同角度拍攝場景的照片，就像拼圖遊戲一樣，盡可能地收集多視角的信息。接著利用相機空間定位來將這些照片中的像素轉換為大量3D空間中的高斯點。透過不斷地迭代調整這些高斯點的大小、方向和密度來讓它們能夠完美地擬合真實場景。最後，通過快速渲染技術，就能將這些高斯點轉化為清晰逼真的3D畫面。

3DGS的出現，不僅大大降低了3D建模的門檻，也為許多行業帶來了無限可能。在遊戲領域，它可以讓場景更加真實生動；在電影製作中，它可以節省特效製作時間；在虛擬實境和擴增實境（Virtual Reality, VR／Augmented Reality, AR）應用中，它可以創造更具沉浸感的體驗。未來，3DGS有望在線上購物、虛擬導覽、遠程教育等領域大放異彩，讓我們的生活更加豐富多彩。

3D高斯潑濺技術對生活應用帶來的變革

工研院資訊與通訊研究所（以下簡稱資通所）基於3DGS技術，分別針對物件、戶外場景與室內場景開發了多項延伸技術，並應用於商務會展商品3D展示、防救災與土木工程監造、室內設計、文物保存、文創展演等領域之擬真3D建模與展示需求。

• 物件建模

針對電子商務與虛擬會展，資通所研發「低門檻一站式3D建模工具」，專注於高擬真商品建模與虛擬展示的應用，旨在降低3D內容製作成本並提升商業應用的可行性，讓一般商家/使用者可快速建立高品質3D模型並進行線上展示。這項技術有效簡化建模流程，透過AR介面引導使用者進行拍照建模，並結合創新的動畫編輯與二次補拍修補技術，不僅提升了模型的品質與準確性，也讓更多使用者能輕鬆參與3D內容創作。

如圖1所示，工具前端介面是一套透過AR輔助拍照建模的手機APP，讓使用者只需拍攝影像即可完成建模。影像數據會自動上傳雲端服務平台進行AI訓練，生成高品質的3D模型。整個過程快速高效，無需昂貴設備或專業技能，並且使用者可以直接在手機端查看建模成果，或透過網頁進行3D模型展示，大幅降低操作門檻。

圖1 低門檻一站式3D建模工具系統流程圖

要建出高品質3DGS模型需要有涵蓋所有商品視角的影像，既有3D建模App多透過固定式的AR提示介面引導使用者進行拍照。但這種作法無法根據使用者已經拍照過的資訊進行動態建議，也沒辦法預估建模品質。我們研發了基於相機視角涵蓋密度的拍照提示技術，將拍照位置投影到以物件為中心的球表面上來計算視角涵蓋密度，作為後續最佳拍照位置計算的依據，達成可根據使用者以拍攝的照片動態預測最佳拍攝位置的目的。藉由收集大量測試數據來建構視角涵蓋密度與建模品質關聯模型，讓使用者可以針對需要的模型品質，動態計算出所需的拍照張數與位置。技術流程如圖2所示。

圖2 基於視角涵蓋密度之AR拍照提示技術流程圖

既有3DGS建模流程需事先準備好拍攝物件、場景所有照片，再進行一次性3D建模[1]。如果因為拍照缺失導致3D建模品質不良需要重新收集所有照片再進行建模，耗費大量人力與建模時間。資通所開發多次補拍與模型融合技術，解決傳統建模中因成果不理想而需多次重新拍攝和重建模型的問題。技術流程圖如圖3所示，使用者只需針對需要改進的區域進行補拍，再將新數據與現有模型融合，無需重新建模，顯著節省時間與成本。透過迭代最近點演算法（Iterative Closet Point, ICP）[2]來計算多次拍照建模的3DGS模型之間的空間關聯性，藉此進行模型融合。並重新優化重疊區域的模型表面資訊來消除模型缺陷導致的瑕疵。此技術能精細處理細節區域，提高模型的準確性與完整性，使整個建模過程更加靈活高效。

圖3 利用多次補拍與模型融合修補3D模型底部缺陷流程圖

• 戶外場景建模

空拍機3D建模具有快速、高精度的優勢，已被大量應用於防救災情境中。在防救災應用上，時效性是關鍵，災難現場需要快速生成3D模型以輔助決策。然而傳統建模方法耗時長，加上災區環境複雜多變，建築物倒塌和道路受損等因素限制了空拍機的飛行和數據採集，部分區域可能難以從理想角度獲取影像，導致模型細節缺失。

現有空拍建模軟體如Pix4D與ContextCapture需要數小時到一天時間進行3D建模，且生成的3D網格模型無法忠實呈現樹葉、電線等細微幾何特徵。既有空拍建模軟體需要至少70%以上的影像重疊率才能穩定建模，進一步提高影像取得與3D建模門檻。3DGS技術顯著提升了建模速度與品質，但處理大量影像時仍需數小時，且視角覆蓋不足與天候引發的光影誤差常影響模型效果[1]。

為解決時效性挑戰，我們優化了相機定位演算法並導入漸進式建模，使空拍機能在拍攝同時進行3D建模，將原本數小時的流程縮短至10分鐘生成初始模型，並隨時間逐步精細化。此外，我們也導入AI相機視角預測技術 [3]與稀疏影像3DGS建模技術 [4]，解決空拍機之間視角差異過大無法建模的問題，並有效降低視角不足導致的品質缺陷。同時修正天候條件造成的光影不一致，提升了戶外場景模型的整體品質與穩定性。圖4為透過所研發技術進行工研院中興院區空拍建模成果。3DGS可突破傳統空拍照的視角限制，在低空角度檢視建物與地貌的立體結構，即使樹陰下的機車棚、變電所的電塔與電線都清晰可見。

圖4 空拍機工研院中興院區高空拍攝與3DGS場景建模成果展示

• 室內場景建模

3DGS快速建模技術具備高擬真特性，非常適用於室內場景建模，尤其是在房仲和居家設計領域。這項技術能夠快速、準確地重建室內空間，提供高品質的3D視覺效果，從而提升用戶體驗和決策效率。

如圖5所示，3DGS技術可快速重建高擬真且可從任意視角觀看的室內空間。應用在房仲領域，買家可以在不需要實際到場的情況下進行虛擬導覽，全面了解房產的布局和細節，提升購買體驗；在居家空間規劃方面，3DGS技術使用戶能夠創建自己的家居3D模型，在虛擬家中試驗不同家具布局或顏色搭配，若需重新裝潢，透過Web渲染3D居家模型的方式也可提升與設計師的溝通效率，減少實際裝修中的試錯成本。透過3DGS，用戶能夠更好地規劃家居空間，確保家具和裝飾品的最佳擺放位置，提升居住舒適度。

圖5 3DGS能輕鬆重建高擬真且可自由觀看的室內場景

高擬真3D場景於數位雙生之應用機會與挑戰

數位雙生（Digital Twin）技術透過建立現實世界物體或系統的虛擬模型，並通過感應器或網路收集相關數據，進而模擬其行為和狀態並進行優化。這項技術已被廣泛應用於工業製造、建築、醫療、智慧城市等領域。然而數位雙生技術落地過程中，取得高品質的3D虛擬模型並精準地模擬現實世界中的物理實體是一個重要的挑戰。

3DGS技術大幅降低了高品質3D模型的建構門檻，對加速數位雙生技術的推廣具有重要助益，但要實現虛擬模擬的實際應用，仍需克服多項技術難題。首先，與其他3D掃描建模技術類似，3DGS生成的場景模型僅為單一表面幾何結構，需後續人工編輯將場景拆解為可操作物件，並建立場景階層（scene graph）以支援互動。其次，數位雙生模擬需反映現實世界的物理特性，而3D模型僅提供幾何資訊，質量、表面摩擦係數等屬性仍需人工指定。最後，3DGS模型雖能忠實還原拍攝時的場景狀態，卻無法根據互動後的變化調整表面光影，導致在3D互動應用中出現光影不協調的問題。

目前，多項研究正針對3DGS場景分割與階層生成展開。例如，利用2D影像遮罩精確分割3DGS場景模型[5]；整合3DGS與視覺語言模型，實現以文字定位並分割場景物件[6]；針對光影不協調問題，研究透過逆向渲染（inverse rendering）分離場景光源與表面顏色，重建模型反射係數，進而支援重新打光渲染 [7] [8]。

工研院資通所亦投入研究，基於既有「低門檻一站式3D建模平台」，整合自動場景分割、物件瑕疵修補與場景階層生成技術，打造從拍照建模到虛擬環境生成與模擬的完整流程，進一步推動3DGS在數位雙生中的應用。

結論

3D高斯潑濺（3D Gaussian Splatting，3DGS）技術解決了傳統3D建模流程繁瑣，顯像效率低和模型擬真度不足問題，已被成功應用在數位保存、線上展示等需要高效率與高視覺品質的領域。工研院資通所針對物件與場景3DGS建模流程瓶頸提出多項優化技術，降低建構高品質3D模型的使用門檻。

3DGS技術目前仍以靜態物件、場景模型展示為主。未來的研發方向將著重於3DGS與遊戲、物理引擎整合與互動性提升。包含3DGS重新打光渲染技術、動態3DGS模型與物理模擬等。透過這些整合來加速3D內容生態系推廣，拓展在娛樂、數位雙生等領域的應用潛力。

參考文獻

[1]Kerbl, Bernhard, et al. "3d gaussian splatting for real-time radiance field rendering." ACM Trans. Graph. 42.4 (2023): 139-1.
[2]Besl, Paul J., and Neil D. McKay. "Method for registration of 3-D shapes." Sensor fusion IV: control paradigms and data structures. Vol. 1611. Spie, 1992.
[3]Wang, Shuzhe, et al. "Dust3r: Geometric 3d vision made easy." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2024.
[4]Zhang, Jiawei, et al. "CoR-GS: sparse-view 3D Gaussian splatting via co-regularization." European Conference on Computer Vision. Cham: Springer Nature Switzerland, 2024.
[5]Shen, Qiuhong, Xingyi Yang, and Xinchao Wang. "Flashsplat: 2d to 3d gaussian splatting segmentation solved optimally." European Conference on Computer Vision. Cham: Springer Nature Switzerland, 2024.
[6]Qin, Minghan, et al. "Langsplat: 3d language gaussian splatting." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2024.
[7]Liang, Zhihao, et al. "Gs-ir: 3d gaussian splatting for inverse rendering." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2024.
[8]Bi, Zoubin, et al. "Gs3: Efficient relighting with triple gaussian splatting." SIGGRAPH Asia 2024 Conference Papers. 2024.