資料載入中
跳到主要內容區塊

logo

內文查詢 網站導覽

文字大小

縮小 放大 English 中文
:::

電子報

工程技術發展
農村發展及水土保持署
拿出手機一起燃燒你的3D無限宇宙!應用3D Gaussian Splatting法進行地球任何角落無限制範圍的AI手機建模介紹
期數 / 第105期
發布日期 / 2024.04.25
主筆 / 李哲宇
責任編輯 / 陳國威、黃奉琦

在電子報第62期第69期提到,你我隨手擁有的手機,已成為隨時簡單就可以建立模型的新時代建模工具,另外 農村水保署技術研究發展平臺在2024年1月16日的seminar更詳細介紹手機建模的方法可分成「LIDAR掃描測繪法」與「照片攝影測量法」。
其中前期電子報著重介紹美國APPLE公司推出搭載LIDAR的系列手機使用之「LIDAR掃描測繪法」,特點為利用其LIDAR功能,可測得目標物的真實距離,並快速建模,深受使用者熱烈迴響,但其目前最長掃描距離僅為10公尺(截至2024年4月),且大部分機型為5公尺,使用上受到限制。目前「照片攝影測量法」在多家軟體公司帶入3D Gaussian Splatting法(中譯:高斯潑濺法)(文中將簡稱3DGS)後,即可大幅突破相關掃描距離限制,更可以套入虛擬實境軟體深入其境!?
本期電子報將介紹3D Gaussian Splatting法在手機上如何使用、拍攝技巧、分享各路高手完成的精彩作品,以及在水土保持業務的實際使用範例!

圖1、3D Gaussian Splatting法在教堂的使用成果 (資料來源: Gamefromscratch)
圖1、3D Gaussian Splatting法在教堂的使用成果 (資料來源: Gamefromscratch)
3DGS (3D Gaussian Splatting)就是種AI生成的新藝術!甚麼是3DGS?怎麼在手機上使用?

利用電腦建立模型的方法已有各種百家爭鳴的方法,近年更發展出「生成式模型」的AI 3D建模方式。近期最普遍使用的就是3DGS(圖2)。

圖2、近年「生成式模型」的各項技術 (資料來源: Youtube-AI 甘安捏)
圖2、近年「生成式模型」的各項技術 (資料來源: Youtube-AI 甘安捏)

一般我們在建立3D模型時,大家最常使用的是「SfM(Structure from motion)運動恢復結構技術」(詳 電子報第64期)」,普稱技術細節為「空中三角測量」。
3DGS(3D Gaussian Splatting)(高斯潑濺)首先利用到SfM技術,但只有疊合照片特徵點生成模型點雲而省略複雜點雲坐標點計算,並利用其依靠有光的地方進行建模的原理,加入了「3D Gaussian (三維高斯函數)」與「Splatting (潑濺)」兩個方法,達成還原程度非常高、取樣極廣闊與建模時間快速的模型,引起熱烈討論。具體說明其生成方式,就是「將目標物體拆分成多個彩色的不規則橢圓漆彈球,往觀看者方向丟出並濺灑在觀看者和物體相隔的橢圓銀幕上,成為你我在外觀上看到的精緻模型。」(圖3、影1、影2)

圖3、3DGS示意圖 (資料來源: Youtube-AI 甘安捏)
圖3、3DGS示意圖 (資料來源: Youtube-AI 甘安捏)
影1、3DGS介紹 (資料來源: Youtube-AI 甘安捏)
影2、3DGS建立步驟 (資料來源: Youtube- Bad Decisions Studio)

目前世界各種建模軟體因3DGS的實用性大,紛紛將自家產品加入該建模方法提供使用者選擇使用,只要搭載相機可以拍照與錄影的載具(例如UAV、單眼相機、地面掃描儀…等等)拍攝完成後利用3DGS的軟體都可以使用,當然身為人手一支的拍照神器-手機,同樣也可以使用!

在手機上使用3DGS進行建模時,各項適用軟體可分成網頁版與APP版,大部分軟體均適用且都免費,建模時間最快約僅需3分鐘,網頁版更可以一次同時進行數十個模型製作(圖5)。各項軟體在手機上可以簡單操作,分成直接匯入外部影片與藉由APP即時拍照錄影兩種建模方式(舉例來說,匯入外部影片方式為手機的原始相機拍攝影片完成後,可匯入軟體自動擷取影片之最佳片段照片進行建模,不須專業拍攝技巧與額外作業,如同手持式掃描儀般便利)。藉由這兩種方式在手機建模,可隨手快速完成高精緻度的模型,並可使用特定方法進行量化!(圖4)

還可以在網路下載非手機拍攝而由各種相機載具拍到的影片,上傳至手機進行建模,就是最佳的行動建模神器!
另外各項適用軟體還可以匯出相關格式到電腦端的點雲軟體進階使用,最常被利用莫過於遊戲開發程式Unity與Unreal Engine(虛幻引擎),只要一隻手機就可以做出屬於你的遊戲大作!(影3)

圖4、3D Gaussian Splatting適用軟體 (資料來源: 筆者彙整)
圖4、3D Gaussian Splatting適用軟體 (資料來源: 筆者彙整)
圖5、以Luma AI為例,其中可匯入外部影片即時手機建模,網頁版可同時進行數十個模型製作 (資料來源: 筆者自攝)
圖5、以Luma AI為例,其中可匯入外部影片即時手機建模,網頁版可同時進行數十個模型製作 (資料來源: 筆者自攝)
影3、3DGS完成建模後放入Unreal Engine編輯 (資料來源: Youtube- 周玄祥)
3DGS (3D Gaussian Splatting)拍攝技巧、編修與未來展示可能性大公開

前節介紹3DGS的原理與各項手機使用軟體,相信讀者看完一定開始手癢與躍躍欲試吧?
關於3DGS製作前的照片、影片拍攝技巧,可參考在Medium的作者Yulei He利用3DGS建立藝術畫廊模型並且製作360展示空間的分享文章 (影4),相機載具使用的是單眼相機Sony 6100,有拍攝空間狹小、無特徵點的白牆、高亮度影響的展示燈與成品須作為商業使用等挑戰,文中展示如何規劃拍攝路徑與相機的參數調整,最後成果十分漂亮,極具有參考價值。(介紹詳文中連結)
雖然手機的參數與延伸使用上,相較單眼相機有所限制與極限,但在非極度要求等級的模型,參考此篇文章的拍攝方式後,使用者使用手機拍攝時亦可獲得較佳的拍攝成果。

影4、利用3DGS建立藝術畫廊模型並且製作360展示空間 (資料來源: Youtube- Yulei He)

另外一般模型建立時經常會有躁訊(模型以外位置出現多個小點或雲團)產生,並且需要額外修整模型,3DGS如拍攝者無專業拍照技術時容易發生,這時可利用Spline公司開發的3d Portal Card (影5) 進行即時編修消除躁訊與修整模型,便利又快速,可取得自己最想要的模型! (介紹詳文中連結)

影5、3d Portal Card 進行即時編修消除躁訊與修整模型 (資料來源: Youtube- Spline)

目前3DGS的模型完成後有各項展示方式,除前面提及可匯出至電腦端的點雲軟體進行編修,或像Unreal Engine(虛幻引擎)進行製作遊戲場景以外,亦可手機即時製作模型影片與模型和AR展示、公開在各種適用軟體的模型社群(圖6)、美國開發「LookingGlassGo」袖珍型顯示器可展示過去回憶當下的3D模型電子相框(影6),還有現在全世界最夯的各項XR頭戴式裝置,可相容3DGS模型的視覺化展示(影7),可說在各項硬體產品的相容應用令人期待!

圖6、Luma AI模型社群  (資料來源:Luma AI)
圖6、Luma AI模型社群 (資料來源:Luma AI)
影6、「LookingGlassGo」即時展示3D模型 (資料來源: Youtube- LookingGlass)
影7、3DGS融入XR頭戴式裝置使用效果 (資料來源: Youtube- Chris Young)
開始3DGS的Show time! 3DGS可應用的模型成果與水土保持應用

當大家了解3DGS的操作後,筆者這邊提供過去蒐集相關的資料與自身拍攝的作品讓大家參考。
首先可以看到像古蹟、風景名勝與食物等日常事物,利用3DGS製作出的模型,還原度極高,對於未來展示世界各地方景點的魅力時有很大的幫助。(影8)

影8、3DGS的古蹟、風景名勝成果 (資料來源: Youtube- Chris Young)

針對樹木方面,可以利用3DGS製作森林與喬木的模型。從森林的效果可看到,如果使用手機的LiDAR進行模型建置,不僅掃描距離受限,且形狀變化大、細節多的樹型會因此無法順利建模(圖左上),若 使用3DGS可同時完成多棵喬木 的模型建立,還原度亦極高(圖右上);以 單棵喬木來看,可明顯看出主幹、枝幹與樹葉和花苞很明顯的被重新還原細緻度(圖左下),又從已完成的單棵喬木模型匯出之點雲格式來看,點雲數量極多,可作為未來各項樹木利用的資料依據(圖右下)。(圖7)(各項模型成果詳連結)

圖7、3DGS製作森林與喬木模型的效果  (資料來源:陳駿瑋、筆者自製、X-Kana)
圖7、3DGS製作森林與喬木模型的效果 (資料來源:陳駿瑋、筆者自製、X-Kana)

針對水土保持方面,可參考農村水保署技術研究發展平臺seminar-「20240116 一起隨手打造虛擬平行世界的時代來臨 - 智慧型手機建立3D模型資料應用分享 (李哲宇)」的影片成果,從影片22:03處開始,部分介紹了關於3DGS在水土保持的模型成果,包含農村再生營造工程、水土保持防災工程與土石流及大規模崩塌的現地調查成果。(影9)

影9、各項手機利用3DGS的水土保持工作模型成果 (資料來源: 農村水保署技術研究發展平臺)

另外在2024年4月3日發生的花蓮地震,筆者與日本的教授合作,共同將3DGS的模型成果放入以Plant衛星為底圖的 花蓮地震3D災害地圖中進行展示,藉由衛星底圖快速掌握得知災害的位置點位,再以3DGS重新還原災害現場模型,提供更多人清楚了解現場的發生,相關案例成果獲得日本富士電視台、NHK與台灣媒體進行新聞報導展示。(圖8)(影10)

圖8、花蓮地震3D災害地圖成果(1) (資料來源:富士電視台、NHK、渡邊英德、筆者自攝)
圖8、花蓮地震3D災害地圖成果(1) (資料來源:富士電視台、NHK、渡邊英德、筆者自攝)
影10、花蓮地震3D災害地圖成果(2) (資料來源:三立新聞、渡邊英德、筆者自攝)

以上介紹了眾多的3DGS應用在各面向的成果,可以發現其在未來的發展潛力無窮,礙於篇幅受限無法介紹更多技術應用,等待大家自行更多的挖掘。但相信看過這麼多成果後,讀者對於該方法的應用有一定的了解。讀萬卷書不如行萬里路,記得看完本篇電子報,就捲起袖子拿起身邊的手機,開始嘗試手機掃描,享受其帶來的各種快樂與魅力!

Back To Top