資料載入中
跳到主要內容區塊

logo

內文查詢 網站導覽

文字大小

縮小 放大 English 中文
:::

電子報

新興科技應用
農村發展及水土保持署
三維建模技術大躍進,多樣感測資料融合創造更多應用可能
期數 / 第64期
發布日期 / 2022.12.29
主筆 / 林宥伯
責任編輯 / 高百毅、詹婉妤、陳振宇

近年來無人載具普遍應用於各個領域,加上感測器的進步,造就低空遙感探測技術蓬勃發展,這些遙感所得的2D影像資料,藉由SfM(Structure from motion)運動恢復結構技術去重建立體模型,更讓小範圍的數值地形模型(如圖1)取得成本大幅降低,並廣泛用於研究、數值模擬與業務輔助。

本期藉由國內外應用案例的介紹,帶大家瞭解SfM技術除了常見的地表模型外,更可延伸至水下應用及刑案重建現場,以及無人機與手機拍照的異質資料如何整合、影像後處理方式等議題。

圖1、惠蓀林場觀景台3D建模與地表數值模形。來源:水土保持局
圖1、惠蓀林場觀景台3D建模與地表數值模形。來源:水土保持局
SfM技術完美還原實物及空間場景

無人載具應用場景多元,常見方式有小型多旋翼無人機,搭配不同感測器,如光學鏡頭、熱感測鏡頭、光達(LiDAR)、多光譜鏡頭等酬載,除了2D視覺應用之外,藉由空間連續性的平面影像結合空中三角測量(Aerotriangulation),以SfM技術重建出的立體模型(如圖2),特徵與精度已可比擬既有3D掃描器成果(如圖3)。

圖2.由Metashape軟體重建的RJ1的3D模型。(An, Pengju, Kun Fang, Qiangqiang Jiang, Haihua Zhang, and Yi Zhang. 2021)
圖2.由Metashape軟體重建的RJ1的3D模型。(An, Pengju, Kun Fang, Qiangqiang Jiang, Haihua Zhang, and Yi Zhang. 2021)
圖3、研究室環境與既有掃描技術比較。(An, Pengju et al. 2021)
圖3、研究室環境與既有掃描技術比較。(An, Pengju et al. 2021)

除了研究室環境現場調查也能搭配CloudCompare軟體處理點雲成果(Virtual compass外掛輔助),搭配立體投影圖,並用FaultKin 8軟體呈現劈理、節理等資訊(如圖4)。或結合QGIS中的GeoTrace外掛呈現方位統計玫瑰圖(如圖5),輔助相關判釋。

圖4、搭配CloudCompare處理點雲成果(Virtual compass外掛輔助),搭配立體投影圖,並用FaultKin 8呈現地質資訊。(Cirillo, Daniele, Francesca Cerritelli, Silvano Agostini, Simone Bello, Giusy Lavecchia, and Francesco Brozzetti. 2022)
圖4、搭配CloudCompare處理點雲成果(Virtual compass外掛輔助),搭配立體投影圖,並用FaultKin 8呈現地質資訊。(Cirillo, Daniele, Francesca Cerritelli, Silvano Agostini, Simone Bello, Giusy Lavecchia, and Francesco Brozzetti. 2022)
圖5、研究範圍地質圖。(a)結合CloudCompare、立體投影圖。(b,c,d)玫瑰圖由QGIS中的GeoTrace製作。(Cirillo et al. 2022)
圖5、研究範圍地質圖。(a)結合CloudCompare、立體投影圖。(b,c,d)玫瑰圖由QGIS中的GeoTrace製作。(Cirillo et al. 2022)
水下物體及刑案現場SfM技術也能扮演重要角色

此外,藉由SfM技術結合水下無人載具影像、現地特徵點控制及體積比對,可在非接觸的方式下,觀測到珊瑚生長量(如圖6),又或者搭配高解析攝影裝置,應用在法醫重建現場鞋印時(如圖7),能避免實體翻模所造成的實體破壞。而攝影裝置的應用彈性高,也能在大型或無人載具難以進入的場合發揮功能,比如樣區林下測量,在複雜狹窄處,取得現場還原模型(如圖8)。

圖6、以立體模型分析六種加勒比珊瑚(Caribbean coral species)的生長規模與狀態。(Ines D. Lange ,Ana Molina-Hernández,Francisco Medellín-Maldonado,Chris T. Perry,Lorenzo Álvarez-Filip, 2022)
圖6、以立體模型分析六種加勒比珊瑚(Caribbean coral species)的生長規模與狀態。(Ines D. Lange ,Ana Molina-Hernández,Francisco Medellín-Maldonado,Chris T. Perry,Lorenzo Álvarez-Filip, 2022)
圖7、法醫鞋印採證與模型重建。(Hannah Larsen, Marcin Budka, Matthew R. Bennett, 2021)
圖7、法醫鞋印採證與模型重建。(Hannah Larsen, Marcin Budka, Matthew R. Bennett, 2021)
圖8、林業樹木胸徑測量應用。(Jakob Iglhaut, Carlos Cabo, Stefano Puliti, Livia Piermattei, James O’Connor & Jacqueline Rosette.2019 )
圖8、林業樹木胸徑測量應用。(Jakob Iglhaut, Carlos Cabo, Stefano Puliti, Livia Piermattei, James O’Connor & Jacqueline Rosette.2019 )
異質資料融合將提供更多可能的應用

SfM也能結合不同設備優勢,整合光學影像重建的點雲及LiDAR的點雲,在活用各自精度與角度的優勢下,結合空中無人機 (如圖9)與地面光達(如圖10)建模,完成如2014年5月哈茨堡霍夫酒店火災現場的重建(如圖11)。或是進一步融合光達與無人機資料,應用Autodesk Revit軟體產製古蹟建築資訊模型(Heritage Building Information Modeling, HBIM)(如圖12)。

圖9、無人機正射角度及控制點。(Isabel Martínez-Espejo Zaragoza et al. 2017)
圖9、無人機正射角度及控制點。(Isabel Martínez-Espejo Zaragoza et al. 2017)
圖10、地面光達角度。(Isabel Martínez-Espejo Zaragoza et al. 2017)
圖10、地面光達角度。(Isabel Martínez-Espejo Zaragoza et al. 2017)
 圖11、哈茨堡霍夫酒店2014年5月火災(Harzburger Hof)。(Isabel Martínez-Espejo Zaragoza, Gabriella Caroti, Andrea Piemonte, Björn Riedel, Dieter Tengen & Wolfgang Niemeier ,2017)
圖11、哈茨堡霍夫酒店2014年5月火災(Harzburger Hof)。(Isabel Martínez-Espejo Zaragoza, Gabriella Caroti, Andrea Piemonte, Björn Riedel, Dieter Tengen & Wolfgang Niemeier ,2017)
圖12、鐘樓融合成果:(a)整合TLS-UAV的綜合點雲;(b) 基於點雲生成的模型;(c) HBIM模型的視覺化;(d) 建築物橫截面(內部)的視覺化。(Klapa et al. 2023)
圖12、鐘樓融合成果:(a)整合TLS-UAV的綜合點雲;(b) 基於點雲生成的模型;(c) HBIM模型的視覺化;(d) 建築物橫截面(內部)的視覺化。(Klapa et al. 2023)

同時在檢測業界,也在嘗試結合熱感測材質貼圖,偵測構造物裂損情況(如圖13),或應用熱感測、數值地形與多光譜資料,輔助智慧農業生產評估(如圖14),應用案例與資料型態多元,深具應用潛力。

圖13、熱感測與數值模型。(陳漢霖、高書屏、王豐良、林志憲,2022)
圖13、熱感測與數值模型。(陳漢霖、高書屏、王豐良、林志憲,2022)
圖14、無人機空拍水稻田農地影像,左為 RGB 套疊影像,右為 NDVI 影像。來源:科儀新知 220 期。
圖14、無人機空拍水稻田農地影像,左為 RGB 套疊影像,右為 NDVI 影像。來源:科儀新知 220 期。
融合無人機及手機拍照成果的異質資料三維建模案例

好的資料產品或加值服務,需建立在完整的原始資料基礎上。SfM技術的關鍵,除了影像的連續性與特徵連結外,影像本身Exif中的坐標詮釋資料也是至關重要。以水土保持局建立的惠蓀林場觀景台建模案例來說(如圖15),為了克服拍照時告示牌或構造物反光,以及無人機不易執行低空軌道拍攝問題,水保局技研小組團隊嘗試融合無人機及手機拍照成果來建立三維模型(如圖16)。由於手機影像缺乏高程標籤,無法直接用來建模,技研小組導入Content Capture建模軟體,透過SfM特徵連結帶xyz的無人機影像組,將高程對應後寫入只帶xy的手機影像組(如圖17),順利完成二種異質資料的融合與建模。結果顯示成果,融合的成果除能充分呈現材質立面,連告示牌上的QR碼材質也清晰可見(如圖18、19),使用甚至可直接用手機掃描後,連線至惠蓀林場介紹網站。未來如能廣泛使用此技術,將能活用輕量設備,快速進入個案現場進行紀錄,並對細節作一定程度的還原。

圖15、惠蓀林場觀景台三維立體建模。來源:https://tech.ardswc.gov.tw/3D/2022/rt_0929/App/#%2F
圖15、惠蓀林場觀景台三維立體建模。來源:https://tech.ardswc.gov.tw/3D/2022/rt_0929/App/#%2F
圖16、無人機軌道及手機照片組。來源:水土保持局。
圖16、無人機軌道及手機照片組。來源:水土保持局。
圖17、透過SfM特徵連結將高程值寫入只帶xy的手機照片。來源:水土保持局。
圖17、透過SfM特徵連結將高程值寫入只帶xy的手機照片。來源:水土保持局。
圖18、建模成果之觀景台告示牌金屬材質完美呈現。來源:水土保持局。
圖18、建模成果之觀景台告示牌金屬材質完美呈現。來源:水土保持局。
圖19、建模成果的告示板QR碼完整且清晰還原。來源:水土保持局。
圖19、建模成果的告示板QR碼完整且清晰還原。來源:水土保持局。

無人載具與資料應用已是普遍、成熟之技術,加上各領域分工及協作優勢,若能活用並整合各類感測器、載具平台、資料型態轉換等,對各種應用研究上,都具有相當大的潛力。加上光達技術的持續演進,與eGNSS、RTK、PPK等測繪技術的結合,未來在異質資料整合與解析度的提升上,更有著許多可能,藉由各領域研究成果交流、開放,期許能持續累積經驗,作為深化跨域協作與擴展應用的基礎。

相關連結
參考文獻

1.An, Pengju, Kun Fang, Qiangqiang Jiang, Haihua Zhang, and Yi Zhang.(2021). "Measurement of Rock Joint Surfaces by Using Smartphone Structure from Motion (SfM) Photogrammetry" Sensors 21, no. 3: 922
2.Cirillo, Daniele, Francesca Cerritelli, Silvano Agostini, Simone Bello, Giusy Lavecchia, and Francesco Brozzetti.(2022). "Integrating Post-Processing Kinematic (PPK)–Structure-from-Motion (SfM) with Unmanned Aerial Vehicle (UAV) Photogrammetry and Digital Field Mapping for Structural Geological Analysis" ISPRS International Journal of Geo-Information 11, no. 8: 437
3.Molina-Hernández A, Medellín-Maldonado F, Perry CT, Álvarez-Filip L.(2022). Structure-from-motion photogrammetry demonstrates variability in coral growth within colonies and across habitats. PLOS ONE 17(11): e0277546
4.Hannah Larsen, Marcin Budka, Matthew R. Bennett. (2021).Technological innovation in the recovery and analysis of 3D forensic footwear evidence: Structure from motion (SfM) photogrammetry,Science & Justice,Volume 61, Issue 4,Pages 356-368
5.Jakob Iglhaut, Carlos Cabo, Stefano Puliti, Livia Piermattei, James O’Connor & Jacqueline Rosette.(2019).Structure from Motion Photogrammetry in Forestry: a Review. Curr Forestry Rep 5, 155–168
6.Isabel Martínez-Espejo Zaragoza, Gabriella Caroti, Andrea Piemonte, Björn Riedel, Dieter Tengen & Wolfgang Niemeier.(2017). Structure from motion (SfM) processing of UAV images and combination with terrestrial laser scanning, applied for a 3D-documentation in a hazardous situation, Geomatics, Natural Hazards and Risk, 8:2, 1492-1504
7.Klapa, Przemysław, and Pelagia Gawronek.(2023). "Synergy of Geospatial Data from TLS and UAV for Heritage Building Information Modeling (HBIM)" Remote Sensing 15, no. 1: 128
8.陳漢霖,高書屏,王豐良,林志憲 (2022)。整合可見光影像與熱影像重建三維熱紋理模型於橋梁檢測之研究。Journal of Photogrammetry and Remote Sensing.Volume 27, No.3, 2022, pp. 165-178

Back To Top