資料載入中
跳到主要內容區塊

logo

內文查詢 網站導覽

文字大小

縮小 放大 English 中文
:::

電子報

新興科技應用
農村發展及水土保持署
連結元宇宙及真實世界場景的創建工具-攝影測量的現況與未來
期數 / 第52期
發布日期 / 2022.09.08
主筆 / 陳科樺
責任編輯 / 陳振宇

「元宇宙(Metaverse)」一詞來自於美國科幻小說家尼爾史蒂文森 (Neal Stephenson)1992年出版的第三本小說-《潰雪》,如今最近又再度引發話題。儘管元宇宙描繪的虛擬世界對許多人而言尚非觸手可及,但各大公司對這方面的開發卻不從曾停止。像是將Facebook改名為Meta的臉書創辦人祖克伯多次表示他對元宇宙的支持,雖然他在自家開發的VR遊戲裡的自拍,因過於簡約的造型及場景引發不少議論,讓人覺得元宇宙的開發似乎不如預期,但仍能可看出他對這項領域的熱忱。事實上,創建虛擬世界場景的方式,早已有許多成熟的技術,本期電子報將介紹目前應用最廣的攝影測量在這方面的發展現況與未來趨勢。

圖1、祖克伯在自家開發的Horizon Worlds 的自拍
圖1、祖克伯在自家開發的Horizon Worlds 的自拍
真實世界與虛擬世界融合及互動三個技術-VR、AR、MR

VR、AR、MR 這三個詞往往常常聽到,但許多人卻未必十分了解,其中VR(Vrtual Reality,虛擬實境) 發展較早,許多3D遊戲早已導入這項技術,透過VR眼鏡(如HTC vive、Meta Oculus、Quest等)將電腦運算出的虛擬人物、景象等投射於人們眼前,但受限於硬體及配載時之不適感,沉浸感還是會受到影響。 AR (Augmented Reality,擴充實境),則是指透過攝影機影像的位置及角度精算並加上圖像分析技術,讓螢幕上的虛擬世界能夠與現實世界場景進行結合與互動的技術。像是幾年前紅透世界的Pokémon GO就是利用這項技術的一個例子。 MR(Mixed Reality,混合實境) 是VR與AR的結合,可以讓使用者在虛擬世界與現實世界交互體驗,可以同時在虛擬是世界的同時,感知現實世界(如圖2)。

圖2、VR AR MR 比較
圖2、VR AR MR 比較
您也可以成為虛擬世界的創世神

建立虛擬世界的方式有很多種,主流有 Unreal Engine 跟 Unity兩大遊戲引擎,可以建構許多交互的體驗,讓使用者與虛擬世界的物品互動,不過由於涉及到許多設計物件運作的流程,背後是許多的程式碼在控制,對新手來說並不容易,但如果只是要建立模型,不考慮交互作用的話,這方面的軟體也不少,主要有Blender、SketchUp等。

圖3、blender建模介面
圖3、blender建模介面
在虛擬世界中打造與真實世界對應的場景

除了透過軟體一步步建立起模型外,我們也可利用影像將現實世界的物品建立在虛擬世界中,其中的原理涉及電腦視覺,影像重建等。影像重建的過程主要包含以下步驟:特徵點萃取與匹配、運動結構重建(SfM,structure from motion)、多視角立體視覺(MVS,multi view stereo)。 首先,對要重建的物品用不同角度拍攝,利用SIFT,或SURF演算法,將畫面的特徵點找出,由於不同照片會拍到相同特徵點,便可利用匹配到相同特徵點的相片推估相機的拍攝角度進而建立疏點雲( Sparse Point Cloud),此步驟即為運動結構重建(SfM, 圖4),接著,利用重建的相機姿態,將相片的像素點利用重建的相機姿態進行多視角重投影(圖4, multi view stereo),並交會成密集點雲(Dense Point Cloud)。

圖4、SFM&MVS 示意圖
圖4、SFM&MVS 示意圖
完美且快速重現真實場景的技術-攝影測量

重建完成的模型如果能對應真實世界的尺度,就可以透過對虛擬模型的加值應用來評估,測量等應用,即是所謂攝影測量(photogrammetry)。由於經過影像重建完成的模型係透過二維影像還原的緣故,模型無法還原真實尺度大小,這類型的問題可透過具有地理坐標位置的影像修正,大幅提升模型的精度。其中,市面上已有許多商業軟體如Agisoft Metashape, Blently ContextCapture, Drone2Map等,都能透過無人機的影像將地理資訊完美整合,並建立高精度的數值地表模型(DSM),並廣泛應用於工程規劃、土地管理、災害潛勢評估與勘查等。

傳統攝影測量面臨的挑戰

由於攝影測量在影像重建過程需要對許多像素計算三維位置並產出密集點雲,重建出的模型精細程度也會隨著輸入的影像的解析度,影像張數呈現正相關,輸入的解析度越大張數越多模型能更清楚,隨之而來的便是龐大的計算量,如果場景範圍較大,以一般CPU計算時間可能需要數小時,為求精細可能會需要更多的時間。

圖5 古蹟重建的模型圖,綠色框為相機的視角
圖5 古蹟重建的模型圖,綠色框為相機的視角
攝影測量的新趨勢-未來的建模工具:Instant NeRF

知名顯示卡製造商NVIDIA改進過去由加州大學柏克萊分校、Google研究院與加州大學聖地牙哥分校研究人員在2020年提出的Instant NeRF運算模式,可以透過短短幾張照片,迅速的重建出模型。其背後的原理,主要是透過深度學習的類神經網路去推估光線的位置以加速運算,目前初步展示的成果相當驚人,期待未來在此技術的協助下,能加速元宇宙所描繪的美好遠景可以提早到來。

相關網站

T克邦-現在大廠不講VR都說「元宇宙」,微軟和Meta的元宇宙佈局有何不同?
https://www.techbang.com/posts/91399-meta-cosmic-control-battle-quietly-started-microsoft-and-meta
無人機男孩-什麼是無人機攝影測量? 突破框架、優化測量科學 !
https://dronesboy.com/what-is-drone-photogrammetry/

參考資料

維基百科-虛擬實境
https://zh.m.wikipedia.org/zh-tw/%E8%99%9A%E6%8B%9F%E7%8E%B0%E5%AE%9E
開源軟體-COLMAP
https://colmap.github.io/install.html
維基百科-攝影測量法
https://zh.wikipedia.org/zh-tw/%E6%91%84%E5%BD%B1%E6%B5%8B%E9%87%8F%E6%B3%95
NVIDIA Instant NeRF 入門
https://developer.nvidia.com/blog/getting-started-with-nvidia-instant-nerfs/

Back To Top