ToF:了解行動攝影中的飛行時間感測器

  • ToF感測器測量紅外光往返感測器所需的時間,從而產生高度精確的3D深度圖。
  • 這種深度資訊可以改善照片和影片中的散景、自動對焦和物體追蹤效果。
  • ToF 為 3D 人臉辨識、擴增實境和三維掃描等進階功能提供支援。
  • 儘管它對內部空間和處理能力要求較高,但它在中高端產品中的應用越來越廣泛。

ToF傳感器

La 移動攝影從未停止自我革新。更多的相機、更高的像素、更好的演算法,以及越來越驚豔的人像模式。在這場爭奪用戶眼球的競賽中,一項新功能應運而生,並迅速成為最尖端手機的標配: 飛行時間(ToF)感測器這是一種旨在以極高的精度測量場景深度的硬件,其功能遠遠超出了「製造散景」的範疇。

如果這些名字聽起來很熟悉 華為 P30 Pro、榮耀 View20、LG G8 ThinQ、三星 Galaxy S10 5G 或 OPPO RX17 Pro你可能已經在不知不覺中接觸過ToF感測器了。這種感測器可以提供相機拍攝對象的三維訊息,並為…打開了大門。 更自然的肖像、即時對焦、可靠的擴增實境和先進的臉部辨識技術讓我們冷靜而詳細地了解它到底是什麼,它是如何運作的,以及最重要的是,在使用手機拍照時如何充分利用它。

什麼是飛行時間感測器?它在手機中為何如此重要?

術語 飛行時間(ToF),譯為“飛行時間”它描述了一種測量光束從發射器到物體再返回感測器所需時間的系統。將其應用於相機時聽起來很奇怪,但實際上原理非常簡單:發射紅外光,光線照射到前方物體上反射,系統計算光束返回所需的時間,從而確定場景中每個點的距離。

這個想法並非起源於電話。 飛行時間(ToF)技術已在工業和研究領域應用多年。並憑藉諸如此類的設備實現了向主流市場的躍升,例如 微軟Kinect這款 Xbox 配件利用這種感應器,能夠以驚人的準確度讀取你的身體動作。

在現代智慧型手機中,ToF感測器 它不會取代主攝影機。而是與之互補。它通常配有自己的光學器件, 紅外線發射器 以及一個專門的感測器(通常是經過改造的 CCD 或 CMOS),構成一個獨立的相機,該相機僅用於測量深度,而將顏色和細節的捕捉留給「普通」感測器。

製造商如 三星、LG、榮耀、OPPO、vivo 或索尼 他們採用這項技術是因為它允許他們在一次拍攝中獲得非常精細的深度圖,而無需使用兩台模擬立體視覺的攝影機。而真正有趣的是… ToF感測器的每個像素都擷取來自紅外線光束的強度和相位資訊。,這使得 以 3D 方式重建場景。 非常詳細地。

在手機相機中使用ToF感應器

ToF感測器的工作原理詳解

要了解如何在手機攝影中正確使用ToF(飛行時間)功能,了解以下內容很有幫助。 當你用相機對準手機時,手機內部會發生什麼事?它的工作原理與潛水艇的聲吶或雷達非常相似,只是它使用的不是聲波或無線電波,而是高頻紅外光。

首先是飛行時間模組 發射調製紅外線光束通常約 20 MHz。這種調製至關重要,它可以讓感測器輕鬆地將自身的光與環境光區分開來,即使在複雜或陽光非常強烈的場景中也是如此,從而避免干擾,防止測量失敗。

當紅外線照射到物體或人身上時, 部分光束被反射並返回到感測器。表面上每個受到這種衝擊的點都會「返回」一個強度和相位略有不同的訊號,這取決於距離和材料的特性(紋理、反射率等)。

飛行時間感測器由以下部分組成: 對紅外線光敏感的像素陣列它測量每個像素接收訊號相對於發射脈衝的振幅和相位偏移。由於光速已知(在空氣中與真空中著名的300.000公里/秒非常接近),透過計算這個微小的延遲,就可以估算出 場景中各點的精確距離.

整個過程的結果被稱為 深度範圍圖在三維表示中,每個像素不僅包含其在影像中的位置訊息,還包含其與相機的遠近資訊。這種三維「點雲」能夠重建三維形狀,並精確區分主體和背景。

與其他深度測量方法相比,飛行時間法的優勢

在智慧型手機中出現飛行時間(ToF)技術之前,深度讀取主要有幾種方法: 雙鏡頭模擬我們的雙眼利用人工智慧從單張影像產生深度圖,或採用相位檢測或對比度來偵測自動對焦系統,這些方法都相當有效,但都存在著限制。

透過ToF感測器,手機能夠 用一張照片捕捉場景的全部深度無需結合多種方法或過度依賴神經網路處理。也無需在不同平面間切換焦點數毫秒;飛行時間法可以同時觀測到所有物體,並測量到每個物體的距離。

這會產生兩個明顯​​的後果:一方面, 取得深度資訊所需時間大幅縮短因為測量幾乎是瞬時的(光傳播幾米只需納秒);另一方面,它降低了在運動場景中出錯的風險,而傳統系統在這些場景中可能會出錯。

此外,現代飛行時間感測器可以 測量幾公尺甚至幾十公尺或幾百公尺的距離 在某些應用場景下,精度可以保持良好。在手機攝影中,你不需要200公尺的測量範圍,但無論拍攝近景或廣角戶外場景,穩定的讀數都能帶來許多好處。

另一個很大的優勢是: ToF感測器的解析度正在提高據稱,某些型號能夠讀取人臉或場景中多達 300.000 萬個不同的點。 我接受他們的3D解決方案。因此,與傳統的模糊深度圖相比,行動裝置可以繪製出更詳細、更清晰的輪廓。

整合飛行時間感測器的限制和權衡

並非全是優點:整合飛行時間(ToF)模組意味著 在手機內部設計層面做出某些犧牲該系統需要自己的紅外線發射器、專用鏡頭和額外的感測器,因此它佔用的空間與傳統相機在機殼內佔用的空間類似,而機殼內的每一毫米都至關重要。

一些製造商將其視為 這是策略性投注,將其保留給高端或中高端客戶。雖然有些人選擇使用更簡單的三攝或四攝方案,不採用ToF感測器,而是依靠軟體模擬深度,但這也能解釋為什麼時至今日,ToF感測器仍然是相對小眾的組件。

另一個關鍵部件是處理器。飛行時間感測器產生真實的 即時深度資料流如果 SoC(及其 ISP,即影像訊號處理器)效能不足,則在應用即時特效、物件追蹤或擴增實境功能時,系統可能會出現延遲或效能下降。

這就是為什麼我們看到,那些最能充分利用ToF技術的手機通常都具有 強大的晶片和完善的優化軟體當瓶頸出現時,人像模式可能需要很長時間才能處理,追蹤對焦會變得不穩定,或者臉部辨識會失去流暢性。

就消耗而言,紅外線發射器和額外的處理涉及 額外能量消耗雖然實際上它控制得相當好。飛行時間(ToF)感應器通常只在系統需要時才會啟動(例如人像模式、AR、臉部解鎖、手勢操作等),因此它不會無緣無故地持續發射不可見的雷射。

ToF如何改善散景與景深

ToF感光元件在行動攝影中最顯而易見的用途之一是: 利用背景虛化(散景)拍攝人像 更加逼真。有了精確的深度圖,手機就能準確知道影像的哪些區域屬於主體,哪些區域屬於背景,而無需僅依靠對比度或邊緣偵測進行「猜測」。

這轉化為 更乾淨俐落地修剪頭髮、手部或複雜物體周圍的毛髮。在這些領域,僅基於雙鏡頭的演算法往往難以勝任,並會產生奇怪的光暈。飛行時間(ToF)技術則增加了一層額外的信息,有助於正確分離每個平面。

此外,該系統能夠更令人信服地模擬… 漸進式景深這並非簡單地一次虛化所有背景,而是根據與感測器的實際距離應用不同程度的虛化效果。這樣,它就能更好地模擬傳統相機上大光圈鏡頭的特性。

另一個有趣的方面是,ToF 允許你進行各種嘗試 即時創意效果由於測量速度非常快,手機可以在您構圖拍照時直接在取景器中顯示散景效果,並可即時調整虛化強度,而無需等待後製處理。

在諸如 華為P30 Pro或榮耀V20製造商自豪地宣稱,他們擁有… 頂部人像模式 多虧了這個感測器。透過將深度讀取工作委託給ToF感測器,主相機可以專注於捕捉最大細節和動態範圍,而影像處理則會將這兩部分資訊融合起來,產生非常均衡的最終影像。

ToF 作為物件聚焦和追蹤輔助工具

飛行時間 (ToF) 不僅用於背景虛化;它也是一種 自動對焦系統的強大盟友知道每個元素的確切距離,可以讓相機毫不猶豫地確定對焦位置,避免在光線不足時反覆對焦/重新對焦。

在拍攝動作照片或拍攝兒童、寵物或移動物體時,飛行時間 (ToF) 可以幫助手機… 迅速確定要討論的主題,並保持他們的注意力。 即使在場景中移動,它也能正常工作。它不像對比度檢測那樣依賴速度較慢的技術,也不容易與紋理相似的背景元素混淆。

這種改進在影片中也很明顯:錄音時,系統可以使用飛行時間(ToF)來 實現更穩定的連續對焦和更平滑的對焦過渡有些手機甚至利用深度資訊在即時視訊中應用微妙的背景虛化效果,儘管在許多情況下,這項功能仍處於相當實驗性的階段。

另一個不太明顯但非常有用的用途是在低光源條件下輔助對焦。 低光或高對比場景在其他方法難以勝任的情況下,飛行時間紅外線成像技術(ToF-IR)卻能做到。它對可見光的依賴性較低,即使在黑暗環境中也能「看到」場景,提供額外的參考點,防止焦點失準。

然而,關鍵仍在於相機軟體的調校。即使擁有強大的ToF感測器,如果背後的演算法不佳,最終也可能導致問題。 反覆無常的方法或奇怪的“跳躍” 如果系統不知道如何正確解釋三維點雲。

基於飛行時間(ToF)的人臉辨識和手勢控制

除了攝影之外,ToF 也被證明是 一款完美的工具 3D臉部辨識透過將數千個光點投射到臉上並測量其反射,手機產生了一個極其精確的三維模型,該模型不僅可以識別臉部的大致形狀,還可以識別眼睛、鼻子或下巴的深度等細微特徵。

這種類型的系統非常 比傳統的二維人臉辨識更安全這種技術僅依賴平面照片,因此更容易被欺騙。而使用飛行時間(ToF)技術,手機能更好地區分真實人臉與照片或面具,即使光線、髮型或妝容發生輕微變化,也能保持有效性。

製造商喜歡 LG 及其 G8 ThinQ 他們更進一步,不僅利用前置ToF感應器解鎖手機,還利用它啟用其他功能。 空中手勢控制此感應器可偵測您在螢幕前的手的位置和移動,因此您無需觸控裝置即可執行某些操作,例如調高音量、接聽電話或在曲目之間切換。

在某些情況下,飛行時間甚至能夠 辨識手部的靜脈紋路或臉部的獨特細節進一步提升安全性。儘管這些手勢功能目前還只是初步應用,並非總是像宣傳的那樣便捷,但它們展現了這項技術在新型互動方式方面的潛力。

像蘋果這樣的品牌,雖然名稱不盡相同,但自 iPhone X 以來也一直依賴類似的紅外線點陣投影系統。 人臉辨識簽到這表明這種 3D 方法在 Android 和其他生態系統中都具有潛力。

ToF 在擴增實境、3D 掃描和創意應用中的應用

如何在手機攝影中正確使用飛行時間感測器

ToF 提供的能力 精確的即時深度圖 這對於擴增實境(AR)應用來說簡直是無價之寶。與僅依賴傳統攝影機和視覺追蹤的系統不同,行動裝置能夠真正「理解」周圍環境:它知道牆壁、地板、家具或人在哪裡。

這使得虛擬物件可以 更好地融入現實世界尊重遮蔽(確保虛擬物體正確地隱藏在真實物體後面)、自然地放置在表面上,並對距離做出真實的反應。遊戲、裝飾應用、測量工具和互動式指南都能從這種更高的精度中受益匪淺。

飛行時間(ToF)也用於 物體和人的三維掃描透過行動手機圍繞物體,感測器可以從不同角度記錄物體的形狀和體積,產生三維模型,然後可以查看、編輯甚至 3D 列印這些模型。 它們已經存在了 利用這種可能性的應用程式儘管我們仍處於大規模普及的早期階段。

另一個正在蓬勃發展的領域是… 無障礙技術ToF 與適當的軟體結合使用,可以幫助追蹤眼球運動、解讀細微的手勢甚至嘴唇動作,為各種殘疾人士提供替代控制系統。

簡而言之,這些感測器極大地拓展了手機的用途,使其不再局限於社群媒體照片,而是成為手機應用的核心。 人機互動與沉浸式體驗 我們將在未來幾年看到這一點。

智慧型手機中飛行時間感測器的現況與未來

在當前的安卓市場格局中,ToF 已將自身定位為 這是專注於高級攝影功能的手機的關鍵組件華為 P30 Pro、Honor View20/View 20、OPPO RX17 Pro、LG G8 ThinQ 或 Galaxy S10 5G 等機型都採用了這種技術,有的機型將其應用在背面,有的機型則將其應用在正面。

有些製造商甚至膽敢這樣做 減少「傳統」相機的數量,更依賴飛行時間(ToF)相機。它採用強大的主相機和深度感測器來支援人像模式、AR 和其他功能,而不是安裝四到五個獨立的模組。

這一趨勢背後是一些關鍵公司,例如… 索尼是全球最大的影像感測器生產商之一。該公司已宣布將增加飛行時間(ToF)感測器的產量,以滿足行動產業的需求。傳聞稱,越來越多的高階和中高階手機將採用這項技術,這並非巧合。

軟體生態系統也在不斷調整。最新的安卓版本正在考慮 更好地整合對 3D 面部解鎖系統的原生支持 基於這些感測器,這將鼓勵更多品牌不僅在攝影機方面,而且在設備安全方面進行投資。

大規模應用究竟能達到什麼程度還有待觀察。雖然組件本身的成本並不高昂,但所需的內部空間以及對能夠處理它的處理器的要求意味著,就目前而言, 並非所有手機都具備此功能。然而,趨勢很明顯:隨著演算法的小型化和優化,即使在低端機型中也會越來越常見到這種技術。

在用戶的日常生活中,他們會注意到他們的手機將提供以下功能: 更出色的肖像拍攝效果、更快的對焦速度、更可靠的臉部解鎖功能以及更強大的擴增實境體驗人們往往不知道,這一切背後的無聲罪魁禍首是一個隱藏在其他攝影機旁邊的小型 ToF 感測器。

飛行時間感測器在現代行動攝影中佔據了一席之地,原因如下: 它提供了軟體本身無法創造的東西:真實且可衡量的深度。透過將相機與功能日益強大的光學元件和處理器相結合,智慧型手機能夠更好地將拍攝對象與背景分離,即使拍攝移動對像也能精準對焦,理解空間以進行增強現實,並通過 3D 人臉識別加強安全性,使手機攝像頭成為比幾年前看起來更加多功能的工具。

相關文章:
使用 Fyuse 創建 3D 照片,在 Instagram 上大放異彩