深度相機(jī)是什么？深度相機(jī)常見技術(shù)

1.1 深度相機(jī)概述

深度相機(jī)是近幾年興起的新技術(shù)，相比較傳統(tǒng)的相機(jī)，深度相機(jī)在功能上添加了一個深度測量，從而更方便準(zhǔn)確的感知周圍的環(huán)境及變化。深度相機(jī)有很多的應(yīng)用場景，在我們?nèi)粘Ｉ钪杏泻芏嗌疃认鄼C(jī)的影子。那它可以用來做什么?三維建模、無人駕駛、機(jī)器人導(dǎo)航、手機(jī)人臉解鎖、體感游戲等都用到了深度相機(jī)來實現(xiàn)其功能。iPhone X中最大的創(chuàng)新就是使用了前置深度相機(jī)?，F(xiàn)在，深度相機(jī)的應(yīng)用已經(jīng)由智能終端解鎖，逐漸延伸至移動支付、活體檢測等場景，其背后的技術(shù)手段：3D結(jié)構(gòu)光，也漸漸走入了公眾視野。

iPhone X 采用的是結(jié)構(gòu)光的方案，這里以 FaceID 的工作流程來解釋下它是如何獲取深度值的：

1，當(dāng)臉部靠近相機(jī)時，首先啟動接近感應(yīng)器，若接近發(fā)出信號通知泛光照明器

2，泛光照明器會發(fā)出非結(jié)構(gòu)化的紅外線光投射到物體表面上，然后紅外相機(jī)接收這些光后檢測是否為人臉

3，若為人臉，則會讓點陣投影器將3萬多個肉眼看不見的結(jié)構(gòu)光圖案投影到物體上

4，紅外鏡頭接收反射回來的點陣圖案，通關(guān)計算圖案的變形情況來獲得臉部不同位置的距離

1.2 深度相機(jī)常見技術(shù)

基于雙目立體視覺的深度相機(jī)對環(huán)境光照強(qiáng)度比較敏感，且比較依賴圖像本身的特征，因此在光照不足、缺乏紋理等情況下很難提取到有效魯棒的特征，從而導(dǎo)致匹配誤差增大甚至匹配失敗。而基于結(jié)構(gòu)光法的深度相機(jī)就是為了解決上述雙目匹配算法的復(fù)雜度和魯棒性問題而提出的。結(jié)構(gòu)光法不依賴于物體本身的顏色和紋理，采用了主動投影已知圖案的方法來實現(xiàn)快速魯棒的匹配特征點，能夠達(dá)到較高的精度，也大大擴(kuò)展了適用范圍。

結(jié)構(gòu)光利用相位信息進(jìn)行三維重建，主要包括解相位和展開相位，利用展開的相位計算深度信息。相位測量，是一種基于三角測量原理的光學(xué)三維測量技術(shù)，本質(zhì)上講其是一種條紋投射測量技術(shù)。由其測量原理可知，應(yīng)用該方法測量時，需要獲取因鏡面輪廓變化而產(chǎn)生的變形條紋圖像，求取變形條紋的相位分布，找出相位分布與鏡面面形之間的關(guān)系，進(jìn)而恢復(fù)出鏡面三維形貌?；谙辔粶y量的測量系統(tǒng)將周期性余弦條紋投射于被測物體表面后， CCD 攝像機(jī)采集到的變形條紋圖像(可看作相位和振幅均被物面輪廓調(diào)制的二維空間載波信號)可表示為：

其中，I(x, y)為CCD攝像機(jī)采集到的圖像光強(qiáng);a(x, y)為物面背景光強(qiáng);b(x, y)為調(diào)制度;φ(x, y)為條紋相位?？芍?，我們需要求解條紋圖像的相位分布，以求解物面法矢，進(jìn)而求解物面面形。因此，以獲取可靠相位信息為目的的條紋圖像相位分析也是基于相位測量偏折術(shù)的鏡面三維測量技術(shù)的關(guān)鍵環(huán)節(jié)。至今研究人員已經(jīng)提出了多種針對條紋圖像相位的求解方法，按處理域的不同可分為空域相位分析技術(shù)和時域相位分析技術(shù)兩大類。

1.3 深度相機(jī)的相位求解

3D結(jié)構(gòu)光的整個系統(tǒng)包含結(jié)構(gòu)光投影設(shè)備、攝像機(jī)、圖像采集和處理系統(tǒng)。其過程就是投影設(shè)備發(fā)射光線到被測物體上，攝像機(jī)拍攝在被測物體上形成的三維光圖形，拍攝圖像經(jīng)采集處理系統(tǒng)處理后獲得被測物體表面數(shù)據(jù)。在這個系統(tǒng)中，當(dāng)相機(jī)和投影設(shè)備相對位置一定時，投射在被測物體上的光線畸變程度取決于物體表面的深度，所以在拍攝圖像中可以得到一張擁有深度的光線圖像。

3D結(jié)構(gòu)光模式包含點、線、面的模式，是指投射的光線類型。例如，這里A點和C點的相位差就是計算高度所需要的，那這兩點在相機(jī)拍到的畸變條紋圖像中是怎么體現(xiàn)的呢?

這是所拍到的被調(diào)制前后的條紋圖像，圖中的紅色點即相當(dāng)于上圖中的A點和C點，兩點的像素坐標(biāo)相同，相位不同，求的相同坐標(biāo)下的相位差即可間接求的D點的高度。也就是說空間中任意兩處的散斑或條紋結(jié)構(gòu)光圖案都是不同的。只要在空間中打上這樣的結(jié)構(gòu)光，整個空間就都被做了標(biāo)記，把一個物體放進(jìn)這個空間，只要看看物體上面的散斑圖案，就可以知道這個物體在什么位置了。當(dāng)然，在這之前要把整個空間的散斑圖案都記錄下來，所以要先做一次光源標(biāo)定，通過對比標(biāo)定平面的光斑分布，就能精確計算出當(dāng)前物體距離相機(jī)的距離。

1.4 總結(jié)

現(xiàn)階段的主要用于高端智能機(jī)型上進(jìn)行解鎖、身份核對，解鎖/識別準(zhǔn)確度與速度均優(yōu)于指紋識別。在虛擬交互方面，也已被用于體感游戲、手勢控制等用途。3D結(jié)構(gòu)光在應(yīng)用場景落地的技術(shù)條件已經(jīng)具備，更多衍生的應(yīng)用場景正在開發(fā)和嘗試當(dāng)中。一般來說，由多條垂直雙向的線組成的網(wǎng)絡(luò)結(jié)構(gòu)最常用，這種模式不需要掃描就可以實現(xiàn)三維的輪廓測量，而且速度快。


猜你喜歡：

如何解決分類中解決類別不平衡問題?

語言模型-BERT：bert算法介紹