從汽車(chē)被發(fā)明以來(lái)，人車(chē)交互的方式在不斷變化。而在最近幾年，這種趨勢(shì)開(kāi)始變得越來(lái)越明顯。僅僅在車(chē)載信息娛樂(lè)系統(tǒng)中，交互方式也開(kāi)始從最早的實(shí)體按鍵，轉(zhuǎn)向包含按鍵、觸屏以及語(yǔ)音等等方式在內(nèi)的多維交互方式。

雖然交互方式在變，但遵從的邏輯從來(lái)都沒(méi)變：方便與安全。比如擴(kuò)大了手觸面積的卡片式 UI、智能后視鏡、抬頭顯示、智能 AI 語(yǔ)音、AR 導(dǎo)航等等，都是為了讓駕駛員在開(kāi)車(chē)的時(shí)候盡可能方便地傳遞指令，減少注意力的分散，保證安全。

目前來(lái)看，車(chē)載語(yǔ)音交互已經(jīng)比較普及，很多新車(chē)型上都有搭載。但它還是有自己的局限性，比如識(shí)別率、識(shí)別速度、對(duì)自然話術(shù)的支持等等都還不完善。這樣一來(lái)，有時(shí)候反而會(huì)給駕駛造成額外的負(fù)擔(dān)。

這時(shí)如果能像科幻片里那樣，動(dòng)動(dòng)手指就能下達(dá)某些指令，可能會(huì)是一種更好的解決方案。

事實(shí)上，主機(jī)廠們也確實(shí)再往這個(gè)方向發(fā)展。2015 年，寶馬率先發(fā)布了搭載手勢(shì)識(shí)別的 7 系，而且前前后后也不斷有 OEM 在嘗試推出搭載這項(xiàng)功能的量產(chǎn)車(chē)（比如奔馳、拜騰、君馬）和 demo（奧迪、福特、大眾等），所以這更加深了我們對(duì)手勢(shì)識(shí)別的好奇心。

手勢(shì)控制正在成為一種更值得期待的車(chē)內(nèi)交互方式。

手勢(shì)識(shí)別在車(chē)內(nèi)都能做什么？

通過(guò)不同的手勢(shì)，手勢(shì)交互可以實(shí)現(xiàn)接掛電話、調(diào)節(jié)音量、選擇歌曲、控制導(dǎo)航、控制車(chē)輛（空調(diào)、座椅、窗戶(hù)等）等功能，還包括主駕和副駕、后排乘客交互的多種場(chǎng)景。

雖然手勢(shì)控制能實(shí)現(xiàn)的功能不少，甚至和語(yǔ)音交互的功能還有一定重復(fù)。但是在我看來(lái)，手勢(shì)和語(yǔ)音的關(guān)系絕不是非此即彼，一定是互相成就。想象一下，當(dāng)你目視前方，用手指著天窗說(shuō)打開(kāi)，然后天窗就打開(kāi)了，是不是還挺有意思的？

未來(lái)人機(jī)交互一定是多維度的。例如寶馬全新 5 系就配備了「五維人機(jī)交互界面」，其中包括自然語(yǔ)音識(shí)別、手勢(shì)控制、觸控屏幕、iDrive 系統(tǒng)和熱敏按鍵。

這種多模態(tài)交互才是未來(lái)。

另外，如果我們把視線從駕駛員的手勢(shì)擴(kuò)散開(kāi)來(lái)，類(lèi)似的技術(shù)在駕駛場(chǎng)景還能實(shí)現(xiàn)更多功能。

除了駕駛員的手勢(shì)之外，手勢(shì)識(shí)別的技術(shù)還能識(shí)別車(chē)外人員的動(dòng)作。以后，這個(gè)功能也許還能識(shí)別交警指揮車(chē)輛的動(dòng)作，或者周?chē)T自行車(chē)的人做出的手勢(shì)。這樣既能增加駕駛的安全性，又能促進(jìn)自動(dòng)駕駛的發(fā)展。

這些技術(shù)還可以實(shí)現(xiàn)駕駛員監(jiān)測(cè)，是和目前手機(jī)的面部識(shí)別解鎖類(lèi)似的技術(shù)原理。從全球來(lái)說(shuō)，法律規(guī)定在 L2 向 L3 級(jí)別的自動(dòng)駕駛方案過(guò)渡時(shí)，駕駛員必須時(shí)刻監(jiān)控車(chē)輛駕駛，所以隨時(shí)監(jiān)控駕駛員的狀態(tài)在未來(lái)一定是必需的部件，而且這個(gè)未來(lái)很快就要到了。

既然手勢(shì)交互和背后的技術(shù)對(duì)于駕駛有這么多幫助，所以我們有必要了解一下背后的原理。

實(shí)現(xiàn)手勢(shì)識(shí)別的 3 種方案

前方高能，所以請(qǐng)準(zhǔn)備好開(kāi)始燒腦。

根據(jù)硬件實(shí)現(xiàn)方式的不同，目前行業(yè)內(nèi)所采用的手勢(shì)識(shí)別大致有三種：光飛時(shí)間（Time of Flight）、結(jié)構(gòu)光（Structure Light）以及雙目立體成像（Multi-camera）。

光飛時(shí)間（Time of Flight）：通過(guò)光的飛行時(shí)間來(lái)計(jì)算距離。

光飛時(shí)間的原理很簡(jiǎn)單，先用紅外發(fā)射器發(fā)射調(diào)制過(guò)的光脈沖，再用接收器采集反射回來(lái)的光脈沖，最后根據(jù)往返時(shí)間計(jì)算物體間的距離，從而判斷手勢(shì)。

其實(shí)主要就是依據(jù)距離=光速*時(shí)間。光速是一定的，就可以通過(guò)時(shí)間差推算距離差。

結(jié)構(gòu)光（Structure Light）：主動(dòng)投射已知編碼圖案，再計(jì)算物體位置。

結(jié)構(gòu)光要先通過(guò)紅外激光器，將具有一定結(jié)構(gòu)特征的光點(diǎn)投射到目標(biāo)物體上，再由紅外攝像頭收集反射的結(jié)構(gòu)光圖案。

因?yàn)檫@些光斑投影在被觀察物體上的大小和形狀根據(jù)物體和相機(jī)的距離和方向而不同，所以根據(jù)三角測(cè)量原理可以計(jì)算出物體各個(gè)點(diǎn)的具體位置，根據(jù)前后位置差異從而能夠判斷手勢(shì)。

雙目立體成像（Multi-camera）：兩個(gè)攝像頭采集位置信息，再將畸變數(shù)據(jù)計(jì)算成可用數(shù)據(jù)。

雙目立體成像非常依賴(lài)算法，而且算法的難度和分辨率和檢測(cè)精度掛鉤。分辨率和檢測(cè)精度越高，計(jì)算就越復(fù)雜，還會(huì)導(dǎo)致實(shí)時(shí)性較差。它主要分兩個(gè)步驟：1. 采集信息。2. 計(jì)算畸變數(shù)據(jù)。

1. 采集圖像信息。通過(guò)兩個(gè)攝像機(jī)提取出三維位置信息，并進(jìn)行內(nèi)外部參數(shù)的匹配。（攝像機(jī)本身存在畸變，如果不經(jīng)過(guò)標(biāo)定，原本的矩形會(huì)顯示成不規(guī)則的圓角四邊形）

2. 計(jì)算畸變數(shù)據(jù)。通過(guò)對(duì)比經(jīng)過(guò)校準(zhǔn)的立體圖像，獲得視差圖像，再利用攝像機(jī)的內(nèi)外參數(shù)進(jìn)行三角計(jì)算獲取深度圖像，根據(jù)前后位置的區(qū)別進(jìn)行手勢(shì)識(shí)別。

像分辨率、成本、測(cè)量精度這種問(wèn)題，三種方案雖然有高有低，但基本都還說(shuō)得過(guò)去，功耗在車(chē)內(nèi)也不是大問(wèn)題。

要判斷哪種方案合適，要從以下幾點(diǎn)著手：1. 是否能適應(yīng)各種環(huán)境？2. 是否具有優(yōu)異的實(shí)時(shí)性？3. 在樣本范圍內(nèi)，數(shù)據(jù)誤差是否可控？4. 成本是否可控？5. 體積是否可控？6. 硬件插件是否成熟？

前三點(diǎn)是非常重要的，因?yàn)槠?chē)會(huì)處在各種環(huán)境內(nèi)，所以抗干擾性、數(shù)據(jù)實(shí)時(shí)性、數(shù)據(jù)準(zhǔn)確性非常重要。

結(jié)構(gòu)光的分辨率高，計(jì)算量少，功耗也比較低，此前有很多成型的解決方案，還有 Inter 支持的 RealSense SDK，開(kāi)發(fā)周期較短。但是它受限于主動(dòng)投射的原理，非常容易受到強(qiáng)光和光滑平面（如鏡子）的影響，室外基本不能使用，這點(diǎn)算是致命的。

雙目立體成像的硬件成本比較低，但是它過(guò)于依賴(lài)圖像特征匹配（后期計(jì)算），需要很高的計(jì)算資源。想要更高的分辨率，計(jì)算就越復(fù)雜，這就導(dǎo)致它實(shí)時(shí)性比較差。而且它在光照較暗、過(guò)度曝光或者場(chǎng)景本身缺少紋理的情況下，很難進(jìn)行特征提取匹配。和結(jié)構(gòu)光一樣，在抗干擾性這點(diǎn)上它做的不好。

TOF 方案的分辨率很低，測(cè)量精度也不如其他兩種方案，但是對(duì)于車(chē)內(nèi)手勢(shì)識(shí)別來(lái)說(shuō)已經(jīng)夠了。因?yàn)樾枰饩€的全面照射，所以功耗很高，但是這在汽車(chē)環(huán)境中也不算大事。而且它的體積可控；測(cè)量誤差在整個(gè)范本內(nèi)比較固定；雖然計(jì)算量大，但是算法難度較低；最重要的是它受外界環(huán)境干擾較小。綜合來(lái)看，TOF 方案是個(gè)比較實(shí)用的選擇，也是很多供應(yīng)商都在努力的方向。

目前都有哪些具體車(chē)型應(yīng)用？

目前帶有手勢(shì)識(shí)別的量產(chǎn)車(chē)型有寶馬、君馬；正在計(jì)劃量產(chǎn)的車(chē)型有拜騰、奔馳。

寶馬家族的 7 系、5 系以及 X7、X5、X3 現(xiàn)在帶有手勢(shì)識(shí)別功能，其中 7 系是全球第一個(gè)裝載手勢(shì)識(shí)別的量產(chǎn)車(chē)型。它的手勢(shì)識(shí)別區(qū)域?yàn)檐?chē)機(jī)屏前方，供應(yīng)商為德?tīng)柛?，采用的?TOF 方案，可以識(shí)別 7 種預(yù)設(shè)手勢(shì)，包括接掛電話、選擇歌曲、調(diào)節(jié)音量、控制導(dǎo)航等功能。

而國(guó)內(nèi)第一個(gè)配備手勢(shì)控制的量產(chǎn)車(chē)型是眾泰旗下的君馬 SEEK5。它在 2018 年 8 月上市，可以識(shí)別 9 種動(dòng)作，包括接掛電話、選擇歌曲、調(diào)節(jié)音量以及一個(gè)小彩蛋：握拳手心向上打開(kāi)變?yōu)槭终?，界面?huì)出現(xiàn)玫瑰花。

拜騰在 2019 年底即將量產(chǎn)的車(chē)型采用了 48 寸的大屏。由于屏幕巨大，手勢(shì)控制也作為其中必不可少的交互方式之一。它的供應(yīng)商是國(guó)內(nèi)的凌感科技，采用的是雙目立體成像方案，可以識(shí)別 5 種手勢(shì)，具體功能還沒(méi)有公布。

奔馳最新的 MBUX 采用了一種「非接觸式」的控制方式，當(dāng)手接近屏幕的時(shí)候，系統(tǒng)就可以感應(yīng)到手部操縱了，所以不需要實(shí)際接觸就可以使用屏幕。而且在全新 CLA 上，把手伸向后視鏡就可以打開(kāi)/關(guān)閉閱讀燈，這個(gè)功能在陽(yáng)光或者黑暗環(huán)境下都能使用。

根據(jù)最新消息，LG 將會(huì)為奔馳的一款車(chē)型提供手勢(shì)識(shí)別系統(tǒng)，它可以實(shí)現(xiàn)巡航控制、調(diào)整音量等功能。LG 現(xiàn)在還在研發(fā)一種駕駛輔助系統(tǒng)，計(jì)劃在今年末或明年初向戴姆勒交付。

另外，還有一些 OEM 提出過(guò)自己的概念，但是目前還沒(méi)有量產(chǎn)。

比如 2014 年，福特在 Mobbi 車(chē)載系統(tǒng)上展示過(guò)自己的 demo，可以實(shí)現(xiàn)控制空調(diào)、導(dǎo)航、音量、座椅位置等功能（供應(yīng)商是英特爾，采用的是結(jié)構(gòu)光方案）；2015 年，奧迪在 CES 上用 Q7 展示了針對(duì)后排乘客的手勢(shì)控制的 demo；2016 年，大眾在 CES 上用 Golf-E Touch 概念車(chē)上展示過(guò)手勢(shì)識(shí)別的 demo，采用的是 TOF 方案；2018 年，奇瑞在北京車(chē)展上展示了 LION 智能座艙，可以實(shí)現(xiàn)控制娛樂(lè)系統(tǒng)和地圖。

說(shuō)了這么多車(chē)型和 demo，那手勢(shì)識(shí)別在車(chē)內(nèi)用起來(lái)到底怎么樣？答案可能依然不盡如人意，原因其實(shí)不難分析。

首先，手勢(shì)交互功能還在初期階段，對(duì)于高識(shí)別率和防誤觸的界限很難界定。其次用戶(hù)還沒(méi)習(xí)慣手勢(shì)交互的方式，更多時(shí)候會(huì)下意識(shí)的使用原有的交互方式。

當(dāng)然，教育市場(chǎng)是每項(xiàng)新技術(shù)落地都必須要面對(duì)的，隨著體驗(yàn)的升級(jí)以及更多車(chē)型的普及，這些問(wèn)題也會(huì)逐漸消失。比如之前我也很不習(xí)慣用 Siri，但是現(xiàn)在我找不到 App 時(shí)就習(xí)慣讓 Siri 幫我打開(kāi)應(yīng)用。我找不到手機(jī)的時(shí)候，也會(huì)滿屋子的喊 Siri，直到它回應(yīng)我「什么事？」。

供應(yīng)商在做什么？

目前，能夠提供手勢(shì)識(shí)別的不僅有大的 IT 公司以及 Tier 1（比如谷歌、德?tīng)柛！⒋箨?、偉世通、微軟、三星、Leap Motion 等），還有一些初創(chuàng)公司（比如未動(dòng)科技、凌感科技、微動(dòng)、極魚(yú)科技、京龍睿信、光暈網(wǎng)絡(luò)）。

這次我們重點(diǎn)挑幾家國(guó)內(nèi)公司，來(lái)看看他們是如何進(jìn)行產(chǎn)品布局的。

未動(dòng)科技（Untouch）：

未動(dòng)科技是一家智能視覺(jué)交互技術(shù)提供商，產(chǎn)品包括：3D 手勢(shì)識(shí)別系統(tǒng)，智能駕艙解決方案、駕駛員監(jiān)控系統(tǒng)。

2017 年 7 月，它發(fā)布了 4 款 3D 視覺(jué)交互產(chǎn)品：3D 手勢(shì)識(shí)別產(chǎn)品：黎曼平臺(tái)；3D 人臉識(shí)別產(chǎn)品：歐拉平臺(tái)；SLAM 產(chǎn)品：笛卡爾平臺(tái)；場(chǎng)景重建產(chǎn)品：高斯平臺(tái)。

其 3D 手勢(shì)識(shí)別產(chǎn)品「黎曼平臺(tái)」可以基于深度圖實(shí)現(xiàn)手部 23 個(gè)關(guān)節(jié)點(diǎn)識(shí)別與 26 自由度追蹤，延遲在毫秒級(jí)。而且它還被全球著名的 TOF 深度傳感器廠商 PMD 選擇，作為中間件推出了一套完整的手勢(shì)識(shí)別軟硬件一體方案。

同時(shí)，其他產(chǎn)品還被應(yīng)用在手機(jī)、機(jī)器人、無(wú)人機(jī)、AR/VR 等智能設(shè)備上。

它的核心競(jìng)爭(zhēng)優(yōu)勢(shì)有兩個(gè)：一個(gè)是構(gòu)建了智能視覺(jué)交互技術(shù)的基礎(chǔ)性平臺(tái)，另一個(gè)是數(shù)以 PB 計(jì)的深度數(shù)據(jù)積累。

凌感科技（uSens）：

凌感科技專(zhuān)注于三維人機(jī)交互解決方案，是拜騰手勢(shì)識(shí)別功能的供應(yīng)商，采用的是雙目立體成像方案。主要產(chǎn)品有：手勢(shì)追蹤、位置追蹤、混合現(xiàn)實(shí)。

2014 年，uSens 就研發(fā)出全球第一個(gè)在有線及移動(dòng)端實(shí)現(xiàn)基于 inside-out 技術(shù)路線的 26 自由度手勢(shì)追蹤以及 6 自由度頭部位置追蹤技術(shù)，可以通過(guò)識(shí)別手部 22 個(gè)關(guān)節(jié)點(diǎn)識(shí)別和 26 個(gè)自由度追蹤。

2016 年，uSens 發(fā)布了 Fingo 手勢(shì)交互模組，2017 年發(fā)布了新版 Fingo SDK。它可以識(shí)別 10 余種動(dòng)態(tài)和靜態(tài)手勢(shì)，識(shí)別精度在 0.5cm-1cm，官方表示識(shí)別準(zhǔn)確度可達(dá) 99%以上，可跨平臺(tái)操作。還可以根據(jù)場(chǎng)景定義擴(kuò)展新手勢(shì)，并自定義相應(yīng)功能。

2016 年，他們還與戴姆勒中國(guó) IT 創(chuàng)新實(shí)驗(yàn)室一起展示了車(chē)載手勢(shì)交互的新成果。通過(guò)他們的手勢(shì)識(shí)別技術(shù)，體驗(yàn)者可以在 VR 場(chǎng)景中觀察 3D 汽車(chē)模型的細(xì)節(jié)，還可以進(jìn)行交互。

微動(dòng)（Vidoo）：

微動(dòng)以機(jī)器視覺(jué)和深度學(xué)習(xí)為核心技術(shù)，可以通過(guò)多種攝像頭技術(shù)（IR 紅外單目模組、IR 紅外雙目模組、RGB 單目模組）提供多種解決方案（提供 AR/VR 技術(shù)、車(chē)載手勢(shì)控制方案、智能家居解決方案、虛擬觸控解決方案）。

微動(dòng)的手勢(shì)控制采用的是雙目立體成像方案，可以識(shí)別 8 種手勢(shì)動(dòng)作。

IR 紅外單目模組可以應(yīng)用在跑步機(jī)、抽油煙機(jī)、OTT 機(jī)頂盒上；IR 紅外雙目模組可以用在車(chē)載電子、VR\AR、廣告終端；RGB 單目模組可以運(yùn)用在無(wú)人機(jī)、智能新零售、智能手表上。

極魚(yú)科技：

極魚(yú)科技是一家基于 TOF 手勢(shì)交互技術(shù)實(shí)現(xiàn)人機(jī)交互的解決方案提供商，主要面向汽車(chē)市場(chǎng)。

它以手勢(shì)為核心，同時(shí)還會(huì)結(jié)合眼球識(shí)別交互、面部識(shí)別、聲音識(shí)別、光學(xué)技術(shù)、交互體驗(yàn)設(shè)計(jì)、人工智能等技術(shù)。它支持車(chē)廠自選 3-5 個(gè)手勢(shì)并自定義功能，目前他們正在探索與天窗、座椅、車(chē)門(mén)之間的裸手交互。

2017 年它入選 Starup Autobahn 第一期加速營(yíng)，從而獲得了與戴姆勒合作的機(jī)會(huì)。

行業(yè)總結(jié)以及對(duì)手勢(shì)識(shí)別功能的愿景

從這些具體的產(chǎn)品或者 demo 上，我們能看到不論是 OEM 還是供應(yīng)商，他們要的都不只是手勢(shì)識(shí)別這一種功能，而是一個(gè)整體的智能駕駛座艙，里面涵蓋了更多融合性的功能。

首先，手勢(shì)識(shí)別必然會(huì)和語(yǔ)音識(shí)別等其他交互方式進(jìn)行集成。供應(yīng)商哪怕自己不做，也要和其他公司合作。比如思必馳、云知聲等語(yǔ)音公司都投資了相關(guān)手勢(shì)識(shí)別廠商。

另外，手勢(shì)識(shí)別、語(yǔ)音識(shí)別和 HUD 結(jié)合也是一個(gè)不錯(cuò)的選擇，所以也就出現(xiàn)了專(zhuān)門(mén)依托 HUD 來(lái)研發(fā)技術(shù)的供應(yīng)商，比如京龍睿信和光暈科技。

依據(jù)手勢(shì)識(shí)別的基礎(chǔ)原理，還可以研發(fā)駕駛員監(jiān)測(cè)等產(chǎn)品，這是 L2 向 L3 過(guò)度時(shí)期必不可少的一項(xiàng)功能。

所以很多供應(yīng)商不僅僅只是提供手勢(shì)識(shí)別的方案，它們還能提供其他相關(guān)產(chǎn)品，甚至涉獵到了智能家居、AR\VR 等領(lǐng)域。這其實(shí)是一件好事，這將有助于他們提供一套功能更加融合的的智能交互系統(tǒng)。

最后讓我們回到手勢(shì)識(shí)別本身。當(dāng)我們?cè)诿枋鲆患夜?yīng)商的手勢(shì)識(shí)別功能時(shí)，總是談它能識(shí)別幾種手勢(shì)，好像能識(shí)別的越多就越厲害。但原則上供應(yīng)商能實(shí)現(xiàn) N 種手勢(shì)，還能讓 OEM 自定義功能。

所以車(chē)內(nèi)手勢(shì)控制不求多，更不求難，大家要的都是方便，又不是像阿湯哥拍《少數(shù)派報(bào)告》。

真正的核心問(wèn)題應(yīng)該是，用戶(hù)們到底能記住幾種手勢(shì)控制功能？又真正需要哪些功能？哪些手勢(shì)的學(xué)習(xí)成本更低？哪些手勢(shì)更容易上手？設(shè)置的手勢(shì)動(dòng)作符合人類(lèi)的原始反應(yīng)，才是 HMI 的第一原則。

說(shuō)到底，我們現(xiàn)在車(chē)內(nèi)的手勢(shì)識(shí)別還處于發(fā)展初期，能實(shí)現(xiàn)的功能和準(zhǔn)確率也很有限，但這并不能阻止我們對(duì)這一功能的憧憬。

總有一天，配合人臉識(shí)別、靜脈識(shí)別、眼球識(shí)別，我們每個(gè)人都有一個(gè)超級(jí) ID，進(jìn)入車(chē)內(nèi)中控臺(tái)上的擬人化助手會(huì)通過(guò)全息影像的形式對(duì)你微笑，跟你說(shuō)早安，我們?cè)谲?chē)內(nèi)可以將手勢(shì)識(shí)別、語(yǔ)音識(shí)別運(yùn)用地流暢自如，通過(guò)前擋風(fēng)的 AR 導(dǎo)航可以對(duì)周?chē)鸂顩r一覽無(wú)余，車(chē)內(nèi)的大屏可以與工作的電腦連接，車(chē)內(nèi)的智能化設(shè)備與智能家居也是共通的……

總之，這一定不是空想，而是未來(lái)。

返回第一電動(dòng)網(wǎng)首頁(yè) >