• 正文
    •  
    • 來自人眼的啟發(fā)
    •  
    • 更清晰的拍照,更準確的駕駛
    • 這是怎樣的一個公司
  • 相關(guān)推薦
申請入駐 產(chǎn)業(yè)圖譜

神經(jīng)擬態(tài)視覺傳感器來了:手機和車都能用,李開復(fù)雷軍紛紛投資

2021/07/09
168
加入交流群
掃碼加入
獲取工程師必備禮包
參與熱點資訊討論

機器會怎樣來看世界?

通過幀。

傳統(tǒng)的圖像傳感器會通過每秒捕獲多張靜止圖像來記錄場景運動。

如果將這一系列圖像通過足夠快的速度連續(xù)展示,人類視覺就能產(chǎn)生“這是連續(xù)運動”的錯覺。

但對于計算機來說,無論是多快的速率,幀與幀之間總會丟失某些運動信息。

那么,有沒有辦法讓機器連續(xù)地“看”到運動場景或事件呢?

今天就來看看普諾飛思(Prophesee)公司給出的“神經(jīng)擬態(tài)機器眼”。

 

來自人眼的啟發(fā)

要了解這個“機器眼”,首先得看看它模仿的源頭:

人眼。

我們是如何通過人眼來看世界的呢?

當眼睛中的視覺細胞感測到場景變化——即發(fā)生了某個事件時,它就會將相關(guān)信息通過視神經(jīng)傳到大腦皮層。

而收集到的數(shù)據(jù)也是持續(xù)的,是以事件為基礎(chǔ)的。

因此,普諾飛思的研究者們以人眼為啟發(fā),提出了基于事件的視覺感知技術(shù)。

和傳統(tǒng)圖像傳感器不同,在基于這種技術(shù)的傳感器中,每個像素都是異步且獨立的。

因此,圖像信息并不是逐幀發(fā)送,而是通過連續(xù)的信息流捕獲事件運動:

而如果從事件的角度來考慮,靜止和場景并不會帶來新的信息。

因此,這種技術(shù)也就不關(guān)注完全靜止的場景:

只有場景中發(fā)生某個事件,產(chǎn)生了變化時,傳感器才會產(chǎn)生輸出:

如果是以幀為單位來獲取這種圖像信息的變化,那得一張一張固定頻率發(fā)送,然后一個像素一個像素的比較。

而現(xiàn)在,只關(guān)注動態(tài)變化,也就剔除了很多冗余信息,減少了處理數(shù)據(jù)量。

這不僅加快了處理速度,也意味著對算力要求的減弱,成本也就隨之降低。

普諾飛思的CEO兼創(chuàng)始人Luca Verre對此表示:

這是來自自然界的完美的解決方案。

現(xiàn)在,普諾飛思已將這種基于事件的視覺技術(shù)集成到已有系統(tǒng)中,量產(chǎn)了世界上首個基于事件的視覺傳感器。

并且隨著更新?lián)Q代,傳感器的性能越來越好,尺寸也越來越小了。

 

更清晰的拍照,更準確的駕駛

更小,也就意味著離我們的日常生活更近。

比如手機拍攝。

如果在按下快門的幾毫秒內(nèi)被拍對象恰好發(fā)生了移動,那么圖像的一個點就會變成一條線。

這也就是我們在拍攝很多動態(tài)物體時常常產(chǎn)生模糊的原因。

但現(xiàn)在用基于事件的視覺技術(shù),就能夠在按快門的這段時間內(nèi)一直觀測這一點的移動,知道它的移動軌跡,再將這條線恢復(fù)成點。

可以看到,采用基于事件的視覺技術(shù)的右圖明顯比左圖要清晰很多。

此外,這一技術(shù)也能提供更大的動態(tài)范圍,讓每一個像素都能按照不同的曝光值來曝光。

這樣,即使在非常嚴苛的光線情景(如室內(nèi)或夜景)下,拍攝圖像也不會得到很大的損失。

然后就是提供更精準的座艙監(jiān)控技術(shù)。

可以看到,這一監(jiān)控能夠追蹤駕駛員的目光方向。

不僅如此,連眨眼速度也能監(jiān)控,這可是傳統(tǒng)的監(jiān)控解決方案做不到的。

這就是普諾飛思聯(lián)合Xperi開發(fā)的全球首個基于神經(jīng)擬態(tài)視覺系統(tǒng)的駕駛員監(jiān)控解決方案。

還有基于事件的高級駕駛輔助系統(tǒng),增強了現(xiàn)有的雷達激光雷達攝像頭系統(tǒng),能夠更快速、準確地理解周圍的環(huán)境。

通過細胞實時無菌檢測實現(xiàn)的下一代細胞療法,用于減少醫(yī)療制品的生產(chǎn)成本:

也有失明患者借助將基因療法、光刺激醫(yī)療設(shè)備、以及普諾飛思傳感器結(jié)合起來的光遺傳療法恢復(fù)了部分視力。

除此之外,工業(yè)上也有這種傳感器的應(yīng)用:

比如對于一些不能直接接觸的大型機械(如高壓環(huán)境)可以做非接觸性的振動檢測。

在焊接上也可以做到引導(dǎo)和質(zhì)檢。

這是怎樣的一個公司

普諾飛思(Prophesee)是一個7年前在巴黎創(chuàng)立的公司。

這家科技公司致力于神經(jīng)擬態(tài)視覺系統(tǒng)的研發(fā),其基于事件的視覺傳感器已應(yīng)用在攝影、自動駕駛工業(yè)自動化、醫(yī)療等多個領(lǐng)域。

公司CEO兼聯(lián)合創(chuàng)始人Luca Verre擁有米蘭理工大學(xué)和巴黎中央理工學(xué)院的物理學(xué)、電子和工業(yè)工程雙碩士學(xué)位。

還曾任豐田汽車公司和Altis半導(dǎo)體公司工程師。

在7月6日這場發(fā)布會上,普諾飛思宣布C輪融資,由創(chuàng)新工場領(lǐng)投、小米及上海韋豪創(chuàng)芯跟投,數(shù)家老股東加碼。

這也是今年繼DeepMind之后,又一家能走進中國視野的歐洲AI創(chuàng)業(yè)公司。

創(chuàng)新工場董事長兼CEO李開復(fù)博士表示:

普諾飛思在神經(jīng)擬態(tài)視覺領(lǐng)域的先進技術(shù),將為AI和機器視覺技術(shù)的發(fā)展開創(chuàng)更多的可能性與機會,幫助更多行業(yè)實現(xiàn)自動化、安全以及效率方面的提升。

相關(guān)推薦