文丨李子月Zoe

編丨石亞瓊

**

普諾飛思（Prophesee）2014年創(chuàng)立于巴黎，專注于神經(jīng)擬態(tài)視覺傳感技術(shù)，引入計算機視覺新類別——基于事件的視覺（Event-based）。其研發(fā)的普諾飛思原視覺（Metavision?）傳感器可應(yīng)用于手機、自動駕駛、工業(yè)自動化、物聯(lián)網(wǎng)、AR/VR、醫(yī)療設(shè)備等領(lǐng)域。目前第三代傳感器已實現(xiàn)盈利，第四代傳感器將于今年年底大規(guī)模量產(chǎn)。

此前，普諾飛思曾獲360 Capital Partners，歐洲投資銀行，iBionext，韋豪創(chuàng)芯，英特爾資本，雷諾集團，博世創(chuàng)投，創(chuàng)新工場（普諾飛思是創(chuàng)新工場投資的第一家歐洲企業(yè)），Supernova Invest，小米等投資。

聯(lián)合創(chuàng)始人兼CEO Luca Verre擁有米蘭理工大學(xué)和巴黎中央理工學(xué)院的物理學(xué)、電子和工業(yè)工程雙碩士學(xué)位，以及歐洲工商管理學(xué)院的工商管理碩士學(xué)位，曾在施耐德電氣公司負(fù)責(zé)項目及產(chǎn)品管理、市場營銷和業(yè)務(wù)開發(fā)等。在加入施耐德電氣之前，還曾任豐田汽車和Altis半導(dǎo)體的工程師，并在倫敦帝國理工學(xué)院擔(dān)任光子學(xué)研究助理。聯(lián)合創(chuàng)始人兼CTO Christoph Posch擁有維也納工業(yè)大學(xué)電子與通信工程碩士學(xué)位，實驗物理學(xué)和微電子學(xué)博士學(xué)位，曾創(chuàng)立法國生物電子公司Pixium Vision。普諾飛思共有100多名工程師，50多項國際專利。

除巴黎總部外，普諾飛思上海、東京、硅谷和格勒諾布爾均設(shè)有辦事處。談及進(jìn)駐中國市場的原因，Luca Verre 表示：中國擁有最大的移動設(shè)備市場，安防、工業(yè)等領(lǐng)域也有非常多的機會；中國強大的半導(dǎo)體生態(tài)系統(tǒng)也將促進(jìn)普諾飛思的迅速發(fā)展。目前公司正在積極發(fā)展中國團隊，尋找機器視覺工程師、系統(tǒng)工程師和銷售經(jīng)理等人才。

基于幀的技術(shù)VS基于事件的技術(shù)

傳統(tǒng)的圖像傳感器采用基于幀的技術(shù)（Frame-based）。通過每秒捕獲多幀靜止圖像來表達(dá)/記錄場景運動，并通過連續(xù)快速的展示，讓觀看者的視覺產(chǎn)生連續(xù)運動的錯覺。其中的弊病有二：一是每幀之間是空白的，必然會丟失運動物體的部分信息。二是無論場景是否發(fā)生變化，傳感器中的像素都會進(jìn)行記錄，相同的背景信息被重復(fù)記錄，從而生成大量無用數(shù)據(jù)。

（高爾夫球手揮桿場景演示 圖片來源：采訪供圖）

以高爾夫球手揮桿為例，在這一場景中，重要的信息是球桿的擺動和球的運動，但傳統(tǒng)傳感器將丟失這些信息的某一部分，同時反復(fù)記錄他身后不變的天空、樹木和草地。

（基于幀的傳感器（左）和基于事件的視覺技術(shù)（右） 圖片來源：采訪供圖）

而我們的眼睛并不會以幀為單位記錄場景圖像，只是在場景產(chǎn)生變化時傳遞信息給大腦。通過這樣的方式，人眼只收集必要信息，而不必浪費時間和精力重復(fù)處理場景中沒有變化的圖像。

普諾飛思所采用的基于事件的視覺技術(shù)（Event-based），便是受到了人眼視網(wǎng)膜和大腦工作原理的啟發(fā)。在普諾飛思原視覺（Metavision?）傳感器中，每個像素都是異步且獨立的，像素不再由固定的時序源（幀時鐘）控制，而是由信號在幅度域的變化來控制，并在檢測到變化或運動時進(jìn)行記錄。圖像信息不是逐幀發(fā)送，而是通過連續(xù)的信息流捕獲時間運動，并且?guī)c幀之間沒有任何重要信息遺漏。

普諾飛思基于事件的視覺系統(tǒng)產(chǎn)生的數(shù)據(jù)量比傳統(tǒng)圖像傳感器減少十到千倍，等效時間幀速率>10k fps。其傳感器可實現(xiàn)像素級別的曝光調(diào)節(jié)，即使在極暗或極亮的光照條件下，也能實現(xiàn)>120dB的動態(tài)范圍，低光靈敏度<1lux。

普諾飛思的四代傳感器

普諾飛思第一代傳感器用于幫助盲人部分視力恢復(fù)。如其與法國生物電子公司Pixium Vision合作研發(fā)的無線視網(wǎng)膜植入物。

普諾飛思第三代原視覺傳感器已經(jīng)量產(chǎn)，主要應(yīng)用于工業(yè)自動化，尤其是高速機器視覺領(lǐng)域，如高速計數(shù)、激光焊接監(jiān)控、震動測量等。如德國Imago已將其集成到了工業(yè)級相機系統(tǒng)中。這一代產(chǎn)品目前已經(jīng)盈利。

普諾飛思與索尼合作研發(fā)的第四代傳感器主要應(yīng)用于工業(yè)和物聯(lián)網(wǎng)，目前正在與客戶的測試階段，預(yù)計今年年底能夠大規(guī)模量產(chǎn)。基于事件的視覺傳感器的每個像素都是獨立的，晶體管數(shù)量較多，使得降低芯片尺寸成為難題。普諾飛思的第四代傳感器應(yīng)用了索尼BSI（背照式）和3D堆疊工藝，大大降低了傳感器尺寸。第三代傳感器（圖左）尺寸為15μm，第四代傳感器尺寸為4.86μm，是目前基于視覺的傳感器中的最小尺寸。

（普諾飛思第三代和第四代芯片 圖片來源：采訪供圖）

此外，普諾飛思近期還推出了評估套件EVK 3（支持與索尼半導(dǎo)體共同開發(fā)的4.1 HD傳感器和3.1 VGA傳感器）。EVK 3與Metavision??智能套件（由Player、Designer和SDK組成，提供近100種算法、67個代碼實例和11個特定用例的應(yīng)用模型）完全兼容，用于幫助用戶更好地評估和發(fā)揮傳感器的性能。Luca Verre表示，相較于同類公司，普諾飛思更早地布局軟件開發(fā)，并關(guān)注到軟硬件的配合。

應(yīng)用領(lǐng)域

智能駕駛

座艙監(jiān)控：Xperi旗下子公司DTS基于普諾飛思原視覺（Metavision??）傳感技術(shù)提供的事件數(shù)據(jù)，開發(fā)了基于神經(jīng)擬態(tài)視覺系統(tǒng)的駕駛員監(jiān)控解決方案（DMS），提供了更優(yōu)的微光性能，以及新的檢測功能，如眼跳或微表情檢測等。

駕駛輔助：高級駕駛輔助軟件開發(fā)商Terranet AB與梅賽德斯-奔馳共同開發(fā)的VoxelFlow?傳感器，采用了普諾飛思原視覺（Metavision??）傳感器，可掃描車輛周圍半徑為40米的區(qū)域，反應(yīng)時間為3毫秒。

醫(yī)療

細(xì)胞療法：Cambridge Consultants的自動化污染檢測系統(tǒng)中，使用了普諾飛思原視覺（Metavision??）傳感器和AI模型來檢測、跟蹤和分類污染物。

恢復(fù)部分視力：除上文提到的，與法國生物電子公司Pixium Vision合作研發(fā)建立物理視網(wǎng)膜植入物外，最近還與GenSight Biologics合作。在首例晚期視網(wǎng)膜色素變性（RP）失明患者恢復(fù)部分視力的病例中（報告發(fā)表于《自然-醫(yī)學(xué)》），該患者接受了GenSight Biologics的GS030光遺傳療法試驗。這一項目將基因療法與光刺激醫(yī)療設(shè)備與護(hù)目鏡的形式相結(jié)合，通過普諾飛思基于事件的原視覺（Metavision?）傳感器來感知世界。

工業(yè)自動化

高速計數(shù)：上文提到的德國Imago已將普諾飛思基于事件的視覺技術(shù)應(yīng)用于工業(yè)部署。

震動監(jiān)測：通過追蹤場景中每個像素的時間變化，以像素級精度連續(xù)遠(yuǎn)程監(jiān)控振動頻率。

手機

提升傳統(tǒng)相機性能：可在較苛刻的速度和光照條件下拍出更清晰的影像，一次即可拍下最美的照片，且時間可放慢至10000倍。

實時圖像去模糊：通過算法捕捉到時間分辨率達(dá)1微秒的運動，并處理與之相關(guān)的運動模糊。

神經(jīng)擬態(tài)領(lǐng)域的高校、研究所和公司

神經(jīng)擬態(tài)傳感技術(shù)最早源于 1990 年代瑞士蘇黎世聯(lián)邦理工學(xué)院（ETH Zurich），蘇黎世理工大學(xué)和蘇黎世大學(xué)聯(lián)合創(chuàng)辦的神經(jīng)信息學(xué)院（INI）是神經(jīng)擬態(tài)芯片和算法領(lǐng)域?qū)W術(shù)界的權(quán)威。其他此領(lǐng)域著名的大學(xué)還有西班牙塞維利亞大學(xué)（University of Seville in Spain）和匹茲堡大學(xué)（Pittsburgh University in Pennsylvania）等。

目前神經(jīng)擬態(tài)領(lǐng)域初創(chuàng)公司包括兩類，第一類將重點放在傳感器的研發(fā)上面：源于ETH的Insightness，2019年被索尼收購；同樣源于ETH的Inivation；由新加坡南洋理工大學(xué)教授陳守順創(chuàng)立的芯侖光電，目前已經(jīng)成為中國半導(dǎo)體龍頭之一韋爾股份的子公司；源于CSEM Zurich的銳思智芯（Alpsentek），今年七月獲得由海康威視、舜宇光學(xué)等大廠投資的pre-A輪融資。

第二類初創(chuàng)公司將重點放在神經(jīng)擬態(tài)計算上，包括：ETH博士劉洪杰創(chuàng)立的九天睿芯（Reexen），今年6獲由韋豪創(chuàng)芯和浦東科創(chuàng)聯(lián)合領(lǐng)投的億元級A輪融資，去年獲奇績創(chuàng)壇Pre-A輪融資；來自瑞士神經(jīng)信息學(xué)院（INI）的海歸學(xué)者喬寧博士創(chuàng)立的時識科技（SynSense），曾獲百度、Merck、中科創(chuàng)星等業(yè)界和資本支持。今年10月，普諾飛思與時識科技建立戰(zhàn)略合作關(guān)系，時識科技將自主研發(fā)的低功耗視覺SNN處理器DYNAP-CNN? 與普諾飛思基于事件的 Metavision? 傳感器結(jié)合在一顆單芯片上，并專注于開發(fā)一系列低成本且可大批量生產(chǎn)的模組產(chǎn)品。

傳統(tǒng)CIS巨頭也開始布局神經(jīng)擬態(tài)傳感器，如上文提到的索尼對Insightnesss的收購和與普諾飛思的合作；三星也將這種動態(tài)視覺傳感器 DVS 技術(shù)應(yīng)用于汽車高級駕駛輔助系統(tǒng)（ADAS）。

歐洲創(chuàng)投相關(guān)閱讀

2021德語區(qū)科技創(chuàng)投報告（上）: 全球“隱形冠軍”中，德國公司占比近50%

2021德語區(qū)科技創(chuàng)投報告（下）: 全球“隱形冠軍”中，德國公司占比近50%

2020法國科技創(chuàng)投報告：巴黎融資金額超越柏林，成為歐盟第一大科創(chuàng)中心

關(guān)鍵詞： 擬態(tài) 法國 中國市場