【導讀】近日，普林斯頓的研究人員提出了世界上第一個高質(zhì)量的微米級光學成像裝置「Neural Nano-Optics」，并登上Nature Communications。成像效果和體積大50萬倍的相機鏡頭相比，在不少場景下可以做到旗鼓相當！

快看，一朵湛藍色的花朵正在緩緩綻放，層層花瓣像是海洋的波浪。

另一朵紫色的花綻放的瞬間，也美不勝收。

但是，這些畫面真正的驚艷之處卻并不在于花朵，而在于拍攝它們的相機鏡頭。

那鏡頭放在手上，是這樣的。

一個極小極小的正方形小薄片，邊長大概也就是幾條指紋的寬度！

還有更夸張的。

傳統(tǒng)的光學鏡頭，比如蘋果的iPhone X，后置鏡頭是長這樣的。

拉近點看，一個后置鏡頭之中，其實疊放了好幾層透鏡。

所以這種大尺寸的光學元件必然會很重，而且還會擠占不少面積。

要不，用這個正方形小薄片和搭載大體積復合折射透鏡的傳統(tǒng)相機比上一比？

結果非常amazing??！

在微觀拍攝上，這個小小的薄片對物體的還原度居然不遜于一堆透鏡疊在一起，甚至畫面還要更明亮一些。

在廣角的拍攝上，這個小薄片最終還是沒能敵過大尺寸的傳統(tǒng)相機，不過建筑的輪廓倒也還原得七七八八。

這個小薄片名叫「Neural Nano-Optics」，學名「metasurface optics」，意為超構表面光學器件。

有沒有看到中間拿一圈白色的部分，沒錯，這個就是成像裝置。

只有一粒粗鹽的大小哦！

成像效果的話，研究人員表示，「Neural Nano-Optics」和體積大50萬倍的Edmund Optics 50mm F2.0鏡頭在不少場景下可以做到旗鼓相當（不是我說的，是原文說的on pair with）。

小小相機有多神？

近幾十年來，感光元件的小型化使得相機得以被應用于非常多的領域，包括醫(yī)療成像、智能手機、機器人和自動駕駛。

然而，如果光學成像器可以比現(xiàn)在再小一個數(shù)量級的話，那么它就可以在納米機器人、體內(nèi)成像、增強現(xiàn)實/虛擬現(xiàn)實和健康監(jiān)測方面開辟許多新的應用。

近日，普林斯頓的研究人員提出了世界第一個高質(zhì)量的超小型光學成像裝置「Neural Nano-Optics」，并發(fā)表在了Nature Communications上。

這個相機擁有全色（400至700納米）覆蓋、40度的寬視野成像，以及F2.0的光圈。

論文地址：https://light.cs.princeton.edu/wp-content/uploads/2021/11/NeuralNanoOptics.pdf

項目地址：https://github.com/princeton-computational-imaging/Neural_Nano-Optics

「Neural Nano-Optics」優(yōu)于現(xiàn)有的所有最先進的超構表面透鏡設計，并且是世界第一個實現(xiàn)高質(zhì)量、寬視野彩色成像的超構表面光學成像器。

超構表面（metasurface）是一種厚度小于波長的超薄人工結構，它可實現(xiàn)對電磁波偏振、振幅、相位、極化方式、傳播模式等特性的靈活有效調(diào)控。

通常，傳統(tǒng)光學元件的物理尺寸很大。

這是因為傳統(tǒng)鏡頭是通過使光波發(fā)生彎曲來工作的。當光波穿過鏡頭時，它在鏡頭的不同部分會以不同的角度發(fā)生折射。

一般來講，工程師會將多個單獨的鏡頭堆疊在一起（稱為復合鏡頭），以特定的方式引導和控制光線。

典型的凸（會聚）鏡頭使光波彎曲以在焦點處匯合（來源：Mini Physics）

由于傳統(tǒng)的成像系統(tǒng)必須由一系列矯正像差的折射元件組成，這些笨重的鏡頭必然使得相機的限制較大。

傳統(tǒng)成像另一個大的障礙是難以減小焦距，因為這會導致更大的色差。

而超構表面光學器件通過其不同的自身結構與光相互作用，用一層極薄的平面結構就可以達到同等的效果。

鏡頭縮小的問題是解決了，那傳感器呢？

其實，亞微米像素的光學傳感器早已存在，但是其成像效果卻被傳統(tǒng)光學的理論所限制。

所以，單單把傳感器做小并不能完全解決問題。由于受到孔徑和光圈的限制，現(xiàn)有的亞微米像素的傳感器取得的圖像質(zhì)量遠不如大型的光學相機。

那普林斯頓的研究人員是怎么攻破這一難點的呢？

答案還得是AI！

在這項工作中，作者提出的Neural Nano-Optics，表面只是一個小成像裝置，但其背后卻有一個完全可微的深度學習框架，結合基于神經(jīng)特征的圖像重建算法，進而學習超構表面的物理結構，實現(xiàn)了比SOTA低一個數(shù)量級的重建誤差。

超構表面代理模型

作者通過使用一個高效的可微分代理函數(shù)進行學習，該函數(shù)將相位值映射到空間變化的PSF（PSF是point spread function的簡稱，即點擴散函數(shù)）。

文章所提出的可微分超構表面圖像形成模型（圖e）是由可微分張量運算的三個連續(xù)階段組成：超表面相位確定、PSF模擬并進行卷積以及傳感器噪聲。

在他們的模型中，決定超表面相位的多項式系數(shù)是可優(yōu)化的變量。

可優(yōu)化的超表面相位函數(shù)?，以距光軸的距離r作為自變量，寫成函數(shù)如下：

其中{a0，…an}為可優(yōu)化系數(shù)，R為相位掩膜半徑，n為多項式項數(shù)。

在這個相位函數(shù)的基礎上優(yōu)化超表面，而不是以逐像素的方式來優(yōu)化，其目的是避免局部極小值出現(xiàn)。

這種可微分方法Neural Nano-Optics與可選的前向模擬方法（如時域有限差分模擬）進行比較時，兩者精度是近似的，但可微分方法Neural Nano-Optics比FTDT等全波模擬方法的效率高3000倍，并且更節(jié)省內(nèi)存。

除這些之外，可微分框架Neural Nano-Optics還有幾個技術亮點。

基于特征的反卷積

為了從測量數(shù)據(jù)中恢復圖像，作者提出了一種基于特征的神經(jīng)反卷積方法，它結合了已學習的先驗知識，可以推廣到?jīng)]見過的測試數(shù)據(jù)。

具體來說，該方法采用了一個可微分逆濾波器和神經(jīng)網(wǎng)絡進行特征提取和細化。這種方法能夠學習有效的特征，從而利用功率譜的知識來提升基于物理的反卷積能力，從而提高泛化能力。

在形式上，特征傳播反卷積網(wǎng)絡執(zhí)行以下操作:

從結果看，特征傳播反卷積網(wǎng)絡的重建能力相對之前的方法有了質(zhì)的飛躍。

端到端學習

有了超表面代理和神經(jīng)反卷積模型，以及一個完全可微的成像管道，就可以用端到端的方式設計納米相機了。

可微分框架Neural Nano-Optics的學習方法和相應的優(yōu)化流程

Neural Nano-Optics的端到端訓練優(yōu)化過程是這樣的。

訓練優(yōu)化示意圖

訓練好之后，使用Neural Nano-Optics系統(tǒng)，可以得到高質(zhì)量的全色圖像。

與現(xiàn)有的最先進的設計相比，Neural Nano-Optics可以生成高質(zhì)量的寬FOV重建圖像

色差消除(DLAC)

以前的超構光學透鏡沒有一個能同時集齊大孔徑、寬視場、小f-number和大帶寬四個特性。

經(jīng)過優(yōu)化的超光學設計，讓這個超小型相機達到了前所未有的水平，能夠在寬闊的視野上捕捉全色圖像，并且實現(xiàn)了最大500微米的孔徑，也是目前最大的超構光學透鏡，可以增加光收集量。

為了正式量化設計規(guī)格，研究人員提出了一種新的度量標準，稱為衍射透鏡色差消除能力（DLAC）。

Neural Nano-Optics再次取得了一騎絕塵的好成績，以250 DLAC的成績排名第一。

Neural Nano-Optics應用

Neural Nano-Optics的出現(xiàn)有可能會使相機、顯示器以及其他光學設備發(fā)生革命性改變。

一些令人興奮的潛在應用包括：

AR/VR/MR—XR系統(tǒng)開發(fā)人員目前仍在努力解決將大型硬件系統(tǒng)集成到頭戴式設備中的挑戰(zhàn)。Neural Nano-Optics讓我們看到了將微型光學元件集成到小型高性能輕質(zhì)頭戴式設備和智能眼鏡中的希望。

醫(yī)學—Neural Nano-Optics的增強光學功能可以實現(xiàn)比以往更精確的診斷成像、也可以搭載在更高分辨率的成像工具（比如內(nèi)窺鏡）和新的顯微鏡上，從而使放射科醫(yī)生、內(nèi)科醫(yī)生和實驗室技術人員能夠看到以前不可見的細節(jié)。

參考資料：

https://light.princeton.edu/publication/neural-nano-optics/

http://www.sim.cas.cn/xwzx2016/kjqy2016/202109/t20210901_6179216.html

https://www.nature.com/articles/s41467-021-26443-0

https://www.radiantvisionsystems.com/zh-hans/blog/going-meta-how-metalenses-are-reshaping-future-optics

本文來自微信公眾號“新智元”（ID:AI_era），編輯：小咸魚 好困36氪經(jīng)授權發(fā)布。

關鍵詞： 普林斯頓 這只 個頭