神經(jīng)網(wǎng)絡(luò)模型越訓(xùn)越大，也越來越費(fèi)電。柏林工業(yè)大學(xué)的研究團(tuán)隊(duì)反其道行之，搞了一個(gè)單神經(jīng)元的網(wǎng)絡(luò)，能模擬多層神經(jīng)網(wǎng)絡(luò)，性能還不差！

要說世界上最先進(jìn)的神經(jīng)網(wǎng)絡(luò)模型是什么？那絕對是人腦莫屬了。

人腦有860億個(gè)神經(jīng)元，相互結(jié)合在一起構(gòu)成的神經(jīng)網(wǎng)絡(luò)不僅在性能上超越人工神經(jīng)網(wǎng)絡(luò)，能量消耗也少的驚人。

當(dāng)下的人工智能系統(tǒng)試圖通過創(chuàng)建多層神經(jīng)網(wǎng)絡(luò)來模仿人腦，旨在將盡可能多的神經(jīng)元塞進(jìn)盡可能少的空間。

這種方式雖然取得了性能進(jìn)步，但這樣的設(shè)計(jì)不僅需要大量的電力，并且輸出的結(jié)果與人腦相比也是相形見絀。

根據(jù)估計(jì)，OpenAI在微軟數(shù)據(jù)中心使用 Nvidia GPU 訓(xùn)練神經(jīng)網(wǎng)絡(luò)GPT-3時(shí)，大約需要 190,000 千瓦時(shí)的電量，相當(dāng)于丹麥 126 戶家庭每年使用的電量。如果換算成化石燃料產(chǎn)生的二氧化碳含量來算，相當(dāng)于駕駛一輛汽車從地球出發(fā)往返一趟月球。

并且神經(jīng)網(wǎng)絡(luò)以及使用巨大數(shù)據(jù)集訓(xùn)練它們所需的硬件數(shù)量，還在不斷增長。以GPT為例，在GPT-3時(shí)已經(jīng)有1750億個(gè)參數(shù)了，比前身GPT-2的參數(shù)量要多100倍。

這種「越大越好」的神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)顯然不符合可持續(xù)的科學(xué)發(fā)展觀。

來自柏林工業(yè)大學(xué)的一個(gè)多學(xué)科研究小組最近創(chuàng)建了一個(gè)新型神經(jīng)「網(wǎng)絡(luò)」。但叫它網(wǎng)絡(luò)還是比較勉強(qiáng)的，因?yàn)樗戮托略冢挥幸粋€(gè)神經(jīng)元！

研究人員提出一種新的方法，能夠?qū)⒁粋€(gè)任意大小的深度神經(jīng)網(wǎng)絡(luò)折疊成一個(gè)具有多個(gè)延時(shí)反饋的單一神經(jīng)元循環(huán)。這個(gè)單神經(jīng)元深度神經(jīng)網(wǎng)絡(luò)只包括一個(gè)單一的非線性和適當(dāng)?shù)卣{(diào)整反饋的信號，可以完全表示標(biāo)準(zhǔn)的深度神經(jīng)網(wǎng)絡(luò)（DNN），包含稀疏DNN，和將DNN的概念擴(kuò)展到動(dòng)態(tài)系統(tǒng)的實(shí)現(xiàn)。

這個(gè)新模型也稱為時(shí)間折疊（Folded-in-time） Fit-DNN，在基準(zhǔn)任務(wù)的測試中也表現(xiàn)出相當(dāng)強(qiáng)的性能。

獨(dú)木難成林？

一個(gè)常規(guī)的神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)需要在空間上申請多個(gè)節(jié)點(diǎn)彼此連接，而單個(gè)神經(jīng)元模型則是在時(shí)間維度上進(jìn)行擴(kuò)散連接。

研究人員設(shè)計(jì)的多層前饋DNN的完全時(shí)間折疊的方法，只需要一個(gè)帶有反饋調(diào)節(jié)延遲環(huán)的單一神經(jīng)元。通過非線性操作的時(shí)間順序化，可以實(shí)現(xiàn)一個(gè)任意深度或?qū)挾鹊腄NN。

在傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)中，如GPT-3，每個(gè)神經(jīng)元都有一個(gè)權(quán)重值，以便對結(jié)果進(jìn)行微調(diào)。但這種方式導(dǎo)致的結(jié)果通常是更多的神經(jīng)元，產(chǎn)生更多的參數(shù)，而只有更多的參數(shù)才能產(chǎn)生更精確的結(jié)果。

但柏林工業(yè)大學(xué)的團(tuán)隊(duì)發(fā)現(xiàn)，他們可以通過在不同時(shí)間對同一神經(jīng)元進(jìn)行不同的加權(quán)，而不是在空間上分散不同加權(quán)的神經(jīng)元來實(shí)現(xiàn)類似功能。

這就好比在宴會(huì)上，你可以通過快速切換座位的方式，裝作不同的客人說出不同的部分來模擬餐桌上的對話。

聽起來有點(diǎn)「人格分裂」，但通過這種時(shí)序上的擴(kuò)展，一個(gè)人（神經(jīng)元）也可以完成多個(gè)人才能完成的事。

剛才提到「快速」切換，柏林團(tuán)隊(duì)表示，這種說法已經(jīng)很低調(diào)了。

實(shí)際上他們的系統(tǒng)通過激光在神經(jīng)元中激活基于時(shí)間的反饋回路，理論上可以達(dá)到接近宇宙極限的速度——也就是以光速或接近光速進(jìn)行神經(jīng)網(wǎng)絡(luò)切換。

根據(jù)研究人員的說法，這對人工智能來說意味著，能夠顯著降低訓(xùn)練超大規(guī)模神經(jīng)網(wǎng)絡(luò)的能源成本。

為了實(shí)現(xiàn)上述想法，研究人員假設(shè)系統(tǒng)狀態(tài)根據(jù)一般形式的微分方程在連續(xù)時(shí)間內(nèi)演變。

這里x(t)表示神經(jīng)元在時(shí)間t的狀態(tài)；f是一個(gè)非線性函數(shù)，其參數(shù)a(t)結(jié)合了數(shù)據(jù)信號J(t)、時(shí)間變化的偏置b(t)以及由函數(shù)Md(t)調(diào)制的延時(shí)反饋信號x(t -τd)?？梢悦鞔_考慮不同延遲長度τd的多個(gè)環(huán)路。由于反饋環(huán)路，系統(tǒng)成了一個(gè)所謂的延遲動(dòng)力系統(tǒng)。

直觀地說，F(xiàn)it-DNN中的反饋回路導(dǎo)致神經(jīng)元重新引入已經(jīng)通過非線性f的信息，這使得非線性f可以多次連鎖。經(jīng)典的DNN通過逐層使用神經(jīng)元來構(gòu)成其可訓(xùn)練的表征，而Fit-DNN則通過重復(fù)向同一神經(jīng)元引入反饋信號來實(shí)現(xiàn)同樣的目的。

在每個(gè)pass中，時(shí)變的偏置b(t)和延遲線上的調(diào)制Md(t)確保系統(tǒng)的時(shí)間演變以期望的方式處理信息。為了獲得數(shù)據(jù)信號J(t)和輸出y，兩個(gè)變量都需要一個(gè)適當(dāng)?shù)那疤幚砘蚝筇幚聿僮鳌?/p>

為了進(jìn)一步說明Fit-DNN在功能上等同于多層神經(jīng)網(wǎng)絡(luò)，可以看到Fit-DNN可以將具有多個(gè)延遲環(huán)的單個(gè)神經(jīng)元的動(dòng)態(tài)性轉(zhuǎn)化為DNN。

x(t)的時(shí)間演化可以分為長度為T的時(shí)間間隔，每個(gè)間隔模擬一個(gè)隱藏層。在每個(gè)區(qū)間中，選擇N個(gè)點(diǎn)。使用一個(gè)具有小時(shí)間間隔θ的等距時(shí)間網(wǎng)格。對于有N個(gè)節(jié)點(diǎn)的隱藏層來說，可以得出θ=T/N。在每個(gè)時(shí)間網(wǎng)格點(diǎn)tn=nθ，將系統(tǒng)狀態(tài)x(tn)作為一個(gè)獨(dú)立變量。每個(gè)時(shí)間網(wǎng)格點(diǎn)tn將代表一個(gè)節(jié)點(diǎn)，而x(tn)代表其狀態(tài)?？梢赃M(jìn)一步假設(shè)數(shù)據(jù)信號J(t)、偏置b(t)和調(diào)制信號Md(t)是步長為θ的步長函數(shù)。

作為一個(gè)非常稀疏的網(wǎng)絡(luò)，研究人員首先將Fit-DNN應(yīng)用于圖像去噪任務(wù)：在Fashion-MNIST數(shù)據(jù)集的圖像中加入強(qiáng)度為方差為1的高斯噪聲，將其視為值在0（白色）和1（黑色）之間的向量。然后截?cái)嚅撝?和1處剪切所得到的向量條目，以獲得有噪聲的灰度圖像。去噪的任務(wù)就是要從其噪聲版本中重建原始圖像。

實(shí)驗(yàn)結(jié)果對比了原始Fashion-MNIST圖像、其噪聲版本和重建圖像的例子?？梢钥吹交謴?fù)的效果還是相當(dāng)不錯(cuò)的。

但Fit-DNN真正的問題是，時(shí)間循環(huán)的單個(gè)神經(jīng)元是否能產(chǎn)生與數(shù)十億個(gè)神經(jīng)元相同的結(jié)果。

為了證明Fit-DNN和時(shí)間狀態(tài)下的計(jì)算能力，研究人員選了五個(gè)圖像分類任務(wù)：MNIST40、Fashion-MNIST41、CIFAR-10、CIFAR-100，以及SVHN。

實(shí)驗(yàn)對比了Fit-DNN在上述任務(wù)中每個(gè)隱藏層的不同節(jié)點(diǎn)數(shù)N=50、100、200和400時(shí)的表現(xiàn)。從結(jié)果中可以看到對相對簡單的MNIST和Fashion-MNIST任務(wù)上單個(gè)神經(jīng)元取得了很高的準(zhǔn)確率。但對于更具挑戰(zhàn)性的CIFAR-10、CIFAR-100和SVHN任務(wù)的準(zhǔn)確率則比較低。

雖然這些結(jié)果顯然不能與當(dāng)下sota模型創(chuàng)造的性能記錄相媲美，但它們是在一個(gè)新穎的、完全不同的架構(gòu)上實(shí)現(xiàn)的。特別是，這里的Fit-DNN只使用了權(quán)重矩陣可用對角線的一半。對于測試的任務(wù)，增加N顯然會(huì)導(dǎo)致性能的提高。

隨著進(jìn)一步的發(fā)展，科學(xué)家們相信該系統(tǒng)可以擴(kuò)展到時(shí)間維度上「無限數(shù)量的」神經(jīng)元連接。

他們表示，這樣的系統(tǒng)是可行的，它可以超越人腦，成為世界上最強(qiáng)大的神經(jīng)網(wǎng)絡(luò)，這就是人工智能專家所說的「超級智能」。

參考資料：

https://thenextweb.com/news/how-ai-brain-with-only-one-neuron-could-surpass-humans

https://www.nature.com/articles/s41467-021-25427-4.pdf

關(guān)鍵詞： 神經(jīng)網(wǎng)絡(luò) 只有一個(gè)