美國當(dāng)?shù)貢r間周一，F(xiàn)acebook聯(lián)合創(chuàng)始人、Meta現(xiàn)任首席執(zhí)行官馬克·扎克伯格（Mark Zuckerberg）表示，一種新的觸摸傳感器和類似皮膚的塑料材料可以協(xié)同工作，可能有助于實現(xiàn)元宇宙雄心。

Meta的人工智能（AI）研究人員與卡內(nèi)基梅隆大學(xué)的科學(xué)家共同創(chuàng)造了一種厚度不到3毫米的可變形塑料“皮膚”。這種相對便宜的材料被稱為Reskin，它的內(nèi)部有磁性顆粒，可以產(chǎn)生磁場。當(dāng)這種皮膚與另一個表面接觸時，嵌入顆粒的磁場會發(fā)生變化。傳感器記錄磁通量的變化，然后將數(shù)據(jù)提供給AI軟件，該軟件試圖理解已經(jīng)施加的力或觸感。

利用機(jī)器學(xué)習(xí)和磁感應(yīng)，Reskin旨在為長期使用提供廉價、多功能、耐用和可更換的解決方案，采用無監(jiān)督學(xué)習(xí)算法來幫助自動校準(zhǔn)傳感器。扎克伯格在Facebook頁面上寫道：“我們設(shè)計出了高分辨率的觸摸傳感器，并與卡內(nèi)基梅隆大學(xué)合作，創(chuàng)造了一種薄薄的機(jī)器人皮膚。這讓我們離元宇宙中真實的虛擬物體和物理互動更近了一步。”

這種皮膚已經(jīng)在機(jī)器人身上進(jìn)行了測試，這些機(jī)器人負(fù)責(zé)處理包括葡萄和藍(lán)莓在內(nèi)的軟水果。AI系統(tǒng)必須接受100次人類觸摸的訓(xùn)練，以確保它有足夠的數(shù)據(jù)來理解磁場變化與觸摸之間的關(guān)系。

除了Reskin，Meta還概述了在開發(fā)用于觸摸傳感的硬件、模擬器、庫、基準(zhǔn)和數(shù)據(jù)集方面取得的更廣泛進(jìn)展。該公司表示，這構(gòu)成了可以通過觸摸理解和互動的人工智能系統(tǒng)的基礎(chǔ)。

Meta研究科學(xué)家羅伯托·卡蘭德拉(Roberto Calandra)和硬件工程師邁克·蘭貝塔(Mike Lambeta)在一篇博客文章中表示：“我們通常認(rèn)為觸摸是傳遞溫暖和關(guān)懷的一種方式，但它也是感知我們周圍世界的一種關(guān)鍵感知方式。觸摸為我們提供了通過任何其他感覺無法辨別的信息，例如關(guān)于物質(zhì)的溫度、質(zhì)地和重量，有時甚至是關(guān)于其狀態(tài)的信息?！?/p>

Meta的研究科學(xué)家阿比納夫·古普塔(Abhinav Gupta)在媒體電話會議上表示，觸摸在很大程度上被AI研究人員忽視了，因為觸摸傳感器太昂貴或太脆弱，無法獲得可靠的數(shù)據(jù)。古普塔說：“如果你想想人類或嬰兒是如何學(xué)習(xí)的，豐富的多模態(tài)數(shù)據(jù)對發(fā)展對世界的理解至關(guān)重要。我們正在從像素、聲音、觸覺、味覺、嗅覺等方面學(xué)習(xí)?！?/p>

他補(bǔ)充說：“但如果你看看AI在過去十年中取得的進(jìn)步，你會發(fā)現(xiàn)我們在像素(計算機(jī)視覺)方面取得了巨大進(jìn)步，我們在聲音方面也取得了進(jìn)步，音頻、語音等方面也是如此。但在這一發(fā)展過程中卻缺少了觸覺，盡管接觸非常重要。”

古普塔解釋稱，幫助機(jī)器和機(jī)器人助理感知將使它們能夠理解人類在做什么。Meta的Reskin可以探測到來自小于1毫米寬的物體的力，最小可達(dá)0.1牛頓。他說：“我們可以第一次嘗試更好地理解物體背后的物理原理，這將有助于Meta構(gòu)建元宇宙的探索?！?/p>

元宇宙要么是互聯(lián)網(wǎng)的下一次進(jìn)化，要么是讓投資者對某些模糊的創(chuàng)新感到興奮的最新企業(yè)流行語，這些創(chuàng)新可能在未來10年內(nèi)都不會出現(xiàn)。

但無論哪種方式，科技公司(主要是Meta)都在越來越多地推廣元宇宙的概念，指的是人們可以在里面生活、工作和娛樂的虛擬世界。如果你看過電影《頭號玩家》(Ready Player One)，你會很清楚元宇宙是什么：戴上計算機(jī)化的眼鏡，你就被帶進(jìn)了數(shù)字世界，在那里一切皆有可能。

如果Meta的元宇宙雄心能夠?qū)崿F(xiàn)，那么它就有可能與虛擬物體互動，并從一塊硬件上獲得某種物理響應(yīng)。古普塔說：“當(dāng)你戴著Meta頭盔時，你也希望能提供一些觸覺，這樣用戶就能感受到更豐富的體驗。除非你知道人的觸覺是什么，或者材料的特性是什么等等，否則你怎么能提供準(zhǔn)確的觸覺反饋呢？”

觸覺研究歷史

觸覺感知是機(jī)器人學(xué)中的一個新興領(lǐng)域，旨在理解和復(fù)制物理世界中人類水平的觸摸。其目標(biāo)是通過使機(jī)器人能夠在從家里到工廠車間的環(huán)境中自主學(xué)習(xí)和使用觸摸，從而使機(jī)器人變得更高效、更安全、更溫和。

Meta在過去的幾年里一直在開發(fā)觸覺傳感器，主要專注于機(jī)器人抓取的任務(wù)。2020年，該公司的研究人員詳細(xì)介紹了Digit，這是一種高分辨率、低成本、緊湊的觸覺傳感器，設(shè)計成可以安裝在多指機(jī)器人手上。

Digit的塑料機(jī)身帶有外殼，既有利于3D打印，也有利于注塑成型。三個RGB LED在彈性體凝膠表面提供照明，該表面是采用硅丙制造工藝定制設(shè)計的，表面上平衡了堅固性和敏感度。攝像頭和凝膠通過“壓配合”連接安裝在機(jī)身上，這樣任何部件都可以換出，外殼可以更換，以適應(yīng)不同的鏡頭焦距。

在實驗中，研究小組利用Digit使機(jī)器人手能夠握住并操縱拇指和中指之間的玻璃彈珠。在50次試驗過程中，這只手掉下彈珠的幾率約為25%。然而，研究人員將其歸因于數(shù)據(jù)不準(zhǔn)確和噪音所致，而不是數(shù)字設(shè)計上的缺陷。

去年6月，Digit的塑料外殼、凝膠和電子產(chǎn)品的制造文件以及用于編程的固件二進(jìn)制文件在GitHub上開源。Meta如今宣布，它將與麻省理工學(xué)院的子公司GelSight合作，開始商業(yè)化生產(chǎn)Digit。

古普塔和博士后研究員苔絲·赫勒布雷克斯(Tess Hellebrekers)表示，Reskin背后的目標(biāo)是提供一個聯(lián)系數(shù)據(jù)來源，有助于在一系列基于觸摸的任務(wù)(如物體分類)中推動AI的發(fā)展。通過使用Reskin開發(fā)的具有觸覺感知技能的AI模型可能會在醫(yī)療保健環(huán)境中工作，或者抓住柔軟的物體。由于Reskin可以與其他傳感器集成，以收集視覺、聲音和觸覺數(shù)據(jù)，并創(chuàng)建多模式數(shù)據(jù)集，因此Reskin還可以幫助構(gòu)建比以前更逼真的世界模型。

古普塔和赫勒布雷克斯表示：“觸覺幫助我們駕馭周圍的世界。有了它，我們可以收集物體的信息，比如它們是輕是重，是軟是硬，是穩(wěn)定還是不穩(wěn)定，我們用這些信息來完成從穿鞋到做飯的日常任務(wù)。今天的AI有效地融合了視覺和聲音等感官，但觸摸仍然是個持續(xù)的挑戰(zhàn)。這在一定程度上是由于對外部觸覺傳感數(shù)據(jù)的訪問有限。因此，希望將觸覺融入他們模型的AI研究人員很難像人類那樣利用觸覺感知的豐富性和冗余性?！?/p>

Reskin是一種嵌入磁性顆粒的可變形彈性體，價格甚至更低，100個單位的生產(chǎn)成本不到6美元。它的厚度只有2毫米到3毫米，可以進(jìn)行5萬多次互動，這使得Reskin非常適合機(jī)器人手、觸覺手套、手臂袖子甚至狗鞋等各種工具。Reskin還可以為快速操作任務(wù)提供高頻三軸觸覺信號，如滑行、投擲、接球和拍手。當(dāng)它磨損時，可以很容易地被剝掉更換。

克服重重挑戰(zhàn)

值得注意的是，無論是Digit還是Reskin都不是同類產(chǎn)品中的首個觸敏傳感器。其他公司，包括OmniTact和GelFlex，后者是麻省理工學(xué)院計算機(jī)科學(xué)和AI實驗室的機(jī)器人抓手，擁有微妙的、類似人類的感官，由LED和兩個攝像頭組成。新加坡國立大學(xué)也使用英特爾的原型芯片開發(fā)了觸摸感應(yīng)機(jī)器人“皮膚”。

但從歷史上看，被稱為“軟皮膚”的傳感材料很難大規(guī)模生產(chǎn)，因為它們在使用過程中會發(fā)生變化。每個傳感器都必須經(jīng)過校準(zhǔn)程序來確定其各自的響應(yīng)。更大的挑戰(zhàn)在于，材料會隨著時間的推移而變化，而且會有所不同，這取決于它們的使用方式。這意味著，校準(zhǔn)本身也必須適應(yīng)這些變化。

Reskin消除了軟材料和測量電子設(shè)備之間的電氣連接，從而克服了這些障礙。傳感器的磁信號依賴于位置鄰近，畢竟電子設(shè)備只需要在附近，而不是連接在一起。除此之外，Reskin利用對來自多個來源的數(shù)據(jù)進(jìn)行訓(xùn)練的映射函數(shù)，使其比傳統(tǒng)的映射函數(shù)更具概括性和“健壯性”。傳感器使用無監(jiān)督模型，使用少量未標(biāo)記的數(shù)據(jù)自動、連續(xù)地進(jìn)行微調(diào)。

在無監(jiān)督學(xué)習(xí)的情況下，算法將受到“未知”數(shù)據(jù)的影響，這些數(shù)據(jù)不存在先前定義的類別或標(biāo)簽。這與監(jiān)督學(xué)習(xí)相反，這種情況下，算法在為特定輸出注釋的輸入數(shù)據(jù)上進(jìn)行訓(xùn)練，直到它們能夠檢測到潛在的關(guān)系。像那些運(yùn)行在Reskin上的無監(jiān)督機(jī)器學(xué)習(xí)系統(tǒng)必須自學(xué)對未標(biāo)記的數(shù)據(jù)進(jìn)行分類，處理數(shù)據(jù)不是從注釋中學(xué)習(xí)，而是從數(shù)據(jù)的內(nèi)在結(jié)構(gòu)中學(xué)習(xí)。

古普塔和赫勒布雷克斯解釋稱：“我們可以使用未標(biāo)記數(shù)據(jù)的相對位置來幫助微調(diào)傳感器的校準(zhǔn)，而不是提供地面真實作用力標(biāo)簽。例如，我們知道在三個接觸點中，身體距離較近的兩個接觸點會有更相似的觸覺信號?！笨偠灾琑eskin開辟了一系列多功能、可擴(kuò)展和廉價的觸覺感覺模塊，這是現(xiàn)有系統(tǒng)所不可能實現(xiàn)的。現(xiàn)有的基于攝像頭的觸覺傳感器需要表面和攝像頭之間的最小距離，導(dǎo)致設(shè)計更加笨重。相比之下，Reskin可以作為覆蓋在人類和機(jī)器人手和手臂上的皮膚材料使用。

實際應(yīng)用

為了證明Reskin的實用性，F(xiàn)acebook的研究人員進(jìn)行了幾項實驗，表明它可以應(yīng)用于手部操作、接觸定位和其他測力任務(wù)。例如，Meta的研究人員通過將Reskin和電路板放在狗鞋的鞋底內(nèi)，使用Reskin來跟蹤狗在休息、散步和跑步過程中施加的力的大小和方向。

古普塔和赫勒布雷克斯稱：“我們對可推廣的觸覺感知的研究促使Reskin成為現(xiàn)實，這種皮膚成本低，結(jié)構(gòu)緊湊，耐用。皮膚很容易更換，就像剝皮和換上新繃帶一樣，它可以立即使用，我們的學(xué)習(xí)模型在使用新皮膚時表現(xiàn)得很好。這是一個強(qiáng)大的工具，可以幫助研究人員構(gòu)建AI模型，為多樣化的應(yīng)用提供動力?！?/p>

為了支持Digit和Reskin這樣的硬件，Meta今年夏天開源了Tacto和PyTouch，這是一個用于PyTorch機(jī)器學(xué)習(xí)框架的庫。Tacto是基于視覺的觸覺傳感器的模擬器，而PyTouch是用于觸摸傳感的機(jī)器學(xué)習(xí)模型和功能的集合。

Tacto可以每秒數(shù)百幀的速度呈現(xiàn)觸摸讀數(shù)，并且可以配置成模擬不同的傳感器，包括Meta自己的數(shù)字。模擬器在機(jī)器人原型制作、調(diào)試和基準(zhǔn)測試中扮演著重要的角色，因為它們允許在不需要執(zhí)行昂貴實驗的情況下進(jìn)行測試。古普塔和赫勒布雷克斯說：“除了能夠在模擬中更快地運(yùn)行實驗的好處之外，在觸覺傳感中，獲得合適的硬件以及減少硬件表面的磨損使得模擬在觸摸傳感中變得更加重要?！?/p>

至于PyTouch，它為傳感器提供了基本功能，如檢測觸摸和滑動，以及估計物體姿勢。該計劃是將其與真實世界的傳感器和Tacto相結(jié)合，以實現(xiàn)模型的驗證以及“Sim2Real”功能，后者將模擬訓(xùn)練的概念轉(zhuǎn)化為現(xiàn)實世界應(yīng)用的能力。Meta還設(shè)想，PyTouch可以讓機(jī)器人社區(qū)使用專門用于觸摸感知的模型“作為服務(wù)”，研究人員可以連接傳感器，下載預(yù)先訓(xùn)練好的模型，并將其用作應(yīng)用程序的構(gòu)建塊。

古普塔和赫勒布雷克斯稱：“我們目前正在研究Sim2Real Transfer，用于在模擬中訓(xùn)練PyTouch模型，并將其部署在真實傳感器上，以此作為快速收集數(shù)據(jù)集和訓(xùn)練模型的一種方式。在模擬中，收集包含大量數(shù)據(jù)的大規(guī)模數(shù)據(jù)集可以在幾分鐘內(nèi)完成，而用真正的傳感器收集數(shù)據(jù)需要時間和人力來物理探測物體。最后，我們計劃探索Real2Sim方法，從真實數(shù)據(jù)中更好地調(diào)整模擬器。”

在觸覺感知方面有一長串障礙需要克服，包括硬件限制，缺乏對哪些觸摸功能用于特定任務(wù)的理解，以及缺乏廣泛接受的基準(zhǔn)測試。但Meta斷言，觸覺方面的改進(jìn)，無論多么緩慢，都可以幫助推進(jìn)AI發(fā)展，并使研究人員能夠制造具有增強(qiáng)功能的機(jī)器人。

作為邁向這一目標(biāo)的一小步，該公司已經(jīng)發(fā)布了Reskin的設(shè)計、文檔、代碼和基礎(chǔ)模型，以幫助研究人員使用傳感器，而不必收集或訓(xùn)練自己的數(shù)據(jù)集?？ㄌm德拉和蘭貝塔說：“它還可以釋放AR/VR的可能性，并帶動工業(yè)、醫(yī)療和農(nóng)業(yè)機(jī)器人領(lǐng)域的創(chuàng)新。我們正在努力實現(xiàn)這樣的未來：每個機(jī)器人都可能配備觸摸感應(yīng)功能。”

本文來自“騰訊科技”，審校：金鹿，36氪經(jīng)授權(quán)發(fā)布。

關(guān)鍵詞： 雄心 新材料 傳感器