首頁(yè)>資訊 >
世界快資訊:擊碎次元壁:Google 發(fā)布 3D 全息通話黑科技,視頻通話要被顛覆了 2022-10-18 19:47:40  來(lái)源:36氪

如果你的異地戀對(duì)象過(guò)生日,你會(huì)怎么給他/她慶祝?

發(fā)一段微信消息?單純的文字好像略顯冰冷。

打一通電話?真切的情感似乎釋放得不夠徹底。


(資料圖)

撥一個(gè)視頻電話?總有點(diǎn)看得見(jiàn)碰不著的缺失感。

這個(gè)時(shí)候,我們總會(huì)想:如果能夠第一時(shí)間出現(xiàn)在對(duì)方的身旁,那就最好了。

然而,多啦 A 夢(mèng)的任意門(mén)對(duì)于 21 世紀(jì)的人類(lèi)科技來(lái)說(shuō)還是過(guò)于超前,但先別急著氣餒,至少現(xiàn)在我們已經(jīng)可以傳送一個(gè)虛擬的自己到對(duì)方的面前。

什么?你以為我又要講玄之又玄的元宇宙了?

我所說(shuō)的可不是一個(gè)沒(méi)有腳的漫畫(huà)卡通化身,而是與你長(zhǎng)得幾乎一模一樣,并且全息立體的「你」。

與「真人」對(duì)話

在去年的 5 月 Google I/O 大會(huì)上,Google 的 CEO Sundar Pichai 發(fā)布了可以不需要依靠頭戴設(shè)備就能實(shí)現(xiàn) 3D 全息視頻通話項(xiàng)目—— Project Starline。

Project Starline 是 Google 內(nèi)部高度保密的實(shí)驗(yàn)項(xiàng)目之一,根據(jù) Google 的研究員透露,項(xiàng)目小組在 6 年前就已經(jīng)開(kāi)始做相關(guān)的技術(shù)研究,一直到 2021 年才向公眾發(fā)布,而在此之后又沉寂了幾乎一整年。

就在人們以為這是 Google 又一「畫(huà)大餅」項(xiàng)目時(shí),Project Starline 在最近邀請(qǐng)了包括 The Verge 在內(nèi)的媒體和合作伙伴前往實(shí)驗(yàn)室親身體驗(yàn)。

The Verge 編輯 Jay Peters 在體驗(yàn)后感嘆稱,這是他迄今體驗(yàn)過(guò)最真實(shí)的一次虛擬現(xiàn)實(shí)交互,「感覺(jué)就像是科幻小說(shuō)照進(jìn)了現(xiàn)實(shí)」。

人類(lèi)通訊手段一直緊跟信息技術(shù)的發(fā)展在不斷升級(jí)。從古早的電報(bào)文到電話、再到視頻通話,人類(lèi)傳遞信息的維度不斷升級(jí),信息傳遞的及時(shí)性和內(nèi)容也在不斷提高。

如果以這兩個(gè)維度作為發(fā)展的坐標(biāo)軸的話,我們不難想象,通訊技術(shù)的下一個(gè)階段將會(huì)涵蓋聲音、影像、空間位置等更豐富的內(nèi)容,并能以幾乎無(wú)延遲的方式瞬時(shí)傳輸。

在很多科幻電影中,科幻創(chuàng)作者認(rèn)為全息立體影像通話便是符合這一定義的下一代通信手段。

也就是說(shuō),繼人類(lèi)成功地把熟悉的人臉帶到身邊之后,下一步就是把「本人」帶來(lái)現(xiàn)場(chǎng)。

于是乎,Project Starline 項(xiàng)目應(yīng)運(yùn)而生。

Project Starline 的產(chǎn)品管理總監(jiān) Andrew Nartker 在接受媒體采訪時(shí)提到,他們?cè)谕ㄐ偶夹g(shù)方面取得的突破,能讓用戶與世界各地的人們變得更加親密,彼此之間的聯(lián)系也更加緊密。

從 Project Starline 的裝置外表來(lái)看,它似乎和「3D」「全息影像」等高科技詞匯不太沾邊——要知道在科幻電影里,主角們都是通過(guò)一個(gè)充滿未來(lái)感的金屬圓形底座進(jìn)行全息立體投影通話,與之相比,Project Starline 更像是一個(gè)精致一點(diǎn)的梳妝臺(tái)。

當(dāng) Project Starline 的大屏亮起時(shí),遲到的科技感才慢慢地鋪陳開(kāi)來(lái)。

Jay Peters 稱,Project Starline 就像是一塊具有魔法的窗戶,將兩間房間連在了一起,坐在他對(duì)面的谷歌研究員看起來(lái)和真人的高度、長(zhǎng)相幾乎一致,當(dāng)他遞過(guò)來(lái)一個(gè)蘋(píng)果時(shí),他甚至能通過(guò)畫(huà)面上的陰影感受到近似真實(shí)世界的空間距離感。

這像是一場(chǎng)發(fā)生在同一張桌子上的面對(duì)面交流,其擬真程度幾乎讓人忘了兩間測(cè)試房實(shí)際上相隔甚遠(yuǎn)。

之所以用「擬真」來(lái)形容這場(chǎng)別開(kāi)生面的會(huì)談(你平時(shí)一定不會(huì)聽(tīng)到有人說(shuō)視頻通話里的人長(zhǎng)得好逼真),是因?yàn)楫?huà)面終端顯示的畫(huà)面其實(shí)并非是單純的影像畫(huà)面,而是根據(jù)圖像、深度等信息重新渲染的「虛擬人」,而這是營(yíng)造超現(xiàn)實(shí)臨場(chǎng)感的關(guān)鍵。

3D 的秘密

將真人虛擬化為什么反而會(huì)更加真實(shí)?要理解這個(gè)問(wèn)題先要從 Project Starline 的工作原理下手。

坐在這張精致「梳妝臺(tái)」面前,最矚目的莫過(guò)于這塊 65 寸的大屏幕,這可不是普通的家用電視,而是一塊 8K/60Hz 的 3D 光場(chǎng)顯示器,Google 的研究員稱其單眼可觀測(cè)的像素密度是 Oculus Quest 等 VR 設(shè)備的兩倍,可以有更精細(xì)的立體顯示效果。

要讓這塊光場(chǎng)顯示器顯示出立體效果,就需要采集物體的深度信息。研究員在屏幕的上方和底部都安置了多個(gè)雙目立體相機(jī)和紅外相機(jī),這樣就能結(jié)合多角度的深度信息還原出人物的空間距離感。

在屏幕的兩側(cè)和上方還安裝了多個(gè)單色跟蹤攝像頭,用于對(duì)人物臉部五官的實(shí)時(shí) 3D 定位,這樣當(dāng)人物在移動(dòng)時(shí)也能精準(zhǔn)地還原人物模型。

真人照片

渲染效果

當(dāng)這些采集到的位置和畫(huà)面信息傳輸?shù)搅私邮斩?,系統(tǒng)會(huì)根據(jù)觀眾左右眼的位置渲染出三個(gè)深度流,與紋路流混合渲染出逼真的「虛擬人」。

這時(shí)候,當(dāng)觀眾的眼睛位置改變,圖像的位置也會(huì)跟隨眼球移動(dòng)做細(xì)微的位置偏轉(zhuǎn),這是傳統(tǒng) 2D 影像所不能提供的空間真實(shí)感。

Project Starline 除了要在視覺(jué)上打破「次元壁」外,在聽(tīng)覺(jué)上也下了不少功夫。

在輸入端,麥克風(fēng)可以配合臉部追蹤的數(shù)據(jù)形成具有指向性的動(dòng)態(tài)波束,以實(shí)現(xiàn)降噪和抗干擾。在輸出端,追蹤系統(tǒng)則能定位觀眾的耳朵,模擬出對(duì)話的空間方位感,讓聲音聽(tīng)起來(lái)就像是屏幕中的嘴巴說(shuō)出來(lái)一樣。

試想一下,當(dāng)你要與同事、合作伙伴舉行重要的視頻會(huì)議時(shí),與會(huì)者不再需要全神貫注地盯著狹小的屏幕,眼神不用再迷離在攝像頭之外,而是可以與你做自然的眼神接觸,甚至能用一些肢體語(yǔ)言輔助表達(dá),這樣的參會(huì)體驗(yàn)將會(huì)是一種質(zhì)的飛躍。

不過(guò)現(xiàn)階段 Project Starline 距離實(shí)際應(yīng)用仍然有很長(zhǎng)一段路要走。

Wired 的編輯 Lauren Goode 在體驗(yàn)過(guò) Project Starline 后表示,雖然全息視頻的視覺(jué)效果在大多數(shù)時(shí)間都很棒,但當(dāng)人物移動(dòng)幅度過(guò)大時(shí),原本立體的圖像就會(huì)短暫變回平面,體驗(yàn)不甚完美。

Google 的研究員也提到,在處理形狀復(fù)雜(例如蓬松的毛發(fā)、光學(xué)眼鏡)或者運(yùn)動(dòng)物體時(shí),時(shí)常會(huì)有錯(cuò)誤的「?jìng)斡啊钩霈F(xiàn),其團(tuán)隊(duì)目前正致力于提高影像處理的準(zhǔn)確性。

除了技術(shù)上的障礙,布設(shè)一整套 Project Starline 的成本也相當(dāng)高昂,昂貴的光場(chǎng)顯示器和各種光學(xué)攝像頭注定了 Project Starline 在目前只能是實(shí)驗(yàn)室產(chǎn)品,要想打入消費(fèi)者市場(chǎng)幾乎不太可能。

Andrew Nartkerct 在接受 The Verge 采訪時(shí)坦誠(chéng)說(shuō)道,Project Starline 是一項(xiàng)振奮人心的全新技術(shù),是空間交互領(lǐng)域的一次突破性的探索,但目前它仍很難稱得上是一件「產(chǎn)品」。

海內(nèi)存知己,天涯若比鄰

那么,Project Starline 花這么大力氣到底是要解決些什么呢?項(xiàng)目組給出的答案也很簡(jiǎn)單:讓你感覺(jué)到你和一個(gè)真正的人在一起。

在過(guò)去的一年里,以 Zoom 為代表的遠(yuǎn)程會(huì)議軟件在企業(yè)、學(xué)校得到了廣泛的使用,人們因?yàn)楦鞣N原因分隔開(kāi),不得不通過(guò)這些視頻軟件協(xié)同工作,甚至組織一次難得見(jiàn)面,人與人之間的聯(lián)系也因此被沖淡。

微軟在一份關(guān)于視頻會(huì)議對(duì)工作效率的影響的報(bào)告中提到,人們?cè)谝曨l會(huì)議中會(huì)比現(xiàn)實(shí)溝通更容易分心,這是人們?cè)诿鎸?duì)高壓力的視頻會(huì)議下的自然應(yīng)對(duì)反應(yīng)。

而能提供真人對(duì)話體驗(yàn)的 Project Starline,似乎能消除這種妨礙溝通的壓力感。

雖然 Project Starline 布滿各式各樣的攝像器材,但當(dāng)其工作起來(lái)后,這些冷冰冰的技術(shù)都會(huì)被參會(huì)者拋到腦后,因?yàn)檫@時(shí)候在他面前與之溝通坐著的是一個(gè)近乎真實(shí)的「人」。

Google 的研究員經(jīng)過(guò)對(duì)比實(shí)驗(yàn)后發(fā)現(xiàn),相比于傳統(tǒng)視頻溝通,使用 Project Starline 溝通的參會(huì)者會(huì)有更多的眼神接觸和肢體語(yǔ)言,在溝通結(jié)束后能夠回憶的內(nèi)容也要多出 28%。這也許就是自然溝通的魅力。

目前 Project Starline 僅在 Google 內(nèi)部給員工們做小范圍的實(shí)驗(yàn),Google 稱從今年開(kāi)始會(huì)陸續(xù)地向包括 Salesforce,WeWork,T-Mobile 在內(nèi)的合作伙伴開(kāi)放測(cè)試,推動(dòng)人與人建立更深的聯(lián)系。

Project Starline 未來(lái)會(huì)得到普及,成為 3D 時(shí)代的電話亭嗎?

對(duì)于這樣一個(gè)技術(shù)超前的項(xiàng)目來(lái)說(shuō),這個(gè)問(wèn)題在目前很難給出一個(gè)定論,Project Starline 可能會(huì)成功成為一個(gè)真正的產(chǎn)品,也被過(guò)高的成本拖垮導(dǎo)致胎死腹中,甚至可能成為 Google 未來(lái) AR、VR 技術(shù)的一部分。

但無(wú)論怎樣,這種呼應(yīng)人們真實(shí)需求的未來(lái)科技,值得科技圈投入更多的關(guān)注。

畢竟,在人們習(xí)慣分離的當(dāng)下,沒(méi)什么比親眼見(jiàn)上一面更加珍貴。

關(guān)鍵詞: 視頻會(huì)議 視頻通話 合作伙伴

相關(guān)閱讀:
熱點(diǎn)
圖片 圖片