?????????????????????【導(dǎo)讀】元宇宙這條路，又多了一個(gè)實(shí)力干將！近日，Unity斥資16.25億美元收購了《阿凡達(dá)》、《復(fù)聯(lián)4》背后的視覺特效公司W(wǎng)eta Digital。

還記得復(fù)仇者聯(lián)盟4最終大戰(zhàn)那個(gè)恢弘的場面嗎？

?又或是在阿凡達(dá)星球上的奇遇?

這些精彩的畫面，總是讓人非常好奇：如此嘆為觀止的震撼的視覺特效，究竟是出自誰之手呢？

答案揭曉！

這些經(jīng)典電影背后強(qiáng)大的渲染技術(shù)正是來自曾6次獲得奧斯卡最佳視覺效果獎(jiǎng)，由著名導(dǎo)演Peter Jackson創(chuàng)建的Weta Digital（維塔數(shù)字）。

?

而就在11月9日，這家工作室被全球交互式實(shí)時(shí)3D（Real Time 3D，RT3D）內(nèi)容創(chuàng)作和運(yùn)營平臺(tái)Unity出資16.25億美元收購。

根據(jù)公告的說法，本次收購是為了將 Weta Digital 的獨(dú)家視覺特效（VFX）工具集成到Unity平臺(tái)，為實(shí)現(xiàn)新一代3D創(chuàng)意內(nèi)容和塑造「元宇宙」的未來提供幫助。

那么就是說，未來Unity要在「元宇宙」這條路上大步流星。

二次元！會(huì)生氣賣萌的「真人老婆」

要建立元宇宙，打造數(shù)字人類化身是最重要的核心難點(diǎn)之一。

但是，或許你無法想象，數(shù)字化身的逼真度目前已經(jīng)可以無限逼近人類。

下面這位真人小姐姐便是由 Unity 用時(shí)2個(gè)月打造。

她會(huì)嘟嘴賣萌，也會(huì)緊皺眉頭生氣，如果有了她你還需要再捏造二次元老婆么。

?前段時(shí)間，Unity技術(shù)開放日上揭秘了數(shù)字人的部分制作流程，主要分為兩個(gè)主題，一個(gè)是渲染，一個(gè)是流程。

上面這個(gè)虛擬小姐姐的制作用到的就是人臉掃描+FACS表情編碼技術(shù)來進(jìn)行實(shí)時(shí)高清渲染。

虛擬人頭發(fā)渲染是通過機(jī)器掃描一位真人，之后再用Unity最近發(fā)布了全新的頭發(fā)系統(tǒng)進(jìn)行渲染。

在設(shè)置中可以將不同的配置進(jìn)行分組，每個(gè)配置文件都可以調(diào)細(xì)節(jié)。

Unity團(tuán)隊(duì)介紹道，「關(guān)于數(shù)字人臉部動(dòng)畫的制作，我們是用手機(jī)蘋果 ARKit 方法進(jìn)行面部表情捕捉的?！?/p>

關(guān)于面部表情捕捉，這其實(shí)是另外一項(xiàng)技術(shù)，需要搭配蘋果手機(jī)并使用 Face Cap 軟件，面部表情捕捉可以提供更高精度和細(xì)節(jié)的面部表情。

通過使用 FBX 文件導(dǎo)件，可以用左邊的白模把動(dòng)作移動(dòng)到角色上。

?還有，數(shù)字人眼瞼的幾何形狀這一部分的制作并非易事。

由于在捕獲真人數(shù)據(jù)的過程中睫毛部分遮擋了眼瞼，數(shù)據(jù)難免存在噪音。

?結(jié)果就會(huì)導(dǎo)致眼瞼的幾何形狀不準(zhǔn)確，這意味著必須找到一種方法來重建這些區(qū)域的幾何形狀。

Unity 可以將這些數(shù)據(jù)輸入系統(tǒng)，并使用差分網(wǎng)格處理技術(shù)（Differential Mesh Processing tech）進(jìn)行了特定區(qū)域的降噪和重建。

?

那么，Unity 如何通過技術(shù)來撫平皺紋？

面部圖像中的特征在輸入序列中就存在遺漏的表面細(xì)節(jié)，比如皺紋和毛孔的拉伸。

為了處理這些細(xì)致的表面細(xì)節(jié)，Unity 將導(dǎo)入序列的幾何圖形與來自 Snappers Systems 的混合形狀基于面部的特征映射結(jié)合起來。

前后額部皺紋貼合

眼鏡著色部分是 Unity 通過眼睛著色器有效地將眼睛模擬為兩層，其中第一層用于描述角膜和表面的液體，第二層用于描述鞏膜和虹膜，通過第一層可見。

照明在兩層之間被分開，鏡面照明是專門為頂層評估的，而漫射照明只是為底層評估的。

?包括淚線這么一個(gè)微小細(xì)節(jié)也不能放過。

就那下面兩個(gè)對比圖來說，左邊沒有淚線，右邊添加了淚線，并且進(jìn)行了陰影處理，哪個(gè)更真實(shí)也就不言而喻。

添加淚線前后對結(jié)果

Unity介紹自己的數(shù)字人生產(chǎn)全量流程包括了：4D真人掃描，高精度面部建模等等。

可能以后甚至不需要真人演員，用數(shù)字人就可以拍出一線大片，也不用考慮會(huì)有緋聞、合同等各種問題。

對于Unity來說，其自身還有一套HDRP高清渲染管線，這是專為高端硬件上的高畫質(zhì)渲染量身定制的工具，可以充分挖掘PC和主機(jī)的全部視覺保真度。

可以看到，用Unity HDRP可以打造出影視大片級的畫面。

Unity的渲染能力已經(jīng)可以傲視群雄了。

而這次收購更是強(qiáng)強(qiáng)聯(lián)合，Unity將Weta Digital的技術(shù)整合到自己的平臺(tái)后，或許未來我們會(huì)在更多的游戲和元宇宙場景中看到這兩家公司帶來的呈現(xiàn)效果。

那么，Weta Digital 能夠?yàn)閁nity帶來什么樣的技術(shù)呢？

Unity+Weta Digital，如虎添翼

Weta Digital成立于1993年，成立多年來一直是視覺特效（VFX）設(shè)計(jì)領(lǐng)域的前沿創(chuàng)新者之一。

截至2017年，Weta Digital 已經(jīng)獲得了6項(xiàng)奧斯卡最佳視覺效果獎(jiǎng)，其中就包括《指環(huán)王：指環(huán)王：護(hù)戒使者》(2001)、《指環(huán)王：雙塔》(2002)、《指環(huán)王：王者歸來》(2003)、《金剛》(2005)、《阿凡達(dá)》(2009) 和《叢林王子》(2016)。

「Weta Digital的技術(shù)代表了有史以來最完整的三維創(chuàng)建、模擬和渲染工具鏈。Peter Jackson和Weta Digital整個(gè)團(tuán)隊(duì)的才華對Unity公司的所有人來說都是難以置信的鼓舞?！?/p>

Weta Digital 15年的深度研發(fā)，帶來了數(shù)十種行業(yè)領(lǐng)先的工具，如Manuka、Gazebo、Barbershop、Lumberjack、Loki、Squid、Koru等，這些工具都無縫集成到了Weta Digital的生產(chǎn)流水線中。

這些工具是獲獎(jiǎng)電視和電影的基礎(chǔ)，如《阿凡達(dá)》、《黑寡婦》、《權(quán)力的游戲》、《指環(huán)王》、《猩球崛起》、《神奇女俠》、《X特遣隊(duì)》等等。

Weta Digital的視覺特效（VFX）工具在動(dòng)作捕捉、表演捕捉和CGI技術(shù)上頗有建樹。

?為了完美捕捉演員面部細(xì)節(jié)，技術(shù)人員會(huì)先使用Koru，一個(gè)先進(jìn)的木偶操縱系統(tǒng)，可以捕捉多角色的表演并且支持高性能動(dòng)畫、布料模擬和類似應(yīng)用。

在創(chuàng)建好木偶后，需要用演員的牙齒和牙齦的模具建立面部肌肉系統(tǒng)，完成面部表情人偶（數(shù)字替身），用來建立表情庫。

這時(shí)就用到了Facial Tech。Facial Tech提供了高級面部捕捉和操作工作流，并且使用機(jī)器學(xué)習(xí)來支持面部肌肉的直接操作，可以將演員面部捕捉轉(zhuǎn)移到目標(biāo)人偶模型上。

?然后，還要再建立一個(gè)合適的臉部表面，包括肌肉上面的脂肪組織、表面的皮膚層等等。

Tissue工具可以讓藝術(shù)家和動(dòng)畫師能夠創(chuàng)建生物學(xué)上精確的解剖角色模型，精確地表示肌肉和皮膚的行為，并將生成的角色轉(zhuǎn)移到模擬工具中。

?

?精細(xì)的頭發(fā)渲染也是一大難題。

Weta Digital的視覺特效（VFX）工具中有一套頭發(fā)和毛皮工具：Barbershop，支持從生長到梳理的整個(gè)工作流程。

藝術(shù)家可以使用程序工具和藝術(shù)家指導(dǎo)工具的組合來生長頭發(fā)和毛發(fā)，調(diào)整生長模式，并修飾最終模型，高級的程序工具甚至還支持編發(fā)之類的概念。而且生成的模型是實(shí)時(shí)模擬的，可以提供由運(yùn)動(dòng)和風(fēng)產(chǎn)生的真實(shí)動(dòng)態(tài)。

最終，通過這樣一步一步的建模，就可以塑造一個(gè)有血有肉的人物形象。

值得一提的是，將面部捕捉投影到動(dòng)作捕捉木偶上這一過程是可以實(shí)時(shí)觀看的，計(jì)算機(jī)生成的內(nèi)容和現(xiàn)場攝像機(jī)輸入也支持現(xiàn)場混合進(jìn)行現(xiàn)場觀看。

?除了這些工具外，Unity此次收購Weta Digital，還將從Weta Digital那里拿到成千上萬的素材庫庫，其中包括城市和自然環(huán)境、動(dòng)植物、人類、人造物體、材料、紋理等。

WetaFX團(tuán)隊(duì)將繼續(xù)進(jìn)行電影和電視的視覺特效制作，并在未來幾年繼續(xù)為這個(gè)資源庫提供素材。

?而Unity的目標(biāo)是將這些工具變成云支持的，并確保它們能夠輕松地集成在目前的工作流和Unity引擎中。這樣就可以將世界級的視覺特效工具交到全球數(shù)百萬創(chuàng)作者和藝術(shù)家的手中，讓下一代實(shí)時(shí)3D（Real Time 3D，RT3D）發(fā)揮創(chuàng)造力，從而塑造元宇宙的未來。

?「Weta Digital的工具為我們創(chuàng)造了無限的可能性，讓原本生活在我們想象中的世界和生物栩栩如生，」仍然擔(dān)任Weta Digital董事長的彼得·杰克遜說。

「Unity和Weta Digital可以共同為任何行業(yè)的任何藝術(shù)家創(chuàng)造一條道路，讓他們能夠利用這些極具創(chuàng)造力的工具，這無異于改變游戲規(guī)則，Unity正是將這一愿景變?yōu)楝F(xiàn)實(shí)的公司。」

參考資料：

https://blog.unity.com/technology/making-of-the-heretic-digital-human-tech-package

http://www.gamelook.com.cn/2021/09/455604

https://blog.unity.com/news/welcome-weta-digital

http://www.0478114.com/u19806/cc8c906235844b6990f863b492f3a542.html

https：//www.shacknews.com/article/127602/unity-u-to-acquire-weta-digital-for-1625-billion-in-cash-and-stock

本文來自微信公眾號“新智元”（ID:AI_era），作者：新智元，36氪經(jīng)授權(quán)發(fā)布。

關(guān)鍵詞： 幕后 特效 宇宙