最近，韓國最大的漫畫平臺網(wǎng)站Naver webtoon（?????）推出了一個(gè)新工具WebtoonMe，可以將自拍照或者視頻轉(zhuǎn)換為韓式網(wǎng)絡(luò)漫畫的風(fēng)格。

此處先上一波效果：

項(xiàng)目一經(jīng)推出，就在Reddit上引發(fā)了熱議，不到一天時(shí)間就收獲了超1700個(gè)支持。

一方面是韓國美少女自帶流量，另一方面則是將照片轉(zhuǎn)換為漫畫后，畫面還有很大的提升空間。

首先，漫畫人物的眼球不會動，也不會眨眼，瞇眼等動作，就顯得不是特別「真實(shí)」。

還有的網(wǎng)友指出，「恐怖谷理論」的假設(shè)場景在這里特別明顯。

恐怖谷理論（Uncanny Valley）于1970年由日本機(jī)器人專家森政弘提出，簡單來說就是，由于機(jī)器人和人類在外表、動作上都會十分相似，所以人類對機(jī)器人天然的就是正面情感；但是當(dāng)機(jī)器人真實(shí)到一定地步的時(shí)候，哪怕有一點(diǎn)點(diǎn)與人類不同的地方，都會顯得十分刺眼，讓機(jī)器人顯得僵硬恐怖，使人有面對僵尸的感覺。

而生成的網(wǎng)絡(luò)漫畫人物有著呆板的眼睛，「心靈的窗戶」被關(guān)上了，自然顯得十分詭異。

不會開發(fā)AI的漫畫家不是好煉丹師

2018年，36歲的人氣網(wǎng)絡(luò)漫畫作家河一權(quán)就利用AI技術(shù)在Naver Webtoon上發(fā)表新概念漫畫 《邂逅》（Met），發(fā)布第二天的累計(jì)瀏覽量就突破了4000萬。

通過將讀者的形象融入網(wǎng)絡(luò)漫畫中，讀者可以和漫畫中的人物在學(xué)校環(huán)境中進(jìn)行眼神交流、直接交談和發(fā)展情緒的故事，因?yàn)樽x者通過與作品進(jìn)行互動來推進(jìn)劇情，所以這類漫畫也稱為互動網(wǎng)絡(luò)漫畫（interactive Webtoon）。

Met也是業(yè)界首部互動網(wǎng)絡(luò)漫畫。

這類漫畫特別受歡迎，許多人非常喜歡這種沉浸式故事參與感，而非簡單地閱讀作者給出的故事。

受到Met的啟發(fā)，這次推出的WebtoonMe項(xiàng)目則將轉(zhuǎn)換技術(shù)更進(jìn)一步，在保留人物照片特點(diǎn)的同時(shí)生成網(wǎng)絡(luò)漫畫風(fēng)格圖片。

當(dāng)你想到「將照片變成漫畫的技術(shù)」時(shí)，最好奇的是什么？三次元的人臉是如何變成二次元的？

在好奇心的驅(qū)使下，團(tuán)隊(duì)經(jīng)過無數(shù)次的試驗(yàn)，基于深度學(xué)習(xí)的人臉轉(zhuǎn)換技術(shù)終于開始有了一下眉目。

然而，想要把背景也換成「二次元」風(fēng)格時(shí)，卻遇到了一個(gè)意想不到的問題，直接使用之前的技術(shù)會導(dǎo)致生成的結(jié)果非常地不自然。

在分析數(shù)據(jù)時(shí)，團(tuán)隊(duì)得出一個(gè)結(jié)論：漫畫數(shù)據(jù)集中的物體具有獨(dú)特的「風(fēng)格」屬性，這與通常用于深度學(xué)習(xí)研究的自然照片數(shù)據(jù)集不同。

此外，與換臉不同，照片中的各種對象（如臉部、身體部位、背景等）也都需要不同的「風(fēng)格」，，而團(tuán)隊(duì)最開始卻沒有意識到這一點(diǎn)。

于是，團(tuán)隊(duì)決定深入了解網(wǎng)絡(luò)漫畫的創(chuàng)作過程，從而了解不同的作品是如何將不同的物體風(fēng)格化的。

在采訪了幾位創(chuàng)作者之后，團(tuán)隊(duì)了解到：「前景（包括人臉）」和「背景」是用不同的工具創(chuàng)建的。

首先，需要建立一個(gè)由人臉、身體、物體和背景等各種「零部件」組成的網(wǎng)絡(luò)漫畫數(shù)據(jù)集，然后再創(chuàng)建各種深度學(xué)習(xí)模型來減少前景和背景之間的風(fēng)格差異。最后，應(yīng)用幾種模仿不同創(chuàng)作者的修飾技術(shù)的后期處理算法，從而更自然地提高結(jié)果的質(zhì)量。

從AI上色到AI換臉

作為網(wǎng)絡(luò)漫畫行業(yè)的領(lǐng)軍者，韓國國內(nèi)第一大漫畫平臺Naver Webtoon此前一直致力于開發(fā)新的內(nèi)容IP，例如大火的偶像劇《我的ID是江南美人》即出自此平臺。

隨著AI技術(shù)的實(shí)用性越來越強(qiáng)，Webtoon AI團(tuán)隊(duì)利用深度學(xué)習(xí)技術(shù)開發(fā)了幾個(gè)項(xiàng)目，不僅能提高網(wǎng)絡(luò)漫畫讀者的閱讀體驗(yàn)，同時(shí)也能幫助創(chuàng)作者進(jìn)行創(chuàng)作。

2021年10月27日，Naver Webtoon宣布推出Webtoon AI Painter的測試服務(wù)，能夠幫助創(chuàng)作者對草圖進(jìn)行著色。

AI算法首先會對圖片進(jìn)行區(qū)域分割，當(dāng)創(chuàng)作者選擇一種顏色并觸摸相應(yīng)區(qū)域時(shí)即可對該區(qū)域進(jìn)行自動上色。與現(xiàn)有的手動著色不同，AI著色只需幾次觸摸即可完成全圖著色，能夠極大提升網(wǎng)絡(luò)漫畫創(chuàng)作者的著色時(shí)間，從而提高創(chuàng)作效率。

Webtoon AI Painter的開發(fā)歷時(shí)3年，主要技術(shù)還是深度學(xué)習(xí)模型，使用了大約 30 萬個(gè)數(shù)據(jù)來學(xué)習(xí)圖像中每個(gè)區(qū)域的特征和各種著色風(fēng)格，例如人的面部、身體和背景。該上色技術(shù)的模型相關(guān)工作還發(fā)表在了WACV 2022上。

除此之外，Webtoon AI Painter還通過應(yīng)用圖層分離的PSD（Photoshop文件格式）存儲功能和原創(chuàng)分辨率維護(hù)技術(shù)，為創(chuàng)作者的后期編輯工作提供了更好的技術(shù)服務(wù)。

布局美女元宇宙

在完全虛擬的元宇宙世界中，用戶需要一個(gè)虛擬分身，基于自拍照生成的虛擬分身能夠更好地同時(shí)保留真實(shí)感和虛擬感。

2018年8月，Naver Z公司推出元宇宙虛擬時(shí)尚社交平臺Zepeto，用戶可以在軟件里自由打造個(gè)人數(shù)字形象，主打的就是一個(gè)「時(shí)尚」！

用戶需要先在平臺上「捏臉」，按照自己的喜好捏出臉型和五官；然后在平臺上用虛擬貨幣購買時(shí)尚服裝和飾品等，裝扮自己的虛擬形象；還可以購買解鎖不同的姿勢、動作，選擇不同的照相背景跟朋友合照；同時(shí)，用戶也可自己在Zepeto平臺上制作內(nèi)容，并賺取收益。

用戶還可以在Zepeto內(nèi)上傳自拍，然后將其轉(zhuǎn)換成社交平臺內(nèi)的3D虛擬化身。

除了虛擬人物之外，Zepeto還打造了一個(gè)虛擬游戲世界，用戶可以操作自己的虛擬人物在世界里行動。平臺設(shè)置的社交場景豐富多樣，有鬼屋、教室、學(xué)校、著名景點(diǎn)等，用戶可以在參加派對、露營或者甚至朋友的虛擬婚禮等。

Zepeto跟時(shí)尚娛樂領(lǐng)域緊密合作，常邀請著名時(shí)尚品牌在平臺上發(fā)布虛擬服裝飾品，也跟k-pop娛樂公司聯(lián)手推出活動。

去年2月，Gucci在Zepeto上發(fā)布了模仿意大利總部的虛擬「Gucci別墅」，并推出NFT時(shí)尚單品。用戶可以用虛擬形象試穿或購買Gucci發(fā)布的虛擬服飾，還可打卡漫游「Gucci別墅」。

除此之外，D&G、Dior、Nike等著名品牌也已入駐該平臺。全球流行的k-pop組合Blackpink、 ITZY 和 SF9也在Zepeto上舉辦過虛擬活動，發(fā)布k-pop相關(guān)內(nèi)容。

品牌入駐的確為Zepeto帶來了可觀的收入。目前，已經(jīng)有上百家公司和150萬工作室創(chuàng)作者在Zepeto平臺上推廣自己的虛擬產(chǎn)品，還有5000萬工作室的虛擬設(shè)計(jì)品正在出售。

2021年，該公司的月收入徘徊在211.7萬美元至279.4萬美元之間，比2020年同期增長了約70%，這些增長大多來自于跟Gucci、Dior、三星、現(xiàn)代等著名品牌的廣告合作。

Naver Z的首席戰(zhàn)略官Ruby Lee透露，Zepeto的月活躍用戶從去年5月的1000萬增長到今年1月的2000萬。Zepeto擁有2.9億注冊用戶，在過去的18個(gè)月內(nèi)幾乎翻了一番。并且在其虛擬世界中，平均用戶會話時(shí)間可以達(dá)到約30分鐘。

雖然相比游戲類頭部元宇宙平臺Roblox日活用戶已超4700萬的數(shù)據(jù)，Zepeto在整個(gè)元宇宙領(lǐng)域還遠(yuǎn)不算第一梯隊(duì)的體量。

但當(dāng)下的元宇宙平臺大多仍然以成年男性用戶為主，作為全球最大的虛擬時(shí)尚平臺，Zepeto吸引了大量青少年女性用戶，在元宇宙領(lǐng)域打出了充分的差異化效果。

Zepeto有超過2.4億用戶，其中90%來自韓國以外，80%是青少年，70%用戶是女性。

2021年末，Naver Z公司旗下元宇宙虛擬社交平臺Zepeto宣布獲得2235億韓元（約合1.89億美元）的B輪融資，其中日本軟銀集團(tuán)旗下愿景基金2號（Vision Fund 2）領(lǐng)投金額高達(dá)1.5億美元。

軟銀的立場是十分支持元宇宙的發(fā)展的，所以獲得軟銀的投資，一定程度上可以說明Zepeto的價(jià)值，軟銀投資的管理合伙人Greg Moon曾表示，相信元宇宙有可能成為互聯(lián)網(wǎng)的下一次進(jìn)化。

其他投資者還包括韓國金融公司Mirae Asset、網(wǎng)絡(luò)漫畫出版商N(yùn)aver Webtoon以及K-pop機(jī)構(gòu)JYP、YG娛樂和HYBE的資金。

同月Naver Z還獲得了韓國游戲公司Krafton（絕地求生 PUBG的開發(fā)者）的50億韓元（420萬美元）投資。

在元宇宙概念大火的今天，仍然還有很多技術(shù)問題沒有完全得到解決，AI技術(shù)解決方案可以加快元宇宙開發(fā)的速度，反過來元宇宙獲得的投資也會加快AI技術(shù)的發(fā)展。

在科技洪流中，期待更美好的真實(shí)世界和虛擬世界。

參考資料：

https://webtoon.github.io/WebtoonMe/en

https://www.reddit.com/r/MachineLearning/comments/sfbtds/p_webtoonme_project_selfie_to_webtoon_style/

https://m.jiemian.com/article/6893200.html

https://weixinso.com/article/jbzehb03.html

本文來自微信公眾號“新智元”（ID:AI_era），作者：新智元，36氪經(jīng)授權(quán)發(fā)布。

關(guān)鍵詞： 美女 韓國 神器