首頁(yè)>資訊 >
親測(cè)百度文心一言,沒有驚喜 2023-03-20 10:02:49  來源:36氪

3月16日,百度創(chuàng)始人、董事長(zhǎng)兼首席執(zhí)行官李彥宏親自上陣,為大家揭開了百度文心一言的面紗。隨后,外界對(duì)文心一言的討論都沒有停止,百度的股價(jià)也跟著起起落落。

首先是發(fā)布會(huì)進(jìn)行到半個(gè)小時(shí)左右,百度的股票就下跌超過7%,甚至一度跌破10%。這似乎源自被寄予厚望的文心一言在產(chǎn)品力上讓外界略有失望,尤其是文心一言的展示并不是“直播”而是“錄播”。

圖/百度股價(jià)走勢(shì)圖(3.16日) 來源/老虎證券 燃次元截圖


(相關(guān)資料圖)

“作為一個(gè)交互產(chǎn)品,演示都不是現(xiàn)場(chǎng)的,這會(huì)讓投資者和意向用戶的體驗(yàn)大打折扣,也會(huì)不禁讓人懷疑,百度自己是不是對(duì)產(chǎn)品都沒有100%的信心?!币晃豢戳巳珗?chǎng)直播的從業(yè)者聊起發(fā)布會(huì)的感受時(shí),如實(shí)說道。

而隨著發(fā)布會(huì)結(jié)束,第一批用戶對(duì)文心一言開始了真實(shí)地測(cè)試后,百度股價(jià)有所回升。截至3月19日,百度港股股價(jià)報(bào)收142.2港元/股。一位百度工作人員對(duì)燃次元表示,“很多人都說文心一言實(shí)測(cè)體驗(yàn)比發(fā)布會(huì)看起來好很多?!?/p>

除了簡(jiǎn)單的測(cè)試,有才的網(wǎng)友們開始拋出五花八門的問題,把文心一言與ChatGPT作比較。比如“什么工作錢多活少離家近?”“模仿李白的《將進(jìn)酒》寫一首詩(shī),主題是肯德基瘋狂星期四?!倍槍?duì)這些問題,文心一言給出的回答,頗令網(wǎng)友滿意。

不過,也有一部分網(wǎng)友對(duì)文心一言的能力提出質(zhì)疑。小紅書ID為“易安學(xué)姐”的用戶評(píng)價(jià)道,“文心一言的回答完全沒有上下文鏈接。”網(wǎng)友makima評(píng)價(jià)道,“百度真的有測(cè)試過自己的AI嗎?是放出來讓別人替它訓(xùn)練嗎?”

圖/網(wǎng)友測(cè)試文心一言與ChatGPT對(duì)比圖來源/小紅書 燃次元截圖

與此同時(shí),燃次元與多位測(cè)試文心一言,以及使用過ChatGPT的用戶進(jìn)行了交流后發(fā)現(xiàn),大家對(duì)文心一言的看法很自然地分成了兩派——鼓勵(lì)派和批判派。

鼓勵(lì)派表示,“ChatGPT對(duì)行業(yè)帶來的場(chǎng)景化和用戶習(xí)慣的改變將會(huì)是顛覆性的,文心一言的誕生是大勢(shì)所趨,也是未來的趨勢(shì)。”

批判派則反之,“文心一言在信息庫(kù)更新、底層數(shù)據(jù)質(zhì)量上和ChatGPT有很大的差距。且由于規(guī)范性不明確,從長(zhǎng)遠(yuǎn)來看,并不看好國(guó)內(nèi)ChatGPT類產(chǎn)品的發(fā)展。”

對(duì)于大家的批評(píng),李彥宏表示,“文心一言并不完美,因?yàn)橛惺袌?chǎng)需求,所以現(xiàn)在發(fā)布。大預(yù)言模型一旦發(fā)布,迭代速度會(huì)非????!?/p>

事實(shí)上,不論對(duì)文心一言看好還是看壞,市場(chǎng)對(duì)百度推出文心一言的原因都心知肚明。面對(duì)放緩的營(yíng)業(yè)收入增速,和逐漸顯現(xiàn)的人口紅利天花板,百度急需第二增長(zhǎng)曲線的切入口。

然而,尚不成熟的文心一言能成為這個(gè)切入口嗎?國(guó)內(nèi)大廠紛紛布局ChatGPT下,其商業(yè)化又有什么難以突破的瓶頸?

帶著這些問題,燃次元也開始了對(duì)文心一言的測(cè)試... ...

01 文心一言,就這?

“感謝百度,我的工作保住了?!卑俣任男囊谎园l(fā)布會(huì)結(jié)束后,一位投行人員打趣地對(duì)燃次元表示。

ChatGPT橫空出世后,打工人最關(guān)心的問題莫過于,“如何利用ChatGPT賺錢”,以及“如何不被ChatGPT取代后賺不到錢”。

而百度文心一言的發(fā)布,無疑是給大家吃了顆“定心丸”。

但玩笑歸玩笑,自文心一言推出后,確有不少人將它和ChatGPT尤其是GPT-4進(jìn)行比較。在第一時(shí)間拿到文心一言的測(cè)試碼后,燃次元便讓其為汽車品牌極氪的車型“極氪001”寫一則廣告文案。文心一言迅速給出了回答,“極氪001,超越想象!”

相比之下,燃次元在文心一言發(fā)布前一周,問過ChatGPT類似的問題,“為理想L7寫一份宣傳語(yǔ)”,ChatGPT給出的回答,雖說不是完美,但卻也包含了對(duì)理想L7性能的介紹以及亮點(diǎn)的總結(jié)。

當(dāng)然,文案風(fēng)格上,各花入各眼,沒法評(píng)論好壞,文案的“功底”也很難評(píng)勝負(fù)。但就核心優(yōu)勢(shì)總結(jié)、對(duì)文案本身的內(nèi)容理解,以及在信息的準(zhǔn)確性和及時(shí)性等可以明確量化的方面,ChatGPT似乎略勝一籌。

燃次元曾讓ChatGPT幫忙整理特斯拉已經(jīng)發(fā)布的所有車型。根據(jù)ChatGPT的結(jié)果,其按發(fā)布時(shí)間分別羅列了Roadster、 Model S、 Model X 、Model 3和 Model Y。除了車型,還包括發(fā)布時(shí)間和性能簡(jiǎn)介。

然而,當(dāng)燃次元把同樣的問題,拋給文心一言時(shí),文心一言不僅沒能給出車型發(fā)布的時(shí)間,甚至連車型都沒能給全,少了Model Y和Roadster。

圖/上:文心一言回答;下:ChatGPT回答 來源/燃次元截圖

與此同時(shí),文心一言提供的信息也不完全準(zhǔn)確。

當(dāng)燃次元要求其“整理理想汽車2022年交付數(shù)據(jù)”時(shí),文心一言回答,“理想汽車在2022年共交付了100054輛純電動(dòng)車型……”但事實(shí)上,理想并未推出純電車型,當(dāng)燃次元進(jìn)一步說明其錯(cuò)誤時(shí),文心一言也沒有及時(shí)修正。

圖/文心一言回答 燃次元截圖

當(dāng)然,在類ChatGPT的產(chǎn)品中,回答出現(xiàn)事實(shí)性錯(cuò)誤的,也并非只有文心一言一家。

此前,谷歌推出的Bard也出現(xiàn)了類似錯(cuò)誤。對(duì)此,技術(shù)專家林宇表示,深度學(xué)習(xí)模型的輸出結(jié)果會(huì)有不可解釋性,這與其學(xué)習(xí)模型的屬性有關(guān),所以,類似的錯(cuò)誤會(huì)有一定的出現(xiàn)概率。

除此之外,文心一言對(duì)同樣問題的理解能力也會(huì)出現(xiàn)偏差。

比如,燃次元在體驗(yàn)其發(fā)布會(huì)上展示的圖片輸出功能時(shí),就屢屢碰壁。最開始,當(dāng)發(fā)出生成海報(bào)、圖片等指示時(shí),文心一言在超過30秒鐘的加載后都會(huì)顯示,“當(dāng)前與我互動(dòng)的人過多,請(qǐng)稍后再試?!?/p>

隨后,當(dāng)燃次元要求文心一言為迪士尼畫一張海報(bào)時(shí),文心一言卻輸出了語(yǔ)言描述的回答;當(dāng)再次要求其用圖片展示上述回答的時(shí)候,出現(xiàn)的海報(bào)卻與迪士尼沒什么關(guān)系。而再一次做出嘗試,讓其為迪士尼畫一張海報(bào)時(shí),終于,一張更類似迪士尼畫風(fēng)的畫作被展現(xiàn)。

圖/文心一言回答 燃次元截圖

同一個(gè)問題得不到準(zhǔn)確的回答或得到的答案不同,這或許與文心一言測(cè)試版的不穩(wěn)定性有關(guān)。但也意味著,文心一言的底層理解能力尚待提升。

02 ChatGPT的“大混戰(zhàn)”

就在文心一言的理解能力被多方調(diào)侃時(shí),GPT-4的能力已經(jīng)驚艷到了第一批試用用戶。

海外投資經(jīng)理科林表示,“我將一份長(zhǎng)文的超鏈接發(fā)給GPT-4并要求其解讀,GPT-4不但可以完全理解我的重點(diǎn),還能將長(zhǎng)文中的重點(diǎn)準(zhǔn)確地摘取和總結(jié)出來?!?/p>

科林進(jìn)一步表示,GPT-4在響應(yīng)時(shí)間和文字承載量上也有很大進(jìn)步,可以接受上限達(dá)2.5萬字的長(zhǎng)文,“對(duì)于我這種每天都要讀幾百頁(yè)文字的金融從業(yè)者來說,非常有用,其會(huì)大大提高我的生產(chǎn)力。目前,我還在不斷探索工具更多的可能性?!?/p>

圖/GPT-4的回答來源/科林供圖

在GPT-4被用戶追捧的同時(shí),微軟也推出了AI助手Copilo。結(jié)合GPT-4,AI功能被直接集成到Word、Excel、PowerPoint、Outlook和Teams等應(yīng)用中。用戶可以提出問題,將文字提煉、轉(zhuǎn)化、生成PPT等,被稱為“打工人的福音”。

北大在讀博士小孔看完了Copilo的展示后感嘆道,“我們要學(xué)習(xí)的東西還有很多。在我看來,將來不會(huì)使用ChatGPT類工具的人,在研究上效率會(huì)非常低?!?/p>

不只微軟,谷歌、騰訊、科大訊飛、美團(tuán)等多家國(guó)內(nèi)外大廠都在陸續(xù)布局ChatGPT。一位脈脈從業(yè)人員對(duì)燃次元透露,從今年2月份開始,包括百度、阿里、騰訊等在內(nèi)的科技巨頭,都在陸續(xù)招聘ChatGPT相關(guān)的AIGC崗位,很多獵頭也紛紛下場(chǎng),最高開出了10萬元的月薪。

BOSS直聘上,也有美團(tuán)、BOSS直聘、百度文心產(chǎn)品線等企業(yè)和項(xiàng)目在招ChatGPT相關(guān)崗位。

圖/BOSS直聘招聘 來源/燃次元截圖

大廠為什么會(huì)在這個(gè)時(shí)候紛紛布局ChatGPT?

在科林看來,重要因素有兩個(gè)。“第一是大廠們自身業(yè)務(wù)增長(zhǎng)困境。以百度為例,百度整體的營(yíng)收增速水平從2021年第一季度的24.79%下滑至2022年第四季度的0%。而作為百度主營(yíng)業(yè)務(wù)的線上廣告業(yè)務(wù),收入在2022年更是出現(xiàn)了6%的同比下滑?!?/p>

數(shù)據(jù)來源/百度財(cái)報(bào)燃次元制圖

“除此之外,更重要的是ChatGPT帶來的應(yīng)用場(chǎng)景的迭代?!笨屏诌M(jìn)一步分析,“ChatGPT會(huì)徹底改變?nèi)藗児ぷ鞯姆绞?,尤其是以搜索引擎為基礎(chǔ)產(chǎn)品的百度。與其說百度布局ChatGPT,不如說布局ChatGPT是百度順應(yīng)時(shí)代的必要之舉。而搜索引擎和ChatGPT本身的自然語(yǔ)言對(duì)話形式很相近,對(duì)于接入ChatGPT有屬性上的天然優(yōu)勢(shì)。”

歐科云鏈研究院高級(jí)研究員蔣照生補(bǔ)充道,通過AI技術(shù)的落地,可以解決C端用戶很多實(shí)際需求,比如大大提升工作、學(xué)習(xí)效率和生產(chǎn)力。

“大廠通過布局ChatGPT可以觸達(dá)更多有需求的C端用戶,不僅可以擴(kuò)大自己的用戶市場(chǎng)占有率,也可以進(jìn)一步向TOC、 TOB等多種形式的商業(yè)化探索?!?/p>

03 讓ChatGPT多“飛”一會(huì)

不難看出,未來ChatGPT或?qū)⑹且豁?xiàng)可以改變世界的技術(shù),但大廠想要用ChatGPT實(shí)現(xiàn)新的突破,還需要經(jīng)過重重考驗(yàn)。

首先,是信息的準(zhǔn)確性。不論是向用戶收費(fèi)還是向企業(yè)收費(fèi),產(chǎn)品一旦開始收費(fèi),用戶對(duì)失誤率的包容性就會(huì)減弱?,F(xiàn)在,大家還會(huì)對(duì)文心一言、ChatGPT偶爾的失誤回答吐槽、打趣,但如果打工人利用這項(xiàng)工具輸出工作內(nèi)容,卻發(fā)現(xiàn)錯(cuò)漏百出,那彼時(shí),這種失誤就會(huì)從“笑話”變成“事故”。

對(duì)此,科林直言,“大模型輸出內(nèi)容的準(zhǔn)確性和及時(shí)性與其底層數(shù)據(jù)質(zhì)量有極大的關(guān)系。目前國(guó)內(nèi)類ChatGPT產(chǎn)品的底層數(shù)據(jù)質(zhì)量尚待提升?!?/p>

其次,是產(chǎn)品的規(guī)范性。蔣照生分析,國(guó)內(nèi)很多類ChatGPT產(chǎn)品的系統(tǒng)依然存在不穩(wěn)定性,這最后會(huì)導(dǎo)致生成內(nèi)容質(zhì)量不一致。燃次元多次向文心一言發(fā)出相同請(qǐng)求,得出不同回答就是個(gè)典型的例子。對(duì)于商業(yè)化產(chǎn)品,這種不穩(wěn)定性會(huì)存在風(fēng)險(xiǎn)。

再次,如何保證ChatGPT類產(chǎn)品的原創(chuàng)性、避免版權(quán)問題,以及保證ChatGPT類產(chǎn)品輸出的內(nèi)容符合法律和道德標(biāo)準(zhǔn),也是不得不重視的問題。蔣照生補(bǔ)充道,以AIGC為例,大多數(shù)AIGC系統(tǒng)仍然缺乏創(chuàng)造力,不能獨(dú)立生成原創(chuàng)內(nèi)容,只能根據(jù)給定的模板或指導(dǎo)內(nèi)容生成相關(guān)內(nèi)容。

而ChatGPT作為人工智能工具,是沒有任何“道德”標(biāo)準(zhǔn)的,開發(fā)者需要避免ChatGPT類產(chǎn)品給出的回答不與主流價(jià)值觀相悖。林宇表示,“摘除一些敏感詞匯的標(biāo)簽,是其中一個(gè)方式,但一個(gè)標(biāo)簽所衍生出的內(nèi)容很廣泛,摘除一個(gè)標(biāo)簽對(duì)于大模型學(xué)習(xí)的影響是極大的。這中間尺度的把握,是個(gè)挑戰(zhàn)。”

除此之外,大模型所需要的海量算力,需要資金、人才、軟硬件設(shè)施等各個(gè)環(huán)節(jié)的配合,缺一不可。

最重要的是,大廠如何能開發(fā)出讓用戶可以實(shí)際體驗(yàn)到有改變的ChatGPT類產(chǎn)品?比如,把一個(gè)PDF扔進(jìn)ChatGPT,后者能生成一個(gè)準(zhǔn)確概括重點(diǎn)內(nèi)容的PPT,這是有效工具。但和ChatGPT閑聊,得出一些百度百科都能給出的信息,這只是“虛假”的創(chuàng)新。

盡管目前來看,規(guī)?;纳虡I(yè)變現(xiàn)對(duì)ChatGPT產(chǎn)品來說,還需要一段距離。但是,ChatGPT已經(jīng)可以給一些業(yè)務(wù)和行業(yè)帶來改變,幫助大廠優(yōu)化成本、提升用戶體驗(yàn)。

林宇、科林等多位業(yè)內(nèi)人士均對(duì)燃次元表示,機(jī)械性高、重復(fù)性強(qiáng)的工作是可以利用ChatGPT優(yōu)化的——人工客服就是最典型的一項(xiàng)。“事實(shí)上,現(xiàn)在已經(jīng)有很多企業(yè)采用人工智能客服,但是他們能夠理解的問題還是非常有局限的。ChatGPT可以理解更長(zhǎng)、更復(fù)雜的問題,且交互形式更自然,能夠進(jìn)一步優(yōu)化用戶體驗(yàn)?!?/p>

而ChatGPT類產(chǎn)品,本身也會(huì)隨著用戶使用頻次的增多,不斷學(xué)習(xí)、更新。以百度文心一言為例,在公開測(cè)試后的短短幾天,就已經(jīng)有所進(jìn)步。

比如,3月16日晚,燃次元第一次要求文心一言整理出百度公司2022年的現(xiàn)金流情況時(shí),文心一言似乎并不能理解“整理”的意思。而到了3月18日下午,燃次元再次問出相同的問題時(shí),文心一言已經(jīng)可以準(zhǔn)確理解問題并給出了百度現(xiàn)金流的信息。

圖/文心一言回答 燃次元截圖

由此不難看出,文心一言在不斷地學(xué)習(xí)和糾錯(cuò)。

其實(shí),不管是文心一言,還是其他類ChatGPT產(chǎn)品,是“黑”是“吹”都為時(shí)尚早。ChatGPT無疑是顛覆性的創(chuàng)新,但誰能因此獲利,“子彈”還得再“飛”一會(huì)才能見分曉。

*文中林宇、科林均為化名。

*免責(zé)聲明:在任何情況下,本文中的信息或所表述的意見,均不構(gòu)成對(duì)任何人的投資建議。

關(guān)鍵詞:

相關(guān)閱讀:
熱點(diǎn)
圖片 圖片