首頁(yè)>資訊 >
天天快訊:圍繞5個(gè)大方向,我們測(cè)試了文心一言和chatGPT的不同 2023-03-17 16:47:46  來(lái)源:36氪

3月16日,百度如約發(fā)布了對(duì)標(biāo)chatGPT的中文版「文心一言」。

百度是國(guó)內(nèi)乃至全球大廠中第一個(gè)發(fā)布大語(yǔ)言模型的公司,但同時(shí)李彥宏也承認(rèn),內(nèi)測(cè)體驗(yàn)并不完美,但他表示文心一言的進(jìn)步空間很大。


(相關(guān)資料圖)

總的來(lái)說(shuō),整場(chǎng)發(fā)布會(huì)雖然沒(méi)有透露更多內(nèi)容,也沒(méi)有面向個(gè)人用戶開(kāi)放,但百度還是表達(dá)了自己的核心觀點(diǎn):介紹能力、承認(rèn)差距、展望未來(lái)。

而發(fā)布會(huì)后,百度也開(kāi)放了內(nèi)測(cè)權(quán)限,我們?cè)谀玫綑?quán)限后第一時(shí)間與chatGPT做了對(duì)比,看看它們有什么不同。

因?yàn)橹饕獪y(cè)試對(duì)象是文心一言,所以這些問(wèn)題基本都圍繞百度發(fā)布會(huì)上透露的五個(gè)方向:文學(xué)創(chuàng)作、商業(yè)文案創(chuàng)作、數(shù)理推算、中文理解和多模態(tài)生成。

1 文學(xué)創(chuàng)作

從用詞上來(lái)看,文心一言和chatGPT開(kāi)頭的場(chǎng)景描寫(xiě)幾乎一模一樣。但整首詩(shī)的風(fēng)格卻不同,文心一言自始至終都是壓抑的、悲觀的,chatGPT卻給了一個(gè)堅(jiān)定且有希望的ending。

古詩(shī)創(chuàng)作文心一言上來(lái)就copy了一首家喻戶曉的詩(shī)詞。chatGPT的回答更標(biāo)準(zhǔn),也作了詩(shī)名。

在故事創(chuàng)作上,文心一言似乎有些不合邏輯,人被貓咬了卻把貓抱到了醫(yī)院,直接忽略了人。且結(jié)尾也有些胡言亂語(yǔ),一邊不能忘記湯姆帶來(lái)的恐懼和不安,又要給它建造紀(jì)念碑,視為英雄?

chatGPT的故事似乎更有邏輯性,也更符合我的恐怖要求。

2 商業(yè)文案創(chuàng)作

在商業(yè)文案創(chuàng)作上,文心一言給出的答案更符合我的要求和想法,chatGPT的答案相對(duì)啰嗦。

這一個(gè)則是文心一言完勝,chatGPT不僅用英文回答,而且還搞錯(cuò)了品牌,將悅刻翻譯為YOOZ。

這段開(kāi)場(chǎng)白文心一言更符合我的需求和想法,chatGPT似乎搞錯(cuò)了對(duì)象。

3 數(shù)理推算

這是一道小學(xué)奧數(shù)題,也難住了文心一言和chatGPT。文心一言直接擺爛,回答的內(nèi)容里有錯(cuò)誤代碼;chatGPT則是一本正經(jīng)的胡說(shuō)八道,看似步驟很多在一步步解題,實(shí)際上最后的答案也是錯(cuò)的。

第二個(gè)問(wèn)題是一道從網(wǎng)上down下來(lái)的騰訊面試題,文心一言顯然沒(méi)有讀懂題意,最后的答案完全風(fēng)馬牛不相及。chatGPT的回答看似步驟合理,但最后的結(jié)果卻是錯(cuò)的。

4 中文理解

一段《三體》中的摘抄,我更喜歡chatGPT的回答,不僅描述片段的大意,還給出了反問(wèn)。文心一言的答案貌似偏離了題意。

一個(gè)來(lái)自趙本山小品的梗,都沒(méi)有理解。

5 多模態(tài)生成

因?yàn)閏hatGPT還不具備圖片生成能力,所以只能用文字描述。

總結(jié):

從上述問(wèn)題的答案來(lái)看,文心一言和chatGPT都不完美。

最直觀的差距,應(yīng)該說(shuō)是一種感覺(jué)。明明知道兩個(gè)都是機(jī)器人,但chatGPT給我一種更像人的感覺(jué)。文心一言的優(yōu)勢(shì),似乎更商業(yè)化一些,在商業(yè)文案創(chuàng)作上完勝chatGPT,這可能是未來(lái)全量開(kāi)放后,被調(diào)用最多的一個(gè)功能。

在測(cè)試之后我還試著問(wèn)了一些帶有價(jià)值觀看法的問(wèn)題,chatGPT會(huì)表示自己是AI語(yǔ)言模型,不能夠道德判斷或?qū)€(gè)人行為做出價(jià)值評(píng)估。

更大范圍的感觸并不是具體的產(chǎn)品差異,而是背后的技術(shù)差距。百度也承認(rèn)差距的存在,也就意味著我們還有時(shí)間來(lái)做完善。

但至少?gòu)?到1的突破我們做到了,從1到100就繼續(xù)努力吧。

以上是我們向文心一言和chatGPT提出的問(wèn)題,考慮到文心一言目前尚在小范圍內(nèi)測(cè),如果你有想問(wèn)的問(wèn)題,歡迎留言,我們幫你問(wèn)。

關(guān)鍵詞:

相關(guān)閱讀:
熱點(diǎn)
圖片 圖片