ChatGPT竟然成論文的共同作者了？

(相關(guān)資料圖)

在去年12月發(fā)表的一篇預(yù)印本論文中，我們驚訝地發(fā)現(xiàn)，作者一欄中赫然驚現(xiàn)了ChatGPT！

論文地址：https://www.medrxiv.org/content/10.1101/2022.12.19.22283643v1.full

ChatGPT這是成精了？

雖然大家都知道，ChatGPT擁有超強(qiáng)的寫作能力，但是，它已經(jīng)能和人類合作，寫出一篇研究自己的論文了嗎？

（沒準(zhǔn)還真行）

帶著一百個(gè)問號(hào)，小編點(diǎn)開這篇論文開始仔細(xì)研究，不過讀完之后，一百個(gè)問號(hào)變成了一千個(gè)。

就是說，并沒有看出哪句話是ChatGPT寫的。只能說，ChatGPT的確在研究中扮演了十分重要的角色。

然而，這就更加讓人困惑了：一個(gè)生物學(xué)實(shí)驗(yàn)中有了小白鼠參與，小白鼠就可以出現(xiàn)在作者欄里嗎？（恒河猴、羊駝、兔子、果蠅紛紛表示不服

）

對(duì)此，網(wǎng)友也看懵了：也不知道是他們強(qiáng)迫ChatGPT去參加USMLE考試更有趣，還是讓人工智能成為論文作者更有趣。

被迫參加考試，還成了論文作者

所以，在這篇論文中，ChatGPT究竟是扮演了怎樣的角色呢？

讓咱們來捋一捋。

文章標(biāo)題是《ChatGPT在USMLE上的表現(xiàn)：使用大型語言模型進(jìn)行AI輔助醫(yī)學(xué)教育的潛力》。

總的來說，就是研究人員讓ChatGPT參加了一個(gè)美國的醫(yī)學(xué)執(zhí)照考試。

為什么選擇這個(gè)考試呢？

這是因?yàn)椋@個(gè)考試的難度很高，問題非常復(fù)雜（無論是語言上，還是概念上），同時(shí)呢，又有著高度標(biāo)準(zhǔn)化的規(guī)范。

巧了不是，這些恰恰都是AI的強(qiáng)項(xiàng)。

沒有經(jīng)過專門的訓(xùn)練或強(qiáng)化，ChatGPT在三項(xiàng)考試中幾乎都及格了，或是接近及格。并且，在ChatGPT的答卷，給了研究者很大的驚喜。

下面咱們來具體說說。

USMILE有多難

美國的醫(yī)學(xué)執(zhí)照考試USMILE，涵蓋了基礎(chǔ)科學(xué)、臨床推理、醫(yī)療管理和生物倫理學(xué)。

它的問題在文本和概念上都很密集。

試題的小插圖中，包含大量多模態(tài)的臨床數(shù)據(jù)（包括病史、體格檢查、實(shí)驗(yàn)室值和研究結(jié)果），而參加考試的學(xué)生，需要做出診斷，鑒別出許多模棱兩可的情景。

論LLM與USMILE的適配性

研究者為什么看上了ChatGPT作為「小白鼠」呢？

以往的AI模型，主要是深度學(xué)習(xí) (DL) 模型，用于學(xué)習(xí)和識(shí)別數(shù)據(jù)中的模式。

而ChatGPT屬于通用大規(guī)模語言模型（LLM）?；谛滦虯I算法，經(jīng)過訓(xùn)練的LLM可以根據(jù)前面單詞的上下文，預(yù)測(cè)一個(gè)給定的單詞序列的可能性。

因此，如果能夠在足夠大的文本數(shù)據(jù)上進(jìn)行訓(xùn)練，那么LLM便可以生成從未觀察到的新詞序列，而這些語句，都是基于自然人類語言的合理序列。

不許刷題，ChatGPT零準(zhǔn)備上考場(chǎng)

ChatGPT之所以強(qiáng)大，是因?yàn)樗驹贕PT3.5的肩膀上。而GPT3.5是在OpenAI 175B參數(shù)基礎(chǔ)模型上訓(xùn)練出來的，另外，它還通過強(qiáng)化和監(jiān)督學(xué)習(xí)方法，從網(wǎng)絡(luò)上獲取了大量的文本數(shù)據(jù)。

但是這次，ChatGPT是完全的「裸考」了。

這次的試題，是研究者在2022年6月，從USMILE的官方樣題中抽取的376道公開試題。

并且，研究者進(jìn)行了隨機(jī)抽查，確保這些題在2022年1月1日以前并沒有相關(guān)內(nèi)容被收錄進(jìn)谷歌索引。

要知道，ChatGPT的訓(xùn)練數(shù)據(jù)集就截止在這個(gè)時(shí)間之前。也就是說，ChatGPT事先并沒有見過這些題。

實(shí)驗(yàn)方法概述

結(jié)果，ChatGPT在考試中越戰(zhàn)越勇，準(zhǔn)確性不斷提高，這說明，它在不斷學(xué)習(xí)，不斷完善自己。

到最后，它逐漸逼近甚至超過了USMILE的及格線。

ChatGPT在USMLE中的表現(xiàn)相當(dāng)優(yōu)異

另外，在考試中，ChatGPT還會(huì)針對(duì)問題產(chǎn)生新的見解，這就可以幫助人類更好地理解問題。

在實(shí)驗(yàn)中，研究者引入了一個(gè)量化AI生成的解釋中包含的洞察力密度（DOI）。可以觀察到，ChatGPT的DOI在回答準(zhǔn)確的問題中，明顯比不準(zhǔn)確的問題要高。

這些數(shù)據(jù)表明，人類學(xué)習(xí)者如果回答不正確，可以從ChatGPT的輸出中獲得新見解，來進(jìn)行補(bǔ)救。

就是說，ChatGP不光自己會(huì)在全新的試題中自學(xué)成學(xué)霸，還能用來幫助人類學(xué)渣。

總之，最后研究者得出結(jié)論：大型語言模型在醫(yī)學(xué)教育和臨床決策上，都有巨大的應(yīng)用潛力。

嗯，道理咱都懂，可是論文讀到最后都沒搞明白，ChatGPT怎么就成共同作者了呢？

莫非是研究者覺得，ChatGPT參加了考試，作了答，所以「對(duì)本文亦有貢獻(xiàn)」？

在醫(yī)學(xué)界，ChatGPT「高產(chǎn)似母豬」

你有沒有發(fā)現(xiàn)，醫(yī)學(xué)領(lǐng)域的研究人員對(duì)「GPT」可謂是達(dá)到了癡迷的程度。

不僅僅是我們這次的主角，文章最開始提到的那篇也是出自一個(gè)「神經(jīng)科學(xué)和生理學(xué)研究所」。

而ChatGPT的名字，自去年12月起，更是頻繁地出現(xiàn)在該領(lǐng)域一些經(jīng)過同行評(píng)審的論文當(dāng)中：

論文地址：https://www.oncoscience.us/article/571/text/

不過，在這篇論文中，ChatGPT是正經(jīng)寫了內(nèi)容的，咱們一眼就能看出來。

另外，還有下面這篇論文，ChatGPT在作者欄中，也占了二分之一的名額。

論文地址：https://www.sciencedirect.com/science/article/abs/pii/S1471595322002517

怎樣才能算是論文作者？

一篇論文怎么署名，是一件大事。

作者署名賦予了作者名譽(yù)，也有重要的學(xué)術(shù)、社會(huì)和經(jīng)濟(jì)意義。

ChatGPT何德何能，和專家們一同登上作者欄呢？

對(duì)此，我們問了問ChatGPT是怎么看的：

其實(shí)，關(guān)于作者的職責(zé)，只需隨手一搜就能找到很多詳細(xì)的講解。

既然都是醫(yī)學(xué)領(lǐng)域的論文，不如我們就來看看ICMJE（國際醫(yī)學(xué)期刊編輯委員會(huì)）都有哪些建議。

簡(jiǎn)單來說，可以概括為以下四點(diǎn)：

1. 對(duì)研究的思路或設(shè)計(jì)有重要貢獻(xiàn)，或者為研究獲取、分析或解釋數(shù)據(jù)；

2. 起草研究論文或者在重要的智力性內(nèi)容上對(duì)論文進(jìn)行修改；

3. 對(duì)將要發(fā)表的版本作最終定稿；

4. 同意對(duì)研究工作的各個(gè)方面承擔(dān)責(zé)任以確保與論文任何部分的準(zhǔn)確性或誠信有關(guān) 的質(zhì)疑得到恰當(dāng)?shù)恼{(diào)查和解決。

所有被指定為作者的人都應(yīng)該滿足作者署名的4條標(biāo)準(zhǔn)，而所有滿足以上4條標(biāo)準(zhǔn)者也都應(yīng)該被確定為作者。未滿足全部4條標(biāo)準(zhǔn)者應(yīng)該出現(xiàn)在致謝部分。

現(xiàn)在問題來了，ChatGPT符合幾條呢？

參考資料：

https://www.medrxiv.org/content/10.1101/2022.12.19.22283643v1.full

https://www.icmje.org/recommendations/translations/chinese2018.pdf

關(guān)鍵詞： 語言模型 醫(yī)學(xué)教育 研究人員