究竟是怎樣的大腦創(chuàng)造出了跨時代的ChatGPT？作為ChatGPT的姊妹模型，InstructGPT的核心技術(shù)和ChatGPT有很多相通之處。

近期，美國AI可觀察性平臺Arize AI采訪了OpenAI的兩位研究科學家歐陽龍(Long Ouyang) 和Ryan Lowe，他們是InstructGPT（采用人類反饋的強化學習 (RLHF) 訓練大型語言模型的首批主要應用之一）的創(chuàng)造者，在RLHF模型的演變和為GPT-4奠基方面發(fā)揮了重要作用。

以下是對話中的一些要點。

【資料圖】

圖源：AI PUB, ARIZE AI

開發(fā)InstructGPT背后的動機是什么？GPT-3的哪些問題啟發(fā)了InstructGPT的誕生?

歐陽龍：我認為我們試圖解決的一個主要問題是，當GPT-3問世時，人們對用它來做有用的認知工作感到過于興奮，例如總結(jié)一篇新聞文章。但它的設計初衷并不是為了做這個，而是為了預測互聯(lián)網(wǎng)上的人在特定環(huán)境下可能會說什么。事實證明，你可以通過設置文本來誘使模型為你執(zhí)行有用的工作，當模型自動完成任務時，它可以給你你想要的東西。

因此，就摘要來說，一個例子是，也許你需要先給出一篇文章中的幾個事例，然后是文章的摘要，最后是你想要獲得摘要的文章和要點總結(jié)，然后你要求他們完成概括。所以這個模型并不是被設計成一個助手或有用的工具，但在某些情況下你可以把它用作這個用途。這篇文本或者說這個項目的總體目標就是在一個目標函數(shù)上對模型進行微調(diào)，使其成為一個有用的助手或工具——直到今天也依然如此。這來自于一些早期的工作，我們稱之為調(diào)整語言模型。

對了，Ryan，你想談談OpenAI的調(diào)整問題嗎?

Ryan Lowe：人們對調(diào)整有不同的定義。但你可以使用的一個定義是，如何讓我們正在訓練的人工智能系統(tǒng)優(yōu)化我們實際上想要優(yōu)化的東西?

從歷史上看，它始于一個小團隊，這就是最初早期RLHF工作發(fā)揮作用的地方。后來我們有了一個短期的調(diào)整團隊，主要負責用現(xiàn)有的語言模型來優(yōu)化我們真正想要優(yōu)化的東西，讓我們的目標變得有用、有幫助，同時也可以減輕危害，遵循事實。還有一些關于長期調(diào)整的工作，試圖思考可能出現(xiàn)的新的調(diào)整問題。因此，未來還可能出現(xiàn)一些關于可擴展的監(jiān)管和其他一些事情的工作。

你能對InstructGPT做一個簡短的推薦或者對其做一個總結(jié)嗎?

歐陽龍：這是一個自動化的系統(tǒng)，你提供一些文本作為輸入，它也會提供一些文本作為輸出。這些是我們所說的標記的概率分布，一個標記是單詞的一部分，有時是整個單詞，然后通過在每個階段抽樣出下一個可能的標記，然后繼續(xù)這個過程，直到得到你目標的產(chǎn)出。所以有時候你會得到不同的結(jié)果，因為這個模型有一點概率性。

重要的是，你給這個模型的輸入只是一個自然語言命令或指令，比如“用法語寫一個關于青蛙的故事”，又因為它在各種不同的任務上接受過訓練，所以它可以概括兩個任務，第一個任務是使用法語，第二個任務是寫一個關于青蛙的故事，我想這是在訓練中他不會遇到的。

為了強調(diào)指令模型和早期香草語言模型之間的區(qū)別，指令模型“理解”你給了它一些明確的認知任務，同時你用語言明確地給出了這些指令；而在之前的模型之下，通過模型交流的方式，你想要完成的任務可能是通過一些例子或一種更含蓄的方式。

Ryan Lowe：從高層次上講，我們實現(xiàn)這一目標的方式基本上是利用人類數(shù)據(jù)。通過使用數(shù)據(jù)標注者——我們雇傭了一組承包商為我們標記數(shù)據(jù)，我們在正常的語言模型預訓練階段上做了一個額外的微調(diào)階段。

這些數(shù)據(jù)標注者產(chǎn)生的主要數(shù)據(jù)之一是給定一些輸入，如"寫一個關于青蛙的故事"有多個候選輸出，由不同的模型生成，而標注者會根據(jù)一些指令集和他們對指令的解釋，將這些輸入從最佳輸出到有效輸出進行排序。然后我們使用強化學習來訓練模型，以試圖產(chǎn)生更接近人類偏好或排名較高的輸出。

為什么要訓練獎勵模型呢？為什么要在第一步進行監(jiān)督微調(diào)？

歐陽龍：也許我們會從獎勵模式開始，因為這是我們的方法中真正關鍵的部分。有了Ryan之前提到的那種數(shù)據(jù)，即數(shù)據(jù)標注者給出了他們的偏好，比如關于青蛙的故事，我們就會用這些數(shù)據(jù)來訓練一個非常大的神經(jīng)網(wǎng)絡，我們稱之為獎勵模型。

你可以把獎勵模式想象成電子游戲中的分數(shù)或一個老師。獎勵模型的輸入是指令和輸出，它返回一個分數(shù)，這個分數(shù)會告訴你的輸出有多好。如果這個分數(shù)不錯，就意味著關于青蛙的故事是個好故事，如果這個分數(shù)很低，就意味著關于青蛙的故事是個爛故事。我們根據(jù)人類的判斷來訓練這個獎勵模型，所以這個大模型有點像近似于人們認為在寫青蛙故事或總結(jié)新聞文章或其他方面的一個好嘗試。然后當我們訓練一個完全不同的模型，我們也能根據(jù)獎勵模型來做得更好。

因此，我們的方法的重要之處在于，我們沒有采用其他方法，而是明確地學習了人們對一項任務的良好表現(xiàn)的看法。然后，我們單獨優(yōu)化一個神經(jīng)網(wǎng)絡，使其根據(jù)該表征完成一項好工作。因此，這就是從人類反饋中進行的實質(zhì)性強化學習。

我們正在做強化學習，因為我們試圖根據(jù)一個模型去構(gòu)建另一個完全不同的但能很好運行的新模型。然后人類的反饋部分來自老師或分數(shù)模型，這些模型經(jīng)過訓練，可以預測人類的偏好。這就是這個方法的核心，然后，為了引導一堆數(shù)據(jù)，我們又做了所謂的監(jiān)督學習或監(jiān)督微調(diào)，在那里，我們實際上只是要求他們直接制作所謂的示范，而不是讓人們對已經(jīng)寫好的青蛙的故事給出他們的偏好。所以，他們自己被要求用法語寫一個關于青蛙的故事，我們訓練模型模仿他們在這些情況下使用的單詞。這對引導數(shù)據(jù)很有用，但對RLHF方法來說不一定是必需的。

Open AI研究科學家歐陽龍，圖源：AI PUB

你是否看到其他主要的應用程序跳過了第一步？

歐陽龍：我們有時還會這樣做，我想有一點是，現(xiàn)在少數(shù)的片段提示已經(jīng)變得很有競爭力了。因此，你有時可以跳過收集演示，因為從模型的幾個片段的輸出已經(jīng)是可以接受的，或者說是已經(jīng)足夠好，以至于沒有必要進行單獨的監(jiān)督微調(diào)。

Ryan Lowe：一種思考方法是，RLHF幫助您獲得更細粒度的模型行為調(diào)優(yōu)，而監(jiān)督式調(diào)優(yōu)和收集演示可以更徹底地改變模型行為。例如，假設你有一個模型，它在生成摘要方面很糟糕。在不同的糟糕摘要之間獲得一堆排名反饋并不是最有用的。所以你要做的是收集一些非常好的總結(jié)的例子，然后讓你的模型試著模仿一下。實際上，這是一個經(jīng)驗問題，什么時候最好從收集演示轉(zhuǎn)換到收集比較或排名數(shù)據(jù)。我們在另一篇論文中對此有一些結(jié)果但這仍然是一個非常開放的問題。

你是怎么想到InstructGPT這個主意的？這個想法是如何出現(xiàn)的，以及這個項目是如何在OpenAI中出現(xiàn)的？

歐陽龍：我們實際上已經(jīng)研究這個方法有一段時間了，只是動機略有不同。調(diào)整團隊通常感興趣的不一定是使模型更好，盡管有時確實會產(chǎn)生副作用，但最終目的是使它們更符合我們想要的。因此，在之前的幾篇論文中，我們將這種方法應用于更窄的領域，看看它是否有效。緊跟著GPT-3通過API部署到公眾面前，團隊的一些成員想到將我們在以前的論文中開發(fā)的對齊技術(shù)應用到這個新模型上，我們現(xiàn)在正在為公眾服務。

Ryan Lowe：最初寫谷歌文件提出這個建議的人是Paul Chirstiano，他當時是調(diào)整團隊的負責人。

很多人都在議論下一代語言模型將會非常強大。這是否會帶來有趣的挑戰(zhàn)，或者是否有新的方法來適應這種挑戰(zhàn)并處理這些更強大的語言模型？你想把這項工作推進到哪里？

Ryan Lowe：我們有一個內(nèi)容政策，說我們不希望模型生成代碼來入侵銀行或做其他類似的違法亂紀的事情，但我們發(fā)現(xiàn)實際上它有可能被犯罪分子用來編寫代碼來入侵銀行。現(xiàn)在我們有一個艱難的過程來引導事情朝著不這樣做的方向發(fā)展，但在可靠性和耐久性方面仍然存在差距。所以我們只能繼續(xù)擁有我們的技術(shù)，讓它們變得更好，這樣如果你發(fā)現(xiàn)一些偏差，你可以迅速修復它。

Anthropic最近發(fā)表了一些關于使用模型來幫助這個過程的論文，非常有趣。我特別感興趣的一件事是超越了本質(zhì)上與平均標簽者設立的框架。當我們開始問：你在根據(jù)誰在調(diào)整這些模型時，將會有一些非常棘手的問題?，F(xiàn)在基本上是我們的標簽員加上我們通過一組指令讓他們遵循。但OpenAI并不想處在這樣一個道德獨裁者的位置，即我們來決定怎么做是正確的，以及什么是正確的價值觀。因此，駕馭這個問題將是一個挑戰(zhàn)，涉及到機器學習的干預，但也涉及到更廣泛的社會技術(shù)角度。

Open AI研究科學家Ryan Lowe，圖源：AI PUB

隨著語言模型變得越來越強大，這類研究是否會出現(xiàn)有趣的問題或新的挑戰(zhàn)和新的方向？

歐陽龍：其中一個問題是，如果這些模型非常強大，那么僅僅是進行這些比較判斷就會變得更加困難。因此，我們想要給出一個強大模型的任務示例是：為GitHub上的這個拉拽請求編寫代碼審查?，F(xiàn)在的模型還不能做到這一點，但你可以想象，在一兩年內(nèi)，更有能力的模型可能就能做到，這絕對是我們希望機器學習幫助解決的事情。數(shù)據(jù)標簽承包商評估模型編寫的代碼的時間可能非常長，也可能他們根本無法做到這一點。

因此，在使用模型處理的事情超過個人評估模型的能力時，一個非常突出的挑戰(zhàn)是，當模型在大量不同的事情上非常強大的時候，那么評判他們做得是否很好就會相當不容易。這是一個構(gòu)建其他人工智能模型幫助人們評估其他機器學習系統(tǒng)的新領域。

Ryan Lowe：我同意歐陽龍所說的，我唯一想補充的是關于長期的一致性研究；這些系統(tǒng)會根據(jù)你的程序來優(yōu)化。因此，如果他們優(yōu)化的是人類在做排名時哪些排名靠前的東西，那么你所優(yōu)化的就是產(chǎn)生對人類來說聽起來不錯的輸出。隨著模型變得越來越強大，有可能在優(yōu)化過程中，他們會發(fā)現(xiàn)有趣的或棘手的或具有欺騙性的（也許有待商榷）方法來產(chǎn)生高分的輸出，而這實際上不是我們想要的輸出。我認為我們還沒有完全做到，但至少這是我們想要關注的事情。

至于如何緩解這種情況，有歐陽龍談到的各種方法，也就是你有其他人工智能模型來幫助你評估輸出——這就是我談到的可擴展的監(jiān)督研究風格。因此，人們正在研究更多的可解釋性問題，比如：我們能否嘗試理解一個模型內(nèi)部發(fā)生了什么? 這是另一個調(diào)整研究的思路。我們什么時候能夠?qū)崿F(xiàn)它還很難說，但這是值得思考的。

你剛剛提到有人在觀察模型內(nèi)部發(fā)生的事情。你能指出你最近在這個領域看到的任何有趣的外部事物嗎？

Ryan Lowe：我還沒有深入研究這方面的文獻，但從我所看到的和略讀到的資料來看，Anthropic在可解釋性方面的研究非常有趣。他們正在研究較小規(guī)模的轉(zhuǎn)換器，試圖了解里面到底發(fā)生了什么。

歐陽龍：對于建立語言模型所做的工作來說，有一些補充工作是以一種更可觀察的方式進行的。Anthropic對于“監(jiān)督語言模型所做的過程，而不是結(jié)果”這個想法很感興趣，就像我們一樣。因此，這里的想法可能是把一個大任務分解成一堆小的組件，而你可能對其中的一些組成部分比對整個端到端的訓練過程有更好的把握。

這是訓練的一部分還是最后的微調(diào)？

歐陽龍：我一直以來在人們編寫程序時也看到過這種情況。有一個名為Ought的研究小組，也為學術(shù)論文建立了一個所謂的文獻審查助手。他們已經(jīng)使用這種技術(shù)來構(gòu)建他們的語言模型輔助閱讀復習工具。到目前為止我看到的例子都是這樣的，但是思考如何分解訓練是很有趣的。

要進一步了解這篇論文或者了解你更廣泛的工作，你有什么建議嗎?

Ryan Lowe：我認為人們可能已經(jīng)在這么做了，但如果你還沒有，不妨嘗試一下這些模型，對它能做什么和不能做什么有一個直覺的了解。要特別去留意那些你試圖讓它做，而它卻沒有做的事情。我們正在做調(diào)整工作，但你也可以考慮為一個非常具體的用例進行調(diào)整的工作。

此外，也許人們還可以發(fā)展出一點好奇心，思考如果我們有GPT7會發(fā)生什么，因為已經(jīng)有人在思考這些更長期的調(diào)整問題。我們專注于長期調(diào)整方面的同事寫了一篇關于批判的論文，同時他還訓練語言模型來批判，這算是在可擴展的調(diào)整問題中的一個步驟。

歐陽龍：我也建議你試試InstructGPT。這是一個公開的模型，你可以在beta.openai.com上得到一些免費的點數(shù)來玩，這一點并沒有很多人知道。

Ryan Lowe：是的，這很有趣，因為底層的GPT 3.5從去年早些時候就已經(jīng)可以使用了，但是只有當人們免費使用它，而且是以助手的形式，它才真正流行起來。去試試InstructGPT吧，在某些方面它比ChatGPT更好，但在某些方面又比ChatGPT更差。

本文作者是Arize AI聯(lián)合創(chuàng)始人兼CPO、福布斯撰稿人，文章內(nèi)容僅代表作者本人觀點。本文譯自：

https://www.forbes.com/sites/aparnadhinakaran/2023/03/27/ten-questions-with-openai-on-reinforcement-learning-with-human-feedback

關鍵詞：