男人的天堂av社区在线_久久精品国产免费_麻麻装睡用屁股迎合我1_Z0OZO0人善之交另类_幻女FREE性ZOZO交体内谢

強(qiáng)化微調(diào)可以輕松創(chuàng)建具備強(qiáng)大推理能力的專(zhuān)家模型。

昨天關(guān)于 o1 和 200 美元一個(gè)月的 o1-pro 的新聞已經(jīng)消化完了嗎？咱們?cè)摽淇?，該吐嘈就吐嘈，但也不得不說(shuō)，OpenAI 是懂營(yíng)銷(xiāo)宣傳的，至少這個(gè) 12 天連續(xù)發(fā)布的策略著實(shí)是賺足了眼球。?

現(xiàn)在，OpenAI 的 12 天計(jì)劃進(jìn)入了第 2 天。凌晨?jī)牲c(diǎn)，我們迎來(lái)了一個(gè)開(kāi)發(fā)者和研究者更感興趣的產(chǎn)品：Reinforcement Fine-Tuning，即強(qiáng)化微調(diào)。

今天參與發(fā)布的四人組是 OpenAI 研究副總裁 Mark Chen、OpenAI 技術(shù)員 John Allard 和 Julie Wang、Berkeley Lab 的環(huán)境基因組學(xué)和系統(tǒng)生物學(xué)研究者 Justin Reese。

Mark Chen 首先表示，今天發(fā)布的強(qiáng)化微調(diào)「允許你將你的黃金數(shù)據(jù)集轉(zhuǎn)化為獨(dú)特的產(chǎn)品，這將能讓你將我們具有的神奇能力提供給你自己的用戶(hù)和客戶(hù)?！沟?font cms-style="font-L">實(shí)際上要到明年才會(huì)真正公開(kāi)推出。

OpenAI 微調(diào)團(tuán)隊(duì) Steven Heidel 也在 X 上給出了一句話(huà)總結(jié)：

什么是強(qiáng)化微調(diào)？

去年，OpenAI 就已經(jīng)為自家產(chǎn)品推出了監(jiān)督式微調(diào) API。簡(jiǎn)單來(lái)說(shuō)，監(jiān)督式微調(diào)要做的是讓模型模仿它在輸入文本或圖像中找到的特征。這種強(qiáng)大的技術(shù)可用于修改模型的語(yǔ)氣、樣式或響應(yīng)格式等等。

強(qiáng)化微調(diào)（RFT）則是一種更進(jìn)一步模型定制技術(shù)，可讓開(kāi)發(fā)者使用強(qiáng)化學(xué)習(xí)針對(duì)具體任務(wù)對(duì)模型進(jìn)行進(jìn)一步的微調(diào)，并根據(jù)提供的參考答案對(duì)模型的響應(yīng)進(jìn)行評(píng)分。

也就是說(shuō)，強(qiáng)化微調(diào)不僅會(huì)教模型模仿其輸入，更是會(huì)讓其學(xué)會(huì)在特定領(lǐng)域以新的方式進(jìn)行推理。

具體來(lái)說(shuō)，當(dāng)模型發(fā)現(xiàn)問(wèn)題時(shí)，要為它提供思考問(wèn)題的空間，然后再對(duì)模型給出的響應(yīng)進(jìn)行打分。之后，利用強(qiáng)化學(xué)習(xí)的力量，可以強(qiáng)化模型得到正確答案的思維方式并抑制導(dǎo)向錯(cuò)誤答案的思維方式。John Allard 表示：「只需幾十個(gè)例子，模型就能學(xué)會(huì)在自定義領(lǐng)域以新的有效方式進(jìn)行推理。」看起來(lái)，這種技術(shù)既能提高其在該領(lǐng)域特定任務(wù)上的準(zhǔn)確性，還能增強(qiáng)模型對(duì)類(lèi)似問(wèn)題的推理能力。

Allard 還指出，OpenAI 內(nèi)部在訓(xùn)練 GPT-4o 和 o1 系列模型時(shí)也使用了同樣的技術(shù)。

Julie Wang 表示：「開(kāi)發(fā)者、研究人員和機(jī)器學(xué)習(xí)工程師將能夠使用強(qiáng)化學(xué)習(xí)來(lái)創(chuàng)建能夠在其領(lǐng)域內(nèi)擅長(zhǎng)其特定任務(wù)的專(zhuān)家模型。我們相信，任何需要在 AI 模型方面擁有深厚專(zhuān)業(yè)知識(shí)的領(lǐng)域都能受益，比如法律、金融、工程、保險(xiǎn)?！顾e了個(gè)例子，OpenAI 最近與湯森路透合作，使用強(qiáng)化微調(diào)來(lái)微調(diào) o1-mini，從而得到了好用的 AI 法律助理，能幫助他們的法律專(zhuān)業(yè)人員完成一些「最具分析性的工作流程」。

伯克利實(shí)驗(yàn)室的 Justin Reese 也談到了強(qiáng)化微調(diào)對(duì)自己在罕見(jiàn)疾病方面的研究的幫助。他表示，罕見(jiàn)疾病其實(shí)并不罕見(jiàn) —— 全球患有不同罕見(jiàn)疾病的人總數(shù)可達(dá)到 3 億人；而罕見(jiàn)疾病患者在確診之前往往需要數(shù)月乃至數(shù)年的漫長(zhǎng)診斷過(guò)程。因?yàn)闉榱嗽\斷出這些疾病，既需要醫(yī)學(xué)專(zhuān)業(yè)知識(shí)，還必須基于生物醫(yī)學(xué)數(shù)據(jù)進(jìn)行系統(tǒng)性推理。而 o1 加上強(qiáng)化微調(diào)就能滿(mǎn)足這樣的需求。

如何實(shí)現(xiàn)強(qiáng)化微調(diào)？

OpenAI 通過(guò)一個(gè)根據(jù)癥狀推理預(yù)測(cè)可能基因的示例展現(xiàn)了強(qiáng)化微調(diào)的巨大潛力 —— 這實(shí)際上也正是伯克利實(shí)驗(yàn)室與 OpenAI 的合作項(xiàng)目之一。結(jié)果發(fā)現(xiàn)，使用強(qiáng)化微調(diào)后，模型規(guī)模更小的 o1-mini 的表現(xiàn)可超過(guò)性能更加強(qiáng)勁的 o1。

下面將基于具體示例介紹如何實(shí)現(xiàn)強(qiáng)化微調(diào)。

首先來(lái)看訓(xùn)練數(shù)據(jù)集。具體來(lái)說(shuō)，這里的數(shù)據(jù)集是一個(gè) .jsonl 文件，其中每一行都是一個(gè)訓(xùn)練樣本。在這個(gè)示例中，數(shù)據(jù)集中包含 11 個(gè)樣本。

下面展示了一個(gè)具體數(shù)據(jù)樣本?？梢钥吹狡渲邪?xiàng)：病例報(bào)告（包含基本信息、癥狀以及沒(méi)有的癥狀）、指令和正確答案。

在強(qiáng)化微調(diào)的訓(xùn)練過(guò)程中，模型并不能看到正確答案。在給模型提供病例報(bào)告和指令之后，模型會(huì)輸出如上圖底部所示的響應(yīng) —— 一個(gè)基因列表，其中排在第一位的基因是模型認(rèn)為最可能的基因，以此類(lèi)推。

接下來(lái)，還需要上傳一個(gè)驗(yàn)證數(shù)據(jù)集。驗(yàn)證數(shù)據(jù)與訓(xùn)練數(shù)據(jù)的格式完全一樣，但內(nèi)容沒(méi)有重疊。這樣才能驗(yàn)證模型能否在該任務(wù)上進(jìn)行泛化，而不僅僅是記住了訓(xùn)練數(shù)據(jù)。

在訓(xùn)練過(guò)程中，強(qiáng)化微調(diào)的「強(qiáng)化」部分就體現(xiàn)在評(píng)分器（Grader）的使用上。其設(shè)計(jì)思路很簡(jiǎn)單，評(píng)分器會(huì)比較模型輸出與正確答案，然后返回一個(gè) 0 到 1 之間的分?jǐn)?shù)。0 表示模型的輸出中不包含正確答案，而 1 表示正確答案在輸出的第一個(gè)位置。如下圖所示，正確答案在第 2 個(gè)位置，評(píng)分器給出了 0.7 的分?jǐn)?shù)。

當(dāng)然，有些任務(wù)的輸出結(jié)果并不是列表形式，因此 OpenAI 也提供了其它評(píng)分器，可以「相當(dāng)有效地覆蓋你可能擁有的意圖的空間」。并且他們也在不斷增加更多評(píng)分器，未來(lái)也會(huì)支持用戶(hù)自己定制的評(píng)分器。

配置好評(píng)分器之后，用戶(hù)還可以選擇調(diào)整模型種子和一些超參數(shù)，包括批量大小、學(xué)習(xí)率乘數(shù)、epoch 數(shù)量。

接下來(lái)，點(diǎn)擊 Create，再等待一段時(shí)間，用戶(hù)就能得到經(jīng)過(guò)強(qiáng)化微調(diào)的定制模型。Allard 表示，根據(jù)具體任務(wù)的不同，這個(gè)訓(xùn)練過(guò)程可能需要數(shù)小時(shí)到數(shù)天時(shí)間。

接下來(lái)，他演示了一個(gè)之前已經(jīng)微調(diào)好的模型，以下截圖展示了該模型的相關(guān)信息，可以看到基礎(chǔ)模型是 o1-mini，經(jīng)過(guò)強(qiáng)化微調(diào)后會(huì)得到一個(gè)輸出模型。

同一個(gè)頁(yè)面中還能看到模型在驗(yàn)證數(shù)據(jù)集上的分?jǐn)?shù)變化情況。

那么，這個(gè)經(jīng)過(guò)強(qiáng)化微調(diào)的 o1-mini 的表現(xiàn)究竟如何呢？評(píng)估結(jié)果表明，在 top@1（正確答案在列表第 1 個(gè)位置的概率）、top@5（正確答案在列表前 5 個(gè)位置的概率）和 top@max（輸出中包含正確答案的概率）指標(biāo)上，其表現(xiàn)都明顯勝過(guò)性能更加強(qiáng)大的最新版 o1。

下面展示了一些運(yùn)行過(guò)程示例：

當(dāng)然，強(qiáng)化微調(diào)是一種通用技術(shù)。理論上，只要有合適的數(shù)據(jù)集和評(píng)估器，你就能將 o1 訓(xùn)練成你的專(zhuān)業(yè) AI 助手。

目前，OpenAI 僅支持強(qiáng)化微調(diào)的 Alpha 測(cè)試申請(qǐng)，并且名額有限，「非常適合正在與專(zhuān)家團(tuán)隊(duì)一起處理非常復(fù)雜任務(wù)的組織」，個(gè)人用戶(hù)至少得等到明年了。如果你有需求，可以在這里嘗試申請(qǐng)：

https://openai.com/form/rft-research-program/

同樣，今天的發(fā)布也在一個(gè)圣誕笑話(huà)中收尾：

圣誕老人正在努力制造一輛自動(dòng)駕駛雪橇，但由于某種原因，他的模型一直無(wú)法識(shí)別樹(shù)木，導(dǎo)致雪橇老是撞樹(shù)。你猜原因是什么？

因?yàn)樗麤](méi)有 pine-tune 自己的模型。

你看懂這個(gè)????諧音梗笑話(huà)了嗎？對(duì)強(qiáng)化微調(diào)又有何感想呢？