IMO金牌的頭魁原來(lái)是谷歌DeepMind,只是因?yàn)閮?nèi)部流程審批慢,被OpenAI搶占先機(jī),占盡風(fēng)頭。那助OpenAI拿下IMO金牌的模型有何特殊之處?它背后的爭(zhēng)議為何引發(fā)菲爾茲獎(jiǎng)得主陶哲軒公開(kāi)出面發(fā)聲?
爆料稱,谷歌DeepMind的AI模型早在本周五,也就是兩天前,便拿下了IMO金牌。
但由于內(nèi)部審核慢,需等下周一市場(chǎng)部批準(zhǔn)后,DeepMind才能官宣具體情況。
OpenAI瞅中了時(shí)機(jī),用全新通用推理模型在IMO刷題后,立即公開(kāi)了結(jié)果。
昨天,全網(wǎng)幾乎都被OpenAI拿下IMO金牌刷屏了。自家研究員紛紛現(xiàn)身,宣傳OpenAI神秘模型的強(qiáng)大。
谷歌DeepMind研究員Archit Sharma調(diào)侃道,「恭喜!居然比我們先官宣了——現(xiàn)在P6是新標(biāo)桿了嗎」?
簡(jiǎn)而言之,OpenAI這次的通用推理模型在「通用強(qiáng)化學(xué)習(xí)和測(cè)試時(shí)計(jì)算擴(kuò)展方面開(kāi)辟了新天地?!?/p>
OpenAI推理研究員Noam Brown指出,這個(gè)模型并非專門為國(guó)際數(shù)學(xué)奧林匹克競(jìng)賽(IMO)設(shè)計(jì)。
它是一個(gè)融合了全新實(shí)驗(yàn)性通用技術(shù)的推理LLM,使其在難以驗(yàn)證的任務(wù)上表現(xiàn)得更好。
IMO問(wèn)題正是這一挑戰(zhàn)的完美體現(xiàn):證明過(guò)程長(zhǎng)達(dá)數(shù)頁(yè),專家需要花費(fèi)數(shù)小時(shí)來(lái)評(píng)分。
這次的通用推理模型,在推理時(shí)間跨度上實(shí)現(xiàn)了逐步進(jìn)步:從GSM8K(頂尖人類約 0.1 分鐘)→ MATH基準(zhǔn)(約1分鐘)→ AIME(約10分鐘)→ IMO(約100 分鐘)。
「重要的是,它的思考效率也更高。而且在測(cè)試時(shí)計(jì)算能力和效率方面還有很大的提升空間?!?/p>
通過(guò)這樣做,就可以獲得一個(gè)能夠像人類數(shù)學(xué)家一樣,構(gòu)建復(fù)雜且無(wú)懈可擊論證的模型。
他稱,OpenAI拿下IMO金牌這事,需要強(qiáng)調(diào)的是,「這是一個(gè)LLM在做數(shù)學(xué)題,而不是一個(gè)特定的形式化數(shù)學(xué)系統(tǒng)這是朝著AGI邁進(jìn)的主要部分。」
其實(shí),奧特曼之所以這么「積極主動(dòng)」,也不難發(fā)現(xiàn)是在為GPT-5發(fā)布提前鋪路呢!
他們估計(jì)想在這個(gè)重要節(jié)點(diǎn)上,利用OpenAI拿下IMO金牌這事,為GPT-5來(lái)波神助攻。
他指出,GPT-5是一個(gè)實(shí)驗(yàn)性模型,用了一些將在未來(lái)模型中使用的新研究技術(shù)。
陶哲軒簡(jiǎn)明扼要,在缺乏受控測(cè)試環(huán)境的情況下,AI的數(shù)學(xué)能力難以準(zhǔn)確評(píng)估。
他指出,很多人對(duì)AI有個(gè)誤解,就是把它的能力看成是「行」或「不行」兩個(gè)極端。
但實(shí)際上,它的能力是一個(gè)巨大的范圍。你給它提供的計(jì)算資源、給它的指令有多好,以及你要求它如何雷火競(jìng)技輸出結(jié)果,都會(huì)導(dǎo)致最終效果產(chǎn)生天壤之別。
以人類競(jìng)賽舉個(gè)栗子: 在剛結(jié)束的IMO競(jìng)賽中,各國(guó)派出六名高中生選手組成的團(tuán)隊(duì)(由職業(yè)數(shù)學(xué)家擔(dān)任領(lǐng)隊(duì))。
期間選手嚴(yán)禁交流(包括與領(lǐng)隊(duì)),僅可向監(jiān)考詢問(wèn)題目表述問(wèn)題。領(lǐng)隊(duì)僅在評(píng)分環(huán)節(jié)向評(píng)審委員會(huì)申訴,不直接參與解題。
都知道,IMO被視為衡量中學(xué)生數(shù)學(xué)能力的金標(biāo)準(zhǔn):金牌線分(即完美解答五題),完整解出一題即可獲「榮譽(yù)提名」。
考慮一下如果我們以其他方式改變奧林匹克競(jìng)賽的形式,其難度水平會(huì)發(fā)生什么變化?
學(xué)生可以無(wú)限使用計(jì)算器、計(jì)算機(jī)代數(shù)軟件包、形式化證明助手、教科書(shū)或上網(wǎng)搜索。
領(lǐng)隊(duì)讓六人團(tuán)隊(duì)同時(shí)處理同一個(gè)問(wèn)題,相互交流各自的部分進(jìn)展和遇到的死胡同。
在此期間,隊(duì)長(zhǎng)會(huì)引導(dǎo)學(xué)生采用更有利的方法,并在某個(gè)學(xué)生花費(fèi)過(guò)多時(shí)間在他們知道不太可能成功的方向時(shí)進(jìn)行干預(yù)。
提交階段,每位隊(duì)員提交解答,但隊(duì)長(zhǎng)只選出「最佳」解答遞交競(jìng)賽,其余的都棄之不用。
如果團(tuán)隊(duì)中的學(xué)生都未能獲得令人滿意的解決方案,團(tuán)隊(duì)負(fù)責(zé)人將不會(huì)提交任何解決方案,并且會(huì)悄然退出比賽,而他們的參與也永遠(yuǎn)不會(huì)被記錄。
「這警示我們,在缺乏統(tǒng)一測(cè)試標(biāo)準(zhǔn)的情況下,貿(mào)然對(duì)比不同AI模型(或AI與人類選手)的IMO表現(xiàn)如同比較蘋果與橙子,沒(méi)有對(duì)比意義可言,」陶哲軒指出。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
受賄數(shù)額特別巨大!重慶市委政法委原書(shū)記陸克華被公訴 曾被通報(bào)搞“低級(jí)紅”“高級(jí)黑”
SEGA九月精選促銷活動(dòng)開(kāi)跑 《索尼克×夏特 世代重啟》《人中之龍8》特價(jià)登場(chǎng)
【資訊】2025年廣東省中小學(xué)美術(shù)教研員能力提升崗位研修活動(dòng)(第一期)在中山舉行
【預(yù)告】9月12日丨南方教研大講堂第158場(chǎng)——系統(tǒng)性培養(yǎng)高中生工程思維的廣東實(shí)踐