當(dāng)?shù)貢r間 30 日,OpenAI 宣布,為了衡量語言模型的準(zhǔn)確性,將開源一個名為 SimpleQA 的新基準(zhǔn),可衡量語言模型回答簡短的事實尋求(fact-seeking)問題的能力。
AI 領(lǐng)域中的一個開放性難題是如何訓(xùn)練模型生成事實正確的回答。當(dāng)前的語言模型有時會產(chǎn)生錯誤輸出或未經(jīng)證實的答案,這一問題被稱為“幻覺”。能夠生成更準(zhǔn)確、更少幻覺的回答的語言模型更為可靠,可以用于更廣泛的應(yīng)用領(lǐng)域。
OpenAI 表示,目標(biāo)是使用 SimpleQA 創(chuàng)建一個具備以下特點(diǎn)的數(shù)據(jù)集:
高正確性:問題的參考答案由兩名獨(dú)立的 AI 訓(xùn)練師驗證,以確保評分的公正性。
多樣性:SimpleQA 涵蓋廣泛主題,從科學(xué)技術(shù)到電視節(jié)目與電子游戲應(yīng)有盡有。
前沿挑戰(zhàn)性:與 TriviaQA(2017 年)或 NQ(2019 年)等早期基準(zhǔn)相比,SimpleQA 更具挑戰(zhàn)性,尤其針對如 GPT-4o 等前沿模型(例如,GPT-4o 的得分不足 40%)。
高效用戶體驗:SimpleQA 問題與答案簡潔明了,使操作快速高效,并可通過 OpenAI API 等進(jìn)行快速評分。此外,包含 4326 道問題的 SimpleQA 在評估中應(yīng)具有較低的方差。
SimpleQA 將是一個簡單但具有挑戰(zhàn)性的基準(zhǔn),用于評估前沿模型的事實準(zhǔn)確性。SimpleQA 的主要限制在于其范圍 —— 盡管 SimpleQA 準(zhǔn)確,但它只在短查詢的受限設(shè)置中測量事實準(zhǔn)確性,這些查詢是事實導(dǎo)向的,并且有一個可驗證的答案。
OpenAI 表示,模型在短回答中表現(xiàn)出的事實性是否與其在長篇、多事實內(nèi)容中的表現(xiàn)相關(guān),這仍是個懸而未決的研究課題。其希望 SimpleQA 的開源能夠進(jìn)一步推動 AI 研究的發(fā)展,使模型更加可信并富有可靠性。