首頁|必讀|視頻|專訪|運(yùn)營|制造|監(jiān)管|大數(shù)據(jù)|物聯(lián)網(wǎng)|量子|元宇宙|博客|特約記者
手機(jī)|互聯(lián)網(wǎng)|IT|5G|光通信|人工智能|云計(jì)算|芯片報告|智慧城市|移動互聯(lián)網(wǎng)|會展
首頁 >> 人工智能 >> 正文

百度CTO王海峰:文心3.5模型效果提升50%,新增知識點(diǎn)增強(qiáng)技術(shù)

2023年7月7日 07:23  新浪科技  

7月6日晚間消息,2023世界人工智能大會期間,百度首席技術(shù)官王海峰發(fā)言指出,百度文心大模型現(xiàn)已升級為文心大模型3.5,已實(shí)現(xiàn)基礎(chǔ)模型升級、精調(diào)技術(shù)創(chuàng)新、知識點(diǎn)增強(qiáng)、邏輯推理增強(qiáng)等,模型效果提升50%,訓(xùn)練速度提升2倍,推理速度提升30倍。

據(jù)王海峰介紹,在基礎(chǔ)模型訓(xùn)練上,文心大模型3.5采用了飛槳自適應(yīng)混合并行訓(xùn)練技術(shù)及混合精度計(jì)算策略,并采用多種策略優(yōu)化數(shù)據(jù)源及數(shù)據(jù)分布,加快了模型迭代速度,顯著提升了模型效果和安全性,同時還創(chuàng)新了多類型多階段有監(jiān)督精調(diào)、多層次多粒度獎勵模型、多損失函數(shù)混合優(yōu)化策略、雙飛輪結(jié)合的模型優(yōu)化等技術(shù),進(jìn)一步提升模型效果及場景適配能力。

在知識增強(qiáng)和檢索增強(qiáng)基礎(chǔ)上,文心大模型3.5提出了“知識點(diǎn)增強(qiáng)技術(shù)”,對用戶輸入的查詢、問題等進(jìn)行分析理解,為大模型注入更具體、詳細(xì)、專業(yè)的知識點(diǎn),顯著提升大模型對世界知識的掌握和運(yùn)用。此外,文心大模型3.5還新增了插件機(jī)制,目前文心一言已對外發(fā)布官方插件百度搜索和ChatFile。(文猛)

編 輯:章芳
聲明:刊載本文目的在于傳播更多行業(yè)信息,本站只提供參考并不構(gòu)成任何投資及應(yīng)用建議。如網(wǎng)站內(nèi)容涉及作品版權(quán)和其它問題,請?jiān)?0日內(nèi)與本網(wǎng)聯(lián)系,我們將在第一時間刪除內(nèi)容。本站聯(lián)系電話為86-010-87765777,郵件后綴為#cctime.com,冒充本站員工以任何其他聯(lián)系方式,進(jìn)行的“內(nèi)容核實(shí)”、“商務(wù)聯(lián)系”等行為,均不能代表本站。本站擁有對此聲明的最終解釋權(quán)。
相關(guān)新聞              
 
人物
工信部張?jiān)泼鳎捍蟛糠謬倚聞澐至酥蓄l段6G頻譜資源
精彩專題
專題丨“汛”速出動 共筑信息保障堤壩
2023MWC上海世界移動通信大會
中國5G商用四周年
2023年中國國際信息通信展覽會
CCTIME推薦
關(guān)于我們 | 廣告報價 | 聯(lián)系我們 | 隱私聲明 | 本站地圖
CCTIME飛象網(wǎng) CopyRight © 2007-2024 By CCTIME.COM
京ICP備08004280號-1  電信與信息服務(wù)業(yè)務(wù)經(jīng)營許可證080234號 京公網(wǎng)安備110105000771號
公司名稱: 北京飛象互動文化傳媒有限公司
未經(jīng)書面許可,禁止轉(zhuǎn)載、摘編、復(fù)制、鏡像