首頁(yè)|必讀|視頻|專(zhuān)訪|運(yùn)營(yíng)|制造|監(jiān)管|大數(shù)據(jù)|物聯(lián)網(wǎng)|量子|元宇宙|博客|特約記者
手機(jī)|互聯(lián)網(wǎng)|IT|5G|光通信|人工智能|云計(jì)算|芯片報(bào)告|智慧城市|移動(dòng)互聯(lián)網(wǎng)|會(huì)展
首頁(yè) >> 人工智能 >> 正文

人工智能軍備競(jìng)賽白熱化:谷歌最新AI大語(yǔ)言模型數(shù)據(jù)量擴(kuò)充5倍

2023年5月17日 08:56  新浪科技  

據(jù)報(bào)道,谷歌上周發(fā)布的最新大語(yǔ)言模型使用的訓(xùn)練數(shù)據(jù),幾乎是2022年的上一代模型的5倍。得益于此,該模型在編程、數(shù)學(xué)和創(chuàng)意寫(xiě)作方面的表現(xiàn)更為優(yōu)秀。

谷歌是在其I/O開(kāi)發(fā)者大會(huì)上發(fā)布最新通用大語(yǔ)言模型PaLM2的。內(nèi)部文件顯示,該模型采用了3.6萬(wàn)億個(gè)令牌(token)進(jìn)行訓(xùn)練。令牌指的是單詞串,這是訓(xùn)練大語(yǔ)言模型的重要基礎(chǔ),因?yàn)檫@可以教給模型如何預(yù)測(cè)字符串中可能出現(xiàn)的下一個(gè)單詞。

之前版本的PaLM發(fā)布于2022年,當(dāng)時(shí)使用的令牌為7800億個(gè)。

雖然谷歌很希望展示其人工智能技術(shù)的實(shí)力,以及嵌入搜索、電子郵件、字處理和電子表格后的效果,但該公司卻不愿發(fā)布其訓(xùn)練數(shù)據(jù)的規(guī)模和其他細(xì)節(jié)。微軟(311.74, 2.28, 0.74%)支持的OpenAI也對(duì)其最新的GPT-4大語(yǔ)言模型的細(xì)節(jié)信息保密。

這些公司表示,之所以不披露這些信息,是出于商業(yè)競(jìng)爭(zhēng)考慮。谷歌和OpenAI都在努力吸引想要用聊天機(jī)器人代替?zhèn)鹘y(tǒng)搜索引擎,從而直接獲取答案的用戶(hù)。

但隨著人工智能軍備競(jìng)賽日趨白熱化,相關(guān)研究人員也呼吁企業(yè)加大透明度。

自從發(fā)布PaLM2之后,谷歌一直表示新的模型比之前的大語(yǔ)言模型更小,這就意味著該公司的技術(shù)效率得以提升,但卻可以完成更加復(fù)雜的任務(wù)。內(nèi)部文件顯示,PaLM2基于3400億個(gè)參數(shù)訓(xùn)練——這項(xiàng)指標(biāo)可以說(shuō)明該模型的復(fù)雜程度。最初的PaLM則基于5400億個(gè)參數(shù)訓(xùn)練。

目前,谷歌尚未對(duì)此置評(píng)。

谷歌在一篇關(guān)于PaLM2的博文中表示,該模型使用了一種名為“計(jì)算機(jī)優(yōu)化擴(kuò)張”的新技術(shù)。這就讓大語(yǔ)言“更高效、整體性能更好,包括加快推理速度、減少參數(shù)調(diào)用和降低服務(wù)成本!

在宣布PaLM2時(shí),谷歌證實(shí)了此前的媒體報(bào)道,計(jì)該模型針對(duì)100種語(yǔ)言進(jìn)行訓(xùn)練,可以執(zhí)行更廣泛的任務(wù)。它已經(jīng)被用于25項(xiàng)功能和產(chǎn)品,包括該公司的實(shí)驗(yàn)性聊天機(jī)器人Bard。按照從小到大的規(guī)模劃分,該模型共有4種,分別是壁虎(Gecko)、水獺(Otter)、野牛(Bison)和獨(dú)角獸(Unicorn)。

根據(jù)公開(kāi)披露的信息,PaLM2比現(xiàn)有的任何模型都更加強(qiáng)大。Facebook在2月份宣布的的LLaMA大語(yǔ)言模型采用1.4萬(wàn)億個(gè)令牌。OpenAI上一次披露GPT-3的訓(xùn)練規(guī)模時(shí)表示,它當(dāng)時(shí)基于3000億個(gè)令牌。OpenAI今年3月發(fā)布GPT-4時(shí)表示,它在許多專(zhuān)業(yè)測(cè)試中展示出“與人類(lèi)媲美的表現(xiàn)”。

LaMDA是谷歌兩年前推出的一個(gè)對(duì)話型大語(yǔ)言模型,在今年2月還與Bard一同對(duì)外宣傳。該模型基于1.5萬(wàn)億個(gè)令牌訓(xùn)練。

隨著新的人工智能應(yīng)用快速進(jìn)入主流,圍繞底層技術(shù)的爭(zhēng)議也越來(lái)越激烈。

谷歌高級(jí)研究科學(xué)家艾爾·邁赫迪·艾爾·麥哈麥迪(El Mahdi El Mhamdi)于今年2月辭職,主要原因就是人工智能技術(shù)缺乏透明度。本周二,OpenAI CEO山姆·阿爾特曼(Sam Altman)出席美國(guó)國(guó)會(huì)針對(duì)隱私和技術(shù)舉行的聽(tīng)證會(huì),他也認(rèn)為需要設(shè)立一套新的制度來(lái)應(yīng)對(duì)人工智能的潛在問(wèn)題。

“對(duì)于一種全新的技術(shù),我們需要一套全新的框架!卑柼芈f(shuō),“當(dāng)然,像我們這樣的公司應(yīng)當(dāng)為我們推出的工具承擔(dān)許多責(zé)任!

編 輯:馬秋月
聲明:刊載本文目的在于傳播更多行業(yè)信息,本站只提供參考并不構(gòu)成任何投資及應(yīng)用建議。如網(wǎng)站內(nèi)容涉及作品版權(quán)和其它問(wèn)題,請(qǐng)?jiān)?0日內(nèi)與本網(wǎng)聯(lián)系,我們將在第一時(shí)間刪除內(nèi)容。本站聯(lián)系電話為86-010-87765777,郵件后綴為#cctime.com,冒充本站員工以任何其他聯(lián)系方式,進(jìn)行的“內(nèi)容核實(shí)”、“商務(wù)聯(lián)系”等行為,均不能代表本站。本站擁有對(duì)此聲明的最終解釋權(quán)。
相關(guān)新聞              
 
人物
工信部張?jiān)泼鳎捍蟛糠謬?guó)家新劃分了中頻段6G頻譜資源
精彩專(zhuān)題
專(zhuān)題丨“汛”速出動(dòng) 共筑信息保障堤壩
2023MWC上海世界移動(dòng)通信大會(huì)
中國(guó)5G商用四周年
2023年中國(guó)國(guó)際信息通信展覽會(huì)
CCTIME推薦
關(guān)于我們 | 廣告報(bào)價(jià) | 聯(lián)系我們 | 隱私聲明 | 本站地圖
CCTIME飛象網(wǎng) CopyRight © 2007-2024 By CCTIME.COM
京ICP備08004280號(hào)-1  電信與信息服務(wù)業(yè)務(wù)經(jīng)營(yíng)許可證080234號(hào) 京公網(wǎng)安備110105000771號(hào)
公司名稱(chēng): 北京飛象互動(dòng)文化傳媒有限公司
未經(jīng)書(shū)面許可,禁止轉(zhuǎn)載、摘編、復(fù)制、鏡像