首頁|必讀|視頻|專訪|運營|制造|監(jiān)管|大數(shù)據(jù)|物聯(lián)網(wǎng)|量子|元宇宙|博客|特約記者
手機|互聯(lián)網(wǎng)|IT|5G|光通信|人工智能|云計算|芯片報告|智慧城市|移動互聯(lián)網(wǎng)|會展
首頁 >> 人工智能 >> 正文

OpenAI官宣推出多模態(tài)ChatGPT 能看、能聽、還會說

2023年9月26日 09:28  財聯(lián)社  

北京時間周一晚間,人工智能領(lǐng)域的知名創(chuàng)業(yè)公司OpenAI發(fā)布題為《ChatGPT現(xiàn)在能看、能聽、能說》的公告,宣布將在未來兩周時間里向付費用戶推送這項功能。

在今年3月GPT-4的發(fā)布會上,最令人感到震驚的一幕應(yīng)該是,OpenAI總裁Greg Brockman拿著一張草稿紙畫了個草圖,隨手拍了張照就讓GPT-4在10秒鐘時間里生成了這個網(wǎng)站的代碼。

(來源:OpenAI)

ChatGPT此前曾推出過能上傳圖片的“代碼解釋器“功能,具備了一些初步處理圖像和文本照片的能力。但毫無疑問,今天這個“隨手拍、隨心問”才更貼近大多數(shù)用戶的AI助手使用場景。

拍張冰箱照片 告訴你今晚吃啥

按照標(biāo)題的順序,今天更新的功能主要有兩點:基于圖片的對話,以及實時語音對話。

先說關(guān)注度非常高的圖片聊天功能。按照OpenAI的說法,用戶現(xiàn)在可以拍一張冰箱的照片,然后讓ChatGPT來推薦菜譜;在旅行時拍攝一張地標(biāo)的照片,讓ChatGPT來講述這處景點的有趣之處。當(dāng)然,也能拍一張數(shù)學(xué)題的照片,讓ChatGPT來解答。

在官方給出的例子中,給到ChatGPT一張自行車的照片,問它如何把座椅調(diào)低。然后ChatGPT表示看你車的型號,有的車有快拆桿,有的是用螺栓固定,然后給出了詳細的步驟。

隨后官方裝作不懂,拍了一張螺栓的照片,并用官方畫圖工具圈出來以示強調(diào),然后問ChatGPT這是不是快拆桿。ChatGPT表示你這個是螺栓,得去找一個內(nèi)六角扳手。

隨后官方又拍了一張工具箱的照片,問ChatGPT到底是哪一個扳手。ChatGPT也順利地認出了扳手,并準(zhǔn)確提示用戶到底要拿哪一個尺寸。

ChatGPT會說話啦!

除此之外,OpenAI也將語音識別、轉(zhuǎn)錄和音頻生成功能打包,推出了AI語音聊天的功能,這項功能只適用于iOS和安卓客戶端。官方表示,用戶可以用這項功能為家里的小孩講睡前故事;蛘呒依锍灾,突然為某個問題吵起架來,這個時候就可以把ChatGPT拍在桌面上解決爭論。

OpenAI介紹稱,這項功能使用了Whisper開源語音識別系統(tǒng),將用戶說的話轉(zhuǎn)錄成文本。同時還用上了一項新的文本轉(zhuǎn)語音模型,并與專業(yè)配音演員合作,提供5種可供用戶自行選擇的聲音。

更先進的AI也有新的風(fēng)險和局限性

OpenAI表示,新的語音技術(shù)能夠僅通過幾秒鐘的真實語音創(chuàng)造出逼真的合成聲音。這種功能打開了創(chuàng)造力的大門,也帶來了新的風(fēng)險——例如不法分子可能偽造公眾人物進行欺詐。所以O(shè)penAI的決策是通過“語音聊天”這樣的特定用例來推出這項功能。

同時OpenAI也在與更多的機構(gòu)展開合作。例如流媒體公司Spotify就在試用這項功能來進行語音翻譯,通過使用播客主持人的聲音將播客音頻翻譯成其他語言,幫助播客主持人擴大他們的全球影響力。

圖像也會帶來新的挑戰(zhàn),例如幻覺問題,以及使用者在高風(fēng)險領(lǐng)域卻依賴模型對圖像的解釋。因此在上線前,OpenAI也對極端主義和科學(xué)能力等領(lǐng)域進行了風(fēng)險測試。

另外對看到這篇文章的中文讀者來說,圖片對話的體驗大概率值得期待,但語音對話可能要打一些折扣。OpenAI表示,該模型擅長轉(zhuǎn)錄英文文本,但在一些其他語言,特別是那些使用非羅馬字母的語言中表現(xiàn)不佳,建議非英語用戶不要使用ChatGPT來進行此類用途。

編 輯:章芳
聲明:刊載本文目的在于傳播更多行業(yè)信息,本站只提供參考并不構(gòu)成任何投資及應(yīng)用建議。如網(wǎng)站內(nèi)容涉及作品版權(quán)和其它問題,請在30日內(nèi)與本網(wǎng)聯(lián)系,我們將在第一時間刪除內(nèi)容。本站聯(lián)系電話為86-010-87765777,郵件后綴為#cctime.com,冒充本站員工以任何其他聯(lián)系方式,進行的“內(nèi)容核實”、“商務(wù)聯(lián)系”等行為,均不能代表本站。本站擁有對此聲明的最終解釋權(quán)。
相關(guān)新聞              
 
人物
工信部張云明:大部分國家新劃分了中頻段6G頻譜資源
精彩專題
專題丨“汛”速出動 共筑信息保障堤壩
2023MWC上海世界移動通信大會
中國5G商用四周年
2023年中國國際信息通信展覽會
CCTIME推薦
關(guān)于我們 | 廣告報價 | 聯(lián)系我們 | 隱私聲明 | 本站地圖
CCTIME飛象網(wǎng) CopyRight © 2007-2024 By CCTIME.COM
京ICP備08004280號-1  電信與信息服務(wù)業(yè)務(wù)經(jīng)營許可證080234號 京公網(wǎng)安備110105000771號
公司名稱: 北京飛象互動文化傳媒有限公司
未經(jīng)書面許可,禁止轉(zhuǎn)載、摘編、復(fù)制、鏡像