7月6日,在中赫集團于北京舉行的工體元宇宙GTVerse發(fā)布會上,中赫集團攜手中國移動、高通公司共同發(fā)布了5G無界XR賽事體驗方案,共同探索以5G、XR為代表的先進技術(shù)在智慧體育場景下的應(yīng)用,助力北京新工體打造數(shù)實融合的全新應(yīng)用場景。
5G+XR賦能的“數(shù)實融合”新愿景
高通公司中國區(qū)研發(fā)負責人徐晧博士在發(fā)布環(huán)節(jié)進行了主題演講,詳細闡釋了依托中赫集團、中國移動和高通公司領(lǐng)先優(yōu)勢,5G無界XR賽事體驗方案的先進性和廣闊的商業(yè)部署前景。以下為徐晧博士的演講內(nèi)容實錄:
各位來賓、各位專家、各位線上線下的朋友,大家下午好!非常榮幸有機會為中赫集團、中國移動、高通三方發(fā)布做技術(shù)解讀。我們今天的發(fā)布是關(guān)于5G+XR如何賦能全新的體育賽事體驗。
今年是中國5G牌照發(fā)放的三周年;仡欉^去的三年,5G在全世界得到快速的商用和發(fā)展。從終端數(shù)量、基站數(shù)量和5G應(yīng)用來說,中國都走到了世界的最前列。5G不僅應(yīng)用于智能手機,還能夠在各行各業(yè)推動不同應(yīng)用場景的創(chuàng)新。其中,
幾個應(yīng)用場景非常突出,包括工業(yè)4.0,無界XR,車載網(wǎng)聯(lián)和自動駕駛。在今天的工體元宇宙發(fā)布會上,我將專注于介紹其中一個應(yīng)用,那就是無界XR及其在元宇宙中的運用。
實際上,每個人對元宇宙都可以有自己的解讀。下面我將介紹,從通信技術(shù)的角度來說,元宇宙是一個什么樣的概念?如何通過5G、6G和AI技術(shù)來賦能元宇宙的落地和部署?從物理世界來說,萬物互聯(lián)和人與人的互聯(lián)在一定程度上得以實現(xiàn)。在3G、4G和5G網(wǎng)絡(luò)發(fā)展,移動互聯(lián)網(wǎng)和海量物聯(lián)網(wǎng)得以實現(xiàn)的同時,產(chǎn)生了非常多的數(shù)據(jù),這打造了一個龐大的數(shù)字世界。構(gòu)建于物理世界之上的數(shù)字世界,催生了數(shù)字孿生的概念。對數(shù)字孿生很重要的技術(shù)需求,是需要有非?煽康、高速的、低時延的技術(shù),來支持它與實體世界的連接。而5G等先進通信技術(shù)能夠滿足它的核心需求。
為什么說5G是通向元宇宙過程中非常核心的技術(shù)?因為將虛擬世界和物理世界、數(shù)字世界融合,需要有非?焖俚倪B接,而5G正好提供了支持人與人、物與物之間完全融合的連接技術(shù)。第二項在元宇宙中非常核心的技術(shù)是XR,它包括AR(增強現(xiàn)實)、VR(虛擬現(xiàn)實)和MR(混合現(xiàn)實)。在工體元宇宙之中,可以有很多VR應(yīng)用場景。工體元宇宙,將實現(xiàn)實體世界與虛擬世界、數(shù)字世界的融合,例如:在虛擬看球的應(yīng)用場景中,用戶可以邀請合作伙伴和家人好友,在虛擬的房子中一起看球。這類場景對通信技術(shù)的要求是非常高的。
體育賽事場館部署的主要技術(shù)挑戰(zhàn),第一是人口密集,第二是非常高的流量需求,幾乎每一個用戶都有高速下載和上傳的通信需求。而5G憑借高帶寬和低時延,可以為大型體育賽事提供非常好的技術(shù)支撐。高通幫助合作伙伴在超級碗等大型體育比賽的場館部署中引入了毫米波技術(shù),能夠支持大規(guī)模的下載和上傳需求。在工體元宇宙中,我們也希望能夠運用最先進的5G技術(shù),打造世界一流的觀賽體驗。
下面主要講一講,我們?nèi)绾伟裍R技術(shù)應(yīng)用到體育賽事觀看中,F(xiàn)在XR頭顯大多體積較大,因為需要在終端側(cè)進行一些渲染或者進行視頻播放。如果要實現(xiàn)非常高清晰的視頻播放和渲染,會產(chǎn)生非常大的運算量和非常高的能耗。對此,我們將大多數(shù)的AI計算放在云端或者邊緣云上進行,我們還提供了全新的XR應(yīng)用架構(gòu),支持無界XR和分離式渲染,即把最重要、對時延要求最高的渲染放在頭顯端進行,把對算力需求非常大的大規(guī)模渲染放在云端進行。同時,我們不僅僅是把運算放在很遠的云端,而是需要把它放在邊緣云,通過非?焖俚5G連接,我們可以在頭顯和邊緣云之間實現(xiàn)出色的算力分配。
XR頭顯需要做到空間定位,也需要做到六自由度(6DoF)姿勢追蹤,以及眼球跟蹤和手勢識別。這些數(shù)據(jù)可以快速地通過5G連接傳輸?shù)?G基站,并通過5G的核心網(wǎng)連接到邊緣云。這其中的5G連接時延是20毫秒,而用戶從動作到渲染到顯示的整個過程的時延是70毫秒。為什么有用戶使用XR設(shè)備會有眩暈的感覺,這是因為XR設(shè)備的時延太高。同時現(xiàn)在XR終端的一大挑戰(zhàn)是終端體積比較大,能耗比較高。當實現(xiàn)了分離式渲染以后,可以把XR的頭顯體積和功耗做到最小,這樣才能真正地讓XR終端深入到千家萬戶,深入到每一個人的手中。我們認為XR是非常有前景的下一代計算平臺,XR有望達到跟智能手機一樣的市場規(guī)模。
下面我將介紹5G無界XR是怎樣落地到工體元宇宙的。工體元宇宙實際上具備非常強大的超級云網(wǎng),它提供了一個非常好的平臺。工體超級“局域公網(wǎng)”不僅支持在公有網(wǎng)絡(luò)、5G專網(wǎng)、毫米波以及Sub-6GHz網(wǎng)絡(luò)下的數(shù)據(jù)傳輸,同時也支持邊緣云架構(gòu)。XR頭顯可以通過5G網(wǎng)絡(luò)連接至工體支持的邊緣云,依托支持分離渲染的工體元宇宙系統(tǒng)架構(gòu),我們能夠推動5G無界XR在工體元宇宙的落地。同時工體元宇宙也有非常好的系統(tǒng)平臺、業(yè)務(wù)平臺并支持多形態(tài)業(yè)務(wù)終端,這使我們有機會與中赫、中國移動和所有生態(tài)合作伙伴一起,攜手推動5G無界XR落地工體元宇宙。
基于5G切片的端邊協(xié)同分離渲染無界XR技術(shù)演示,是高通近期與中國移動合作,通過中國移動的5G網(wǎng)絡(luò)切片與高通的分離式渲染技術(shù)實現(xiàn)的,這一技術(shù)演示能夠助力推動更多應(yīng)用場景在工體的落地,比如,用戶可以沉浸式地觀看比賽,通過多角度、高清晰的視頻看到進球的慢動作回放;也可以在觀看演唱會時,欣賞不同角度、高清晰畫質(zhì)的歌手、貝斯和吉他手的表演。在工體這樣一個應(yīng)用場景中,高通的先進無線通信技術(shù)能夠得到非常好的應(yīng)用。
我們期待和在座的合作伙伴一起推動5G技術(shù)及AI技術(shù)在工體的應(yīng)用,打造更好的智慧體育體驗。最后,預祝工體成為北京最靚麗的一張明信片。謝謝!
前沿技術(shù)演示,5G+XR生態(tài)攜手創(chuàng)新
在工體元宇宙GTVerse發(fā)布會現(xiàn)場,高通還聯(lián)合中國移動、愛奇藝奇遇、世炬、共進、當紅齊天、SoReal、銀河威爾、夢想綻放等多家合作伙伴,帶來多項XR相關(guān)前沿技術(shù)演示。
業(yè)內(nèi)首次基于5G切片的端邊協(xié)同XR分離渲染技術(shù)提升無界XR新體驗
高通和中國移動攜手在現(xiàn)場展示無界XR(Boundless XR)技術(shù)演示。演示基于愛奇藝奇遇 Dream Pro VR一體機(搭載驍龍XR2平臺)、采用中國移動終端切片解決方案的小米智能手機(搭載驍龍移動平臺)以及中國移動研究院聯(lián)合世炬、共進研制的 5G 家庭小基站(基于高通FSM100 5G RAN平臺)共同完成,利用當紅齊天提供的沉浸式互動內(nèi)容并基于SoReal VR分布式內(nèi)容平臺管理,端到端地驗證了在分離渲染架構(gòu)下,XR用戶能夠利用5G提供的高速率低時延傳輸來協(xié)同邊緣云側(cè)進行實時渲染,同時結(jié)合XR 終端側(cè)的本地優(yōu)化渲染來提供低時延沉浸式無界XR體驗,為未來XR用戶隨時隨地體驗栩栩如生視覺效果和無拘無束的XR體驗奠定了堅實的基礎(chǔ)。
基于5G超高速網(wǎng)絡(luò)端到端XR直播產(chǎn)品GVR“第二現(xiàn)場”開啟未來觀賽體驗
銀河威爾科技有限公司(GVR)是擁有全球領(lǐng)先的專業(yè)級三維直播交互式技術(shù)的創(chuàng)新公司,致力于未來頂級三維體驗的規(guī);a(chǎn)。銀河威爾科技公司(GVR)采用自主研發(fā)的三維交互式直播產(chǎn)品——GVR“第二現(xiàn)場”,通過北京移動的5G切片網(wǎng)絡(luò)和搭載驍龍5G調(diào)制解調(diào)器及射頻系統(tǒng)的5G CPE設(shè)備,將遠端訓練基地的訓練實況以身臨其境的畫面和炫酷的AR特效,實時同步到工體元宇宙GTVerse發(fā)布會現(xiàn)場的愛奇藝奇遇Dream Pro VR一體機里。未來,人們可以通過穿戴式頭盔,跨越時空的限制,用數(shù)字化身的方式體驗親臨現(xiàn)場觀看比賽,還可以欣賞盛大的虛擬煙花表演,體驗一個基于5G超高速網(wǎng)絡(luò)下的元宇宙虛擬世界。
首個基于計算機視覺技術(shù)的“追光”6DoF交互系統(tǒng)
夢想綻放(原名愛奇藝智能),是一家由愛奇藝內(nèi)部孵化、獨立運營,專注于虛擬現(xiàn)實(VR)技術(shù)、產(chǎn)品與內(nèi)容研發(fā)的科技企業(yè)。秉承“產(chǎn)品+內(nèi)容”的雙輪驅(qū)動戰(zhàn)略,夢想綻放致力于成為中國VR娛樂生態(tài)的開創(chuàng)者和引領(lǐng)者。在工體元宇宙GTVerse發(fā)布會現(xiàn)場,夢想綻放利用其奇遇Dream Pro VR一體機展示了基于計算機視覺技術(shù)的“追光”6DoF交互系統(tǒng)。該系統(tǒng)可實現(xiàn)頭部和手部雙6DoF空間體感定位,手柄定位精度可達毫米級別。奇遇Dream Pro搭載業(yè)界領(lǐng)先的驍龍XR2平臺,配備8GB大運存、4K超高顯示屏。