飛象網(wǎng)訊(易歡)在今天“2024年云網(wǎng)智聯(lián)大會(huì)”上,中國(guó)電信科技委主任韋樂(lè)平分享了為未來(lái)大模型跨群跨域跨云面臨挑戰(zhàn)的思考與建議。
韋樂(lè)平指出,由于單站資源受限,未來(lái)可能需要在園區(qū)、AZ乃至更大范圍內(nèi)由多個(gè)物理集群構(gòu)成一個(gè)超級(jí)邏輯集群進(jìn)行聯(lián)合訓(xùn)練才能支撐超大模型的訓(xùn)練。推理本身與具體業(yè)務(wù)場(chǎng)景相關(guān),更可能需要跨域跨云實(shí)施。
“挑戰(zhàn)也隨著而來(lái),其中,距離增大導(dǎo)致時(shí)延變大,高頻次通信的效率將降低,導(dǎo)致網(wǎng)絡(luò)吞吐量降低,影響GPU利用率。此外,故障概率也將增大!
對(duì)此,韋樂(lè)平也給出了應(yīng)對(duì)策略,解決不同集群間參數(shù)的傳遞和同步以及大量數(shù)據(jù)跨群跨域跨云傳輸?shù)牟煌瑫r(shí)延導(dǎo)致的訓(xùn)練速度減慢的問(wèn)題。一是訓(xùn)練任務(wù)被拆分到不同集群上實(shí)行并行訓(xùn)練,根據(jù)不同的訓(xùn)練任務(wù)和場(chǎng)景,采用數(shù)據(jù)并行、流水線并行、張量并行等多種不同策略。二是采用空芯光纖從物理層上直接降低數(shù)據(jù)傳遞時(shí)延(降33%)。
與此同時(shí),韋樂(lè)平強(qiáng)調(diào),單站單園區(qū)集中訓(xùn)練是首選,跨群跨域跨云的訓(xùn)練依然充滿挑戰(zhàn)!