導讀:在 AI 容器應用落地與發(fā)展論壇上,華為發(fā)布 Flex:ai AI 容器軟件。
11 月 21 日消息,在 AI 容器應用落地與發(fā)展論壇上,華為發(fā)布 Flex:ai AI 容器軟件,通過算力切分技術,將單張 GPU / NPU 算力卡切分為多份虛擬算力單元,切分粒度精準至 10%,實現(xiàn)了單卡同時承載多個 AI 工作負載,并可聚合集群內(nèi)各節(jié)點的空閑 XPU 算力聚合形成“共享算力池”。
Flex:ai 是一款基于 Kubernetes(開源容器編排平臺)構(gòu)建的 XPU(各種類型處理器)池化與調(diào)度軟件,主要是通過對 GPU、NPU 等智能算力資源的精細化管理與智能調(diào)度,實現(xiàn)對 AI 工作負載與算力資源的“精準匹配”。
相比英偉達旗下 Run:ai 公司的核心技術,華為認為 Flex:ai 具備兩大獨特優(yōu)勢:
一是虛擬化。除了在本地虛擬化技術中實現(xiàn)算力單元的按需切分,Flex:ai 獨有的“拉遠虛擬化”技術,可以不做復雜的分布式任務設置,將集群內(nèi)各節(jié)點的空閑 XPU 算力聚合形成“共享算力池”。
二是智能調(diào)度。Flex:ai 的智能資源和任務調(diào)度技術,可以自動感知集群負載與資源狀態(tài),結(jié)合 AI 工作負載的優(yōu)先級、算力需求等多維參數(shù),對本地及遠端的虛擬化 GPU、NPU 資源進行全局最優(yōu)調(diào)度,滿足不同 AI 工作負載對資源的需求。
從發(fā)布會獲悉,Flex:ai 將在發(fā)布后同步開源在魔擎社區(qū)中。