Flex:ai, noua platformă open‑source lansată de Huawei pe 21 noiembrie, promite să optimizeze utilizarea acceleratoarelor AI în centrele de date de mari dimensiuni. Soluţia se bazează pe Kubernetes și este disponibilă prin comunitatea ModelEngine, vizând creşterea performanţei software în contextul restricţiilor de acces la GPU-uri avansate. Huawei susţine că Flex:ai poate genera o eficienţă de până la 30 % în utilizarea resurselor.

Flex:ai şi arhitectura bazată pe Kubernetes
Flex:ai extinde funcţiile existente în ecosistemul Kubernetes, integrând pluginuri pentru acceleratoare și programatoare precum Volcano. Platforma adaugă suport nativ pentru procesoarele Ascend NPU, utilizate pe scară largă în infrastructura chineză. Astfel, utilizatorii pot gestiona simultan sarcini mici şi modele mari fără fragmentarea manuală a resurselor.

Hi Scheduler – orchestrarea în timp real
Un element central al Flex:ai este Hi Scheduler, modulul de orchestration care realocă automat resursele neutilizate. Hi Scheduler identifică nodurile cu sarcini AI și redirecționează puterea de calcul acolo unde este nevoie, reducând blocajele și perioadele de inactivitate. Această funcție sporește gradul de utilizare a acceleratoarelor cu aproximativ 30 %.

Fragmentarea GPU/NPU în instanţe virtuale
Flex:ai fragmentă GPU‑urile și NPU‑urile în instanţe virtuale independente, permițând alocarea precisă a resurselor. Beneficiul este evitarea consumului inutil al unei plăci întregi pentru modele mici. În același timp, sarcinile mari pot accesa simultan mai multe acceleratoare în paralel.

Comparativ cu soluţiile Nvidia și Run:ai
Soluţia Flex:ai aduce funcții similare celor oferite de Run:ai, achiziţionată de Nvidia în 2024, dar cu un focus open‑source și compatibilitate multiplă de acceleratoare. Nvidia se axează pe hardware propriu, în timp ce Huawei vizează eficienţa software pentru a compensa lipsa accesului la GPU‑uri high‑end. Diferenţa principală constă în disponibilitatea gratuită a codului și în suportul pentru Ascend NPU.

Stadiul de dezvoltare și disponibilitatea codului
Până în prezent, Huawei nu a publicat codul sursă al Flex:ai și nu a furnizat benchmarkuri oficiale. Documentaţia tehnică rămâne limitată, iar detaliile privind granularitatea fragmentării GPU/NPU nu sunt încă publice. Aceste lacune generează întrebări privind compatibilitatea cu programatoarele Kubernetes existente și cu pluginurile pentru GPU‑uri non‑Ascend.

Contribuţii academice și perspective viitoare
Un consorţiu format din cercetătorii universităţilor Shanghai Jiao Tong, Xi’an Jiaotong și Xiamen a colaborat la dezvoltarea Flex:ai. Implicarea academică poate accelera validarea și îmbunătăţirea platformei. Monitorizarea evoluţiilor Flex:ai este esențială pentru a înţelege impactul său asupra pieţei de acceleratoare AI și a strategiilor de calcul distribuit.