Conform Playtech.ro: Jalapeno, noua provocare pentru Nvidia, promite performanțe superioare în inferența AI

Compania OpenAI a prezentat rezultate promițătoare pentru cipul său, denumit Jalapeno, indicând o superioritate notabilă în sarcinile de inferență pentru modelele de inteligență artificială, comparativ cu soluțiile actuale de la Nvidia. Aceste teste, efectuate cu ajutorul suitei InferenceX de la SemiAnalysis, au vizat trei modele AI de referință: GPT-OSS 120B, DeepSeek R1 670B și Kimi K2.5, ultimul de la Moonshot AI, cu o arhitectură ce depășește un trilion de parametri.

Avantaje semnificative în latență și eficiență energetică

Potrivit informațiilor dezvăluite de OpenAI, Jalapeno excelează în special în scenariile care necesită latență redusă. În aceste condiții, cipul ar putea oferi o latență end-to-end între 1,7 și 3,6 ori mai mică decât sistemele Nvidia GB200 și GB300. Mai mult, în anumite puncte de operare analizate, diferențele devin și mai pronunțate, OpenAI afirmând un avantaj de 8,6 până la 104,3 ori în ceea ce privește performanța raportată la consumul de energie, în comparație cu cele mai rapide setări anterioare ale cipului GB300, în contextul generării de tokeni.

Este important de menționat că aceste comparații se bazează pe consumul nominal al acceleratorului. În realitate, Jalapeno a înregistrat un consum maxim de aproximativ 550W în timpul testelor. Atunci când se ia în considerare consumul total al sistemului, diferența se restrânge, Jalapeno operând la aproximativ 1,18 kW per accelerator, față de 2,55 kW necesari pentru GB300.

Limitări ale comparației și focalizarea pe inferență

Rezultatele prezentate de OpenAI nu implică o depășire completă a tuturor soluțiilor Nvidia, în special a celor mai noi. Un detaliu esențial este absența din comparație a platformei Nvidia Vera Rubin, pe care OpenAI intenționează să o utilizeze conform unui acord recent, vizând implementarea unor sisteme cu o capacitate de 10 GW începând din a doua jumătate a anului 2026.

De asemenea, Jalapeno este conceput preponderent pentru inferență, adică pentru rularea și răspunsul modelelor AI deja antrenate. Nu este destinat procesului de antrenare a modelelor AI, un domeniu în care acceleratoarele Nvidia își mențin o poziție dominantă.

O altă diferență semnificativă constă în modul de utilizare. Majoritatea comparațiilor au poziționat Jalapeno în fața configurațiilor GB200 și GB300 care foloseau predicția unui singur token. În centrele de date, soluțiile Nvidia sunt adesea utilizate cu tehnici precum multi-token prediction, care pot influența rezultatele privind eficiența.

Ultimele teste ale performanței cipului Jalapeno au avut loc înaintea prezentării oficiale la conferința Hot Chips, testele fiind efectuate pe modelele GPT-OSS 120B, DeepSeek R1 670B și Kimi K2.5.

Sursa: Playtech.ro