InfiniBand vs RoCE pro AI Inference Networks

VybratInfiniBandkdyž vaše vyvozená pracovní zátěž žije nebo umírá předvídatelnou latencí na konci, a vyberte siRoCE(RDMA over Converged Ethernet), když chcete výkon třídy RDMA-na ethernetové látce, kterou můžete škálovat, sdílet a provozovat s týmem, který již máte. Ani jedna možnost nevyhrává všude. Správné volání závisí na vašem odvozeném vzoru, vašich cílových latencích p99 a p999, měřítku GPU, rozpočtu a na tom, jak moc bezztrátové{5}}odbornosti na ladění ethernetu skutečně sedí ve vašem týmu.

Proč na síti záleží víc, než týmy očekávají

Po celá léta se s dedukcí zacházelo jako s jednoduchou polovinou příběhu o GPU: model načtený na jediném uzlu, požadavky obsluhované nezávisle, velmi malý provoz z východu-západu. Ten obrázek je nyní zastaralý. Moderní inference je stále více rozšířena a několik vzorů vyvíjí skutečný tlak na látku.

• Tenzorová paralelitarozděluje jednu vrstvu mezi GPU, takže každý krok tokenu mezi nimi spouští všechny-redukce nebo všechny{1}}shromažďovací operace. To je častý, na latenci-citlivý, cross{4}}provoz GPU, který GPU během čekání blokují.
• Rovnoběžnost potrubípředává aktivace z jedné fáze do druhé, často napříč uzly, a přidává tak závislosti mezi uzly ke každému dopřednému průchodu.
• Rozčleněné předvyplnění a dekódováníodděluje výpočetní-fázi těžkého předvyplnění od latenční-citlivé dekódovací fáze a mezi nimi přesune mezipaměť KV. Tyto přenosy jsou velké a překotné a jakékoli zpoždění se přímo projeví jako pomalejší čas-do-prvního-tokenu a latence mezi-tokeny.
• Rozšířené{0}}generování (RAG)přidává do vektorových a vyhledávacích služeb východní-západní provoz. Obvykle je méně kritická-než hromadné operace, ale stále načítá strukturu, zejména při velkém objemu dotazů.
• Poskytování více-nájemníkůstaví mnoho modelů a uživatelů na stejnou látku, kde se dominantním rizikem stávají mikrovýbuchy a hlučné-efekty sousedů.

Když je úzkým hrdlem síť, jsou příznaky drahé: delší čas-do-prvního{2}}tokenu, zastavování GPU, když čekají na data, propustnost, která se zhroutí a nestabilní p95 a p99. A tady je ta část, která naráží na benchmarky: průměrná latence to všechno skryje. Odvození produkce se posuzuje na chvostu, nikoli na průměru.

InfiniBand vs RoCE: Souhrnná tabulka pro AI Inference

Co je InfiniBand?

InfiniBand je účelová-síťová struktura navržená od začátku pro nízkou latenci, vysokou propustnost a bezztrátovou komunikaci. Není to rychlejší varianta Ethernetu. Dodává se s vlastními adaptéry hostitelského kanálu, přepínači, správcem podsítě, ekosystémem kabeláže a modelem-kontroly přetížení. Jeho určující hodnotou je deterministické chování: mnoho GPU může komunikovat s přísnými požadavky na časování a struktura se chová konzistentně, i když je hromadný provoz silný.

Moderní platformy InfiniBand orientované na umělou inteligenci- rozšiřují tuto základnu o možnosti zaměřené přímo na velké clustery GPU. Přidává se například řada Quantum InfiniBand společnosti NVIDIAadaptivní směrování,{0}}síťové výpočty a telemetrie{1}}řízení přetížení, které pomáhají tkanině inteligentně rozprostřít provoz a izolovat náklad jednoho nájemce od nákladu jiného. InfiniBand si získává své místo, když pracovní zátěž nemůže tolerovat jitter nebo když si několik uzlů GPU musí vyměňovat data rychle a konzistentně.

Kompromisy-jsou náklady, koncentrace ekosystému a provozní specializace. Dedikovaná tkanina InfiniBand znamená vyhrazené přepínače, adaptéry, kabely nebo optické moduly a inženýry, kteří jsou spokojeni se správou tkaniny InfiniBand. Organizaci, která již provozuje velké ethernetové komplexy, zvyšuje připojení samostatného zařízení složitost nákupu, plánování náhradních{3}}dílů a režii monitorování.

Co je RoCE (RDMA over Converged Ethernet)?

RoCE přináší RDMA, přímou paměť-k{1}}pohybu dat v paměti s nízkou zátěží CPU, do ethernetových sítí. RoCEv2, verze používaná v moderních datových centrech, je směrovatelná napříč sítěmi vrstvy 3 IP a byla standardizovánaObchodní sdružení InfiniBand. Tato směrovatelnost umožňuje RoCE přirozeně zapadnout do ethernetových{1}}konstrukcí páteře a zároveň znovu používat známé síťové karty, přepínače, optiku a monitorovací nástroje.

Háček je v tom, že přenosy RDMA předpokládají téměř -bezztrátovou síť. Zahoďte paket a přenos se vrátí k chování opakovaného přenosu, které zničí latenci ocasu. RoCE tedy potřebuje, aby se Ethernet pod ním choval jako bezztrátová tkanina, a to závisí na pečlivé konfiguraci zejména dvou mechanismů:Řízení prioritního toku (IEEE 802.1Qbb), která pozastaví jednu třídu provozu, aby se zabránilo poklesu, aExplicitní oznámení o přetížení (ECN), který včas signalizuje přetížení, takže odesílatelé zpomalí, než dojde k přetečení vyrovnávacích pamětí. Přidejte k tomu správu front, přidělování vyrovnávací paměti a mapování QoS a je jasné, že vysoce{1}}výkonný RoCE není obyčejný Ethernet.

Dobře provedené, RoCE poskytuje dostatečnou latenci a propustnost pro širokou škálu produkčních inferenčních služeb a mnoho inferenčních úloh je méně synchronizováno než distribuované školení, což je ve prospěch RoCE. Při špatném provedení dochází ke ztrátě paketů, blokování-hlavní{2}}linky, šíření přetížení a nestabilní koncové body, což vše se přímo promítá do zhoršené kvality služeb.

Latence InfiniBand vs RoCE: Co je lepší pro odvození p99?

Obě struktury mohou poskytovat vysoko{0}}šířku pásma a nízkou{1}}latenci sítě. Liší se tím, jak se tam dostanou. InfiniBand je svou konstrukcí deterministický, takže jitter zůstává nízký i při smíšené zátěži. RoCE se mu může vyrovnat pro mnoho pracovních zátěží, ale výsledek závisí na ethernetové látce a na tom, jak dobře je vyladěn.

Z hlediska nasazení je skutečným problémem ve výrobě jen zřídka špičková šířka pásma. Při smíšeném, nárazovém a více-nájemnickém provozu se chvěje. Tkanina RoCE, která ovládla čistý test propustnosti ve stylu iperf-, může stále minout svůj cíl p99 v okamžiku, kdy do obrazu vstoupí mikrobursty a spory. V této propasti mezi laboratorním benchmarkem a produkčním SLA je nejvíce překvapení.

InfiniBand má tendenci mít výhodu, když:

• Služba má přísné cíle latence p99 nebo p999.
• Odvozování zahrnuje více uzlů GPU s paralelismem tenzoru nebo potrubí nebo používá rozčleněné předvyplnění a dekódování.
• Využití GPU je vysoce citlivé na zpoždění sítě, takže přestávky jsou drahé.
• Cluster provozuje malý počet-úloh s vysokou prioritou, kde předvídatelnost převažuje nad flexibilitou.

RoCE je obvykle dost dobrý, když:

• Požadavky jsou většinou nezávislé, nebo je spojení volné.
• Práce probíhá v rámci uzlu nebo malého počtu uzlů.
• Dávková propustnost je důležitější než ultra{0}}nízká latence.
• Tým již provozuje Ethernet a prioritou je flexibilita nákladů nebo dodavatele.
• Cluster podporuje více tenantů nebo smíšenou pracovní zátěž.

Náklady na RoCE vs InfiniBand: Co vlastně pohání TCO?

RoCE se často nazývá levnější variantou, ale cena přepínače je malou částí obrázku. Realistické srovnání se dívá na celou sadu: síťové adaptéry nebo HCA, přepínače, optické moduly, DAC, AOC a kabeláž z optických vláken, topologii racku, napájení a chlazení, síťový operační systém, monitorování a telemetrii, dobu projektování, náhradní díly, podporu dodavatele a cestu k 400G nebo 800G.

InfiniBand obvykle přináší vyšší počáteční náklady, protože vyžaduje speciální tkaninu a specializované komponenty. V prostředích, kde je deterministické chování nejvyšší prioritou, může snížit úsilí o ladění a odstraňování problémů, které bezztrátová síť Ethernet vyžaduje. RoCE snižuje náklady na hardware, když lze stávající ethernetové zařízení se správnou podporou přemostění datového centra znovu použít, ale přesouvá úsilí do návrhu, ověřování, monitorování a řešení problémů bezztrátové struktury. Nízký-nákladový design RoCE se rychle prodraží, pokud způsobí nestabilní latenci a opakované hašení.

Náklady a rizika se s rostoucí rychlostí soustřeďují na fyzickou vrstvu. U 400G a 800G dominuje optika jak v režimu účtu, tak v režimu selhání. Většina vysokorychlostních-portů přistáváQSFP-DD nebo srovnatelné tvarové faktorya odpovídající vpravojednorežimová nebo vícerežimová optikak vašemu skutečnému dosahu je jedním z nejjednodušších způsobů, jak se vyhnout přemrštěným výdajům za látku, která nepotřebuje-dálkové moduly.

Řečeno na rovinu: RoCE není levnější variantou, pokud váš tým postrádá bezztrátovou{0}}odbornost na Ethernet. Úspory na hardwaru mohou být rychle spotřebovány technickými náklady na udržení stability tkaniny.

Škálovatelnost a operace

Škálovatelnost je více než počet portů. Zahrnuje, jak snadno je struktura nasazena, monitorována, rozšiřována a obnovena, když něco selže.

InfiniBand je silný, když je cluster od prvního dne navržen jako specializovaná-výkonná struktura. Poskytuje konzistentní chování ve velkém měřítku, ale očekává-specifické nástroje InfiniBand, jako je správce podsítě a sjednocená správa struktury, a zaměstnanci, kteří jsou spokojeni s koncepty InfiniBand. Díky tomu se přirozeně hodí pro centralizované clustery AI postavené na pracovních zátěžích GPU.

RoCE zapadá do návrhů ethernetových datových center: topologie list{0}}spine, směrování IP, ECMP a známé postupy monitorování. To je přesně důvod, proč oslovuje cloudovou -styl a multi{3}}nájemní infrastrukturu GPU. Disciplína, kterou vyžaduje, je důslednost. PFC, ECN, QoS, správa vyrovnávací paměti a řízení přetížení musí být navrženy koherentně napříč celou cestou, protože malá chybná konfigurace v jednom rohu struktury může rozšířit a snížit množství pracovních zátěží najednou. Fyzická vrstva musí také škálovat čistě; vysokou-hustotouMPO a MTP trunk a breakout kabelážudrží rostoucí list-hřbetní tkaninu zvládnutelnou, místo aby se každé rozšíření proměnilo v kabeláž.

Za zmínku stojí zrcadlový{0}}obraz: InfiniBand je těžké odůvodnit, když závěry zůstávají většinou v rámci jednoho uzlu a tkanina je sotva využita.

Která síť pro jednotlivé odvozené úlohy

Když je RoCE dost dobrý a když se stává rizikovým

RoCE je dost dobrý pro nezávislé nebo volně propojené požadavky, propustnost{0}}orientovanou dávkovou práci a clustery pro více{1}}tenantů, kde můžete vyladit izolaci, zvláště když tým ovládá ethernetový most datového centra. Stává se rizikovým specifickým, rozpoznatelným způsobem:

• PFC bouře.Pozastavené rámce se šíří proti proudu a zmrazují provoz, který neměl nic společného s původním přetížením.
• Blokování vedoucí-linky-.Mapování hrubé priority umožňuje jedné přetížené třídě zastavit ostatní sdílející frontu.
• Chybné naladění ECN.Označte příliš pozdě a dostanete kapky; značka příliš agresivně a zbytečně přiškrtíte propustnost.
• Microburst přetížení.Sub-sekundové shluky přetečení vyrovnávacích pamětí, ale zůstávají neviditelné pro sledování těchto vzorků v-sekundovém rozlišení.
• Nekonzistentní konfigurace.Nesoulad nastavení napříč listem a hřbetem způsobuje, že se přetížení šíří spíše než aby zůstalo lokální.

Žádný z těchto důvodů není důvodem, proč se RoCE vyhnout. Jsou to důvody, proč navrhnout bezeztrátovou tkaninu koherentně od začátku do konce a investovat do jemnozrnné telemetrie s mikroburstem-, než začnete škálovat.

Když se InfiniBand vyplatí a když překupujete

InfiniBand si zaslouží svou prémii pro přísné cíle p99 a p999, úzce propojené více{2}}obsluhování uzlů a kritické pracovní zátěže-pro mise, kde jsou vysoké postihy SLA, zejména na vyhrazeném clusteru GPU navrženém kolem struktury. Pravděpodobně dochází k nadměrnému nakupování, když odvození zůstává v uzlu, když je práce zaměřena na propustnost-dávky, když stejnou strukturu potřebujete také k přenášení úložiště, správy a provozu v cloudu pro více-tenantů, nebo když vám prostě chybí provozní kapacita pro dobrý provoz InfiniBand.

Náklady, které se neobjeví v cenové nabídce přepínače, jsou skutečné: koncentrace ekosystému, režie provozování druhé sítě paralelně s vaší ethernetovou sítí a samostatné plánování náhradních dílů, optiky a monitorování.

Jak otestovat InfiniBand vs RoCE, než si vyberete

Nerozhodujte o reputaci protokolu nebo listu specifikací. Rozhodněte se pro měřítko, které se podobá výrobě. Praktická sekvence:

• Definujte SLA v koncovkách.Nastavte p50, p95, p99 a p999 na čas-do-prvního-tokenu a mezi-latence tokenů, nikoli pouze na průměr.
• Přehrajte si realistický provoz.Místo jednoho čistého streamu používejte hromadné, smíšené velikosti modelů a souběžnost více{0}}tenantů.
• Zatížení do zácpy.Zatlačte tkaninu, dokud nebude skutečně napjatá, a poté změřte využití GPU. Pokud se GPU v síti zastavují, je vaším úzkým hrdlem tkanina.
• Sledujte správné počítadla.Sledujte rámce pozastavení, značky ECN, poklesy paketů, opakované přenosy, čítače chyb portů a u 400G a 800G chyby FEC.
• Ověřte fyzickou vrstvu.Čisté, správně nainstalované vlákno záleží;pečlivá instalace vláknazabraňuje občasným, obtížně{0}}-diagnostikování chyb, ke kterým jsou vysokorychlostní-linky náchylné.

Pokud si RoCE udrží svůj cíl p99 při realistickém, náročném, více-nájemci se stabilními počítadly, je to silná a nákladově-efektivní volba. Pokud projde pouze čistými testy jednoho{4}}streamu, ještě jste neotestovali věc, která rozhoduje o vaší smlouvě SLA.

Běžné chyby, kterým je třeba se vyhnout

• Předpokládejme, že veškeré vyvozování je lehké vytváření sítí.Některé závěry jsou jednoduché a nezávislé; některé jsou distribuované,-citlivé na latenci a náročné na šířku pásma-. Považovat to všechno za snadné vede k nevybudované infrastruktuře.
• Porovnáváme pouze průměrnou latenci.Inference produkce závisí na ocasu. Vždy vyhodnoťte p95, p99 a p999 za reálného provozu.
• Zacházení s RoCE jako s Ethernetem typu plug{0}}and{1}}.Vysoký-výkon RoCE vyžaduje záměrný bezztrátový{1}}látkový design, kontrolu přetížení a nepřetržitou pozorovatelnost.
• Volba InfiniBand jen proto, že je rychlejší.Nejlepší možnost výkonu není vždy nejlepší obchodní možností. Pokud pracovní zátěž nevyžaduje deterministické chování, RoCE může poskytnout lepší hodnotu.
• Ignorování fyzické vrstvy.U 400G a 800G kabely, optika, konektory a čistota vláken vytvářejí občasné chyby, které se obtížně hledají a jejich oprava je nákladná.

Sečteno a podtrženo

Pro vyvození AI platí InfiniBand a RoCE a slouží různým prioritám. Vyberte si InfiniBand, když potřebujete nejkonzistentnější síť s nízkou{1}}latenční dobou v reálném-čase, citlivou na SLA- nebo úzce propojenou odvozeninu. Vyberte si RoCE, když potřebujete škálovatelnou, ethernetovou -nákladně{6}}efektivní strukturu pro dávkové odvozování, služby GPU pro více{7}}tenantů, pracovní zátěž RAG a flexibilní infrastrukturu.

Rozhodnutí by mělo začít u pracovní zátěže, cíle latence, škálování clusteru, vašich provozních schopností a plánu upgradu, nikoli u protokolu. Pokud váš cluster musí při velkém zatížení udržet přísný p99, InfiniBand si zaslouží seriózní zvážení. Pokud je vaším cílem ekonomické škálování inference v ethernetovém datovém centru, RoCE je obvykle praktičtější cestou. Ať tak či onak, porovnejte v produkčním-zatížení, než se zavážete.