Návrh sítě AI Cluster: Spine{0}}Leaf, RoCE a síťové karty

Návrh klastrové sítě s umělou inteligencí je proces dimenzování síťových karet GPU serverů, šířky pásma-spine, poměru nadměrného předplatného, ​​nastavení RoCE, optiky a kabeláže, takže distribuovaný tréninkový provoz zůstává předvídatelný i při škálování clusteru. Nechte si některou z těchto chyb a síť -, nikoli GPU - se stane úzkým hrdlem.

Proč je AI Cluster Networking jiný

V tradičním podnikovém datovém centru se síť stará o kombinaci uživatelského provozu ze severu-jihu, přístupu k úložišti, virtualizace a správy. Provoz na východ-západ existuje, ale jen zřídka je dominantním zatížením. V clusteru AI se situace obrací. Servery GPU, na kterých běží distribuované gradienty školení, a synchronizují parametry během každého kroku úlohy. Tato komunikace je součástí výpočtu, není jeho vedlejším efektem.

Pokud GPU za 30 000 USD stráví 30 % svého času čekáním v síti během všech-redukovaných operací, cluster efektivně zaplatí 30 % své výpočetní kapacity nečinnosti. To je ekonomický důvod, proč se sítím AI věnuje tolik pozornosti.

Návrh řídí tři charakteristiky pracovního zatížení:

• Prudký východ-západní provoz.Kolektivní komunikační operace jako všechny{0}}redukují, všechny{1}}shromažďují a snižují-rozptyl vytvářejí synchronizované shluky mezi mnoha uzly současně.
• Citlivost latence-ocasu.Jediný pomalý uzel zpožďuje celý tréninkový krok. Předvídatelná latence je důležitější než průměrná latence.
• Škálujte-růst.Clustery, které začínají na 32 GPU, se často rozrostou na 256 nebo 1 024 během 18 měsíců. Tkanina se musí měnit bez přepracování.

Proč Spine-Leaf Fits AI Clusters

Spine{0}}leaf je standardní struktura pro hyperškálová datová centra, protože poskytuje každému serveru-k{2}}serveru stejný počet skoků a stejnou teoretickou šířku pásma. U pracovních zátěží AI se tato jednotnost přímo promítá do předvídatelnějších časů tréninkových kroků.

V topologii páteř{0}}listu se servery GPU připojují k přepínačům listů a každý list se připojuje ke každé páteři. Jakákoli komunikace mezi GPU-k-GPU překračuje přesně jeden list, jeden hřbet a jeden další list. Neexistují žádné agregační vrstvy zavádějící proměnnou latenci nebo škrtící body.

Předvídatelná latence

Stejné{0}}náklady na více{1}}cest (ECMP) směrování rozprostírá toky mezi páteřními přepínači. Při správné konfiguraci s adaptivním směrováním nebo dynamickým vyvažováním zátěže to zabrání kolizím hash, které způsobí, že některé toky jsou mnohem pomalejší než jiné -, což je známý problém ve statických ECMP strukturách, které přenášejí málo, ale velké toky, což je přesně to, co generuje školení AI.

Vysoká šířka pásma půlení

Šířka pásma půlení je propustnost dostupná mezi dvěma stejnými polovinami klastru. Výuka umělé inteligence těží z neblokujících nebo téměř{2}}neblokujících{3}}designů, kde kapacita odchozího kanálu-k{5}}spine se rovná nebo téměř rovná kapacitě pro stahování směrem k serverům. IETF tyto pojmy definuje a diskutujeRFC 7938, která pokrývá BGP-směrované struktury Clos široce používané ve velkých-datových centrech.

Snazší škálování-Out

Chcete-li přidat další servery, přidejte další listy. Přidejte další hřbety a přidejte větší šířku pásma půlení. U clusterů s více než několika tisíci GPU rozšiřuje super-spine (5-stupňový Clos) nebo topologie optimalizovaná pro kolejnice stejný princip o jednu vrstvu dále.

Základní součásti klastrové sítě AI

Servery GPU a síťové karty

NIC je místo, kde se tkanina setkává s hostitelem. V clusterech s umělou inteligencí určuje výběr síťové karty vše navazující - rychlost portu přepínače, výběr optiky a hustotu kabeláže.

Kritéria výběru pro úlohy AI:

• Rychlost portu:200G, 400G nebo 800G na port. Přizpůsobte generaci GPU a šířce pásma PCIe.
• generace PCIe:400G NIC potřebuje PCIe Gen5 x16, aby se zabránilo omezování na straně hostitele-. PCIe Gen4 x16 limituje na ~256 Gb/s použitelných.
• Podpora RDMA a RoCEv2:Vyžadováno pro jádro-obcházení komunikačních knihoven GPU, jako je NCCL.
• GPUDirect RDMA:Umožňuje přímé GPU-na-NIC DMA a odebírá kopie paměti hostitele.
• Možnost více{0}}kolejnic:Mnoho serverů s umělou inteligencí používá 4 nebo 8 síťových karet na uzel, jednu na pár GPU, pro topologie optimalizované pro rail{2}}.

Typický 8-GPU server dnes používá buď 4× 400G NIC (jedna na dvě GPU) nebo 8× 400G NIC (jedna na GPU) v závislosti na pracovní zátěži a rozpočtu. Referenční architektury zDokumentace NVIDIA Networkingpodrobně pokrýt konstrukční kompromisy.

Listové a páteřové spínače

Kritéria výběru přepínačů pro AI tkaniny se liší od podnikového výběru. Velikost vyrovnávací paměti, chování při řízení přetížení a telemetrie jsou důležitější než šířka funkcí.

• Na-rychlost portu a radix:Přepínač ASIC s rychlostí 51,2 Tb/s poskytuje 64× 800G porty nebo 128× 400G porty. Radix určuje, jak plochá může být látka.
• Architektura vyrovnávací paměti:Hluboké vyrovnávací paměti absorbují incastové výbuchy, ale zvyšují latenci. Mělké vyrovnávací paměti snižují latenci, ale vyžadují přesné řízení přetížení.
• Sada funkcí RoCE:Označení ECN, PFC, DCQCN nebo ekvivalentní řízení přetížení a správné zacházení s prioritními frontami od začátku do konce.
• telemetrie:Telemetrie vnitropásmové sítě (INT), hlášení za-hloubku fronty a čítače rozlišení v mikrosekundách- pro značky ECN a pauzy PFC.

Optika, DAC a kabeláž AOC

Při 400G a 800G se kabeláž stává skutečným technickým problémem. Form factor, link budgets a breakout configurations vyžadují včasné plánování.

• DAC (Direct Attach Copper):Až ~3 metry pro 400G, nejnižší náklady a nejnižší výkon. Těžký a objemný v měřítku.
• AOC (aktivní optický kabel):Až ~30 metrů, tenčí než DAC, ale pevná{1}}délka a spotřebovává energii optiky na obou koncích.
• Zásuvná optika:Požadováno mimo vzdálenost AOC. QSFP-Formové faktory DD a OSFP dominují 400G/800G. Sestavy vláken MPO/MTP zvládají paralelní-připojení vláken.

Pro propojení mezi stojany a strukturovanou kabeláž 400G/800G je nyní standardem paralelní optika přes MPO koncovky. Volba mezi hlavními kabely a oddělovacími sestavami závisí na přidělení portu přepínače - viz našeVedení vylamovacího kabelu MPOpro praktickou logiku výběru a širšíSrovnání MPO kufru vspři plánování běhů od listu-k{1}}páteře.

RoCE a Lossless Ethernet v AI Fabrics

RoCEv2 (RDMA over Converged Ethernet v2) je dominantní ethernetový přenos pro pracovní zátěže AI. Umožňuje NIC přesouvat data přímo mezi oblastmi paměti GPU bez zapojení jádra na obou koncích. NCCL, komunikační knihovna GPU, která je základem téměř všech distribuovaných školicích rámců, používá RoCEv2, když InfiniBand není k dispozici.

RoCE funguje dobře, když je správně nakonfigurován. Při nesprávné konfiguraci ošklivě selže. TheObchodní sdružení InfiniBandpublikuje specifikace RoCE a většina dodavatelů síťových karet a přepínačů publikuje podrobné průvodce konfigurací, které je třeba{0}}do konce{1}}dokončit.

Proč záleží na bezztrátovém chování

RDMA byl navržen s předpokladem bezztrátového přenosu. Když pakety vypadnou, obnova RDMA je drahá - vraťte se-zpět-Nový opakovaný přenos může zastavit tréninkový krok na milisekundy, což je enormní vzhledem k rozpočtu RDMA v mikrosekundovém-rozsahu.

Pro přiblížení bezztrátového chování na Ethernetu používá struktura dva mechanismy, které spolupracují:

• PFC (Priority Flow Control, IEEE 802.1Qbb):Přepínač pozastaví příchozí provoz ve frontě s určitou prioritou, když se jeho vyrovnávací paměť zaplní. Toto je mechanismus poslední{1}}možnosti.
• ECN (Explicit Congestion Notification, RFC 3168):Přepíná označovací pakety, když se fronty blíží prahové hodnotě. NIC snižuje rychlost odesílání dříve, než se vyrovnávací paměti skutečně zaplní, v ideálním případě se zcela vyhýbá PFC.

Cílem je, aby ECN provedlo téměř veškeré řízení přetížení s PFC jako záchrannou sítí. Pokud zaznamenáváte časté pauzy PFC v ustáleném-provozu, jsou vaše prahové hodnoty ECN nesprávné nebo vaše tkanina je poddimenzovaná.

Běžná selhání nasazení RoCE

Jak navrhnout AI Cluster Network: Funkční rámec

Tuto sekci většina článků o sítích AI přeskakuje. Níže uvedených sedm kroků vám poskytne konkrétní vstupy a výstupy v každé fázi.

Krok 1: Definujte pracovní zátěž a měřítko

Vstupy:Typ zátěže (předtrénování, jemné{0}}ladění, odvození, smíšené), cílový počet GPU dnes, cílový počet GPU za 18 měsíců, rozsah velikostí modelu.

výstup:Profil zátěže, který informuje o rychlosti NIC a toleranci nadměrného odběru. Velké předtrénování hraničních modelů vyžaduje neblokující-látky 400G+. Jemné{5}}vyladění pracovní zátěže může tolerovat nadměrný odběr 2:1. Inferenční shluky často potřebují nižší šířku pásma, ale nižší latenci na konci.

Krok 2: Vyberte rychlost NIC a počet na server

Logika rozhodování:

• Předtrénování velkých modelů, 8-GPU servery → 4–8× 400G NIC na server, nebo 4× 800G
• Středně{0}}školení, 8-GPU servery → 2–4× 400G NIC na server
• Inference service → 1–2× 200G nebo 400G NIC na server, v závislosti na paralelismu modelu

Ověřte šířku pásma PCIe na hostiteli. Jeden 400G port vyžaduje PCIe Gen5 x16, aby běžel rychlostí linky; zdvojnásobení na 800G vyžaduje Gen6 nebo rozdělení na dva sloty.

Krok 3: Velikost listové vrstvy

Fungovaný příklad - 32-klastru uzlů, 8 GPU na uzel, 4× 400G NIC na uzel:

• Celkový počet{0}}serverových potřebných portů: 32 × 4=128 portů při 400G
• Šířka pásma stahování na uzel: 4 × 400=1.6 Tb/s
• Celková šířka pásma pro stahování clusteru: 32 × 1.6=51.2 Tb/s

Pomocí 64portového 400G listového přepínače (celková kapacita 25,6 Tb/s) může každý list připojit 32 serverových portů a zbývajících 32 portů použít jako uplinky. Se 4 listy pokryjete všech 128 serverových portů. Každý list přispívá 32 × 400 G=12.8 Tb/s uplinku směrem k páteři.

Krok 4: Nastavte velikost vrstvy páteře

U neblokujícího (1:1) návrhu se celková kapacita uplinku musí rovnat celkové kapacitě downlinku. Od kroku 3:

• Celkový požadovaný uplink listu: 4 listy × 12,8 Tb/s=51.2 Tb/s
• Pokud má každá páteř 32× 400G portů=12.8 Tb/s, potřebujete 4 páteře
• Každý list se připojuje ke všem 4 hřbetům pomocí 8 uplinků na hřbet (8 × 400G × 4=12.8 Tb/s na list - odpovídá)

Pokud používáte 64portové 400G páteřní přepínače, každá páteř má volnou kapacitu pro rozšíření clusteru, což je užitečné pro 18měsíční plán od kroku 1.

Krok 5: Nastavte poměr nadměrného odběru

Krok 6: Oddělte provoz výpočtu, úložiště a správy

Tři možnosti v pořadí pro zvýšení izolace:

• Sdílená struktura s třídami QoS:Počítání, ukládání a správa na samostatných prioritách DSCP. Nejnižší náklady; vyžaduje pečlivou konfiguraci QoS.
• Logicky oddělené VLAN/VRF:Stejný hardware, oddělené řídicí roviny. Užitečné pro clustery s více-nájemci.
• Fyzicky oddělené látky:Vyhrazené síťové karty, přepínače a kabeláž pro výpočet vs. úložiště. Nejvyšší náklady; běžné ve shlucích hraničních-modelů, kde je jakýkoli spor nepřijatelný.

Provoz úložiště pro umělou inteligenci je sám o sobě těžký - zápisy kontrolních bodů u velkého modelu mohou přesunout stovky gigabajtů v krátkých dávkách. Plánujte to explicitně. Závod na strukturovanou kabeláž s vysokou-hustotou využívajícíHlavní kabely MPO/MTPzjednodušuje provoz paralelních tkanin ve stejné fyzické infrastruktuře.

Krok 7: Ověřte před výrobou

Testy na{0}}úrovni sítě zachycují některé problémy. Testy na{2}}úrovni pracovní zátěže zachytí zbytek.

• šířka pásma:iperf3 nebo ib_send_bw mezi každým párem uzlů; by měla dosáhnout 90 %+ rychlosti linky NIC.
• Latence:ib_read_lat nebo podobné; zkontrolujte distribuci, nejen průměr. P99,9 je důležitější než průměr.
• Ztráta paketů:Spusťte 24-hodinový test soak pod zátěží; jakákoliv nenulová ztráta v provozní třídě RoCE je problém.
• Chování ECN značení:Ověřte, zda se značky objevují před odpálením PFC; pokud jsou pauzy PFC v ustáleném stavu časté, přelaďte.
• Kolektivní komunikace:Spusťte testy NCCL (all_reduce_perf, all_gather_perf) při plné velikosti clusteru. Porovnejte s referenčními čísly dodavatele.
• Test na{0}}úrovni práce:Proveďte reprezentativní školení po dobu 4–6 hodin. Sledujte trvalé hodnoty využití GPU - pod 50 % na modelu správně{5}}velikosti obvykle indikují problém se sítí.

Tradiční síť datových center vs AI Spine-Leaf Fabric

Ethernet RoCE vs InfiniBand: Průvodce rychlým rozhodnutím

Tato otázka se objevuje téměř v každém klastrovém projektu AI. Oba fungují. Volba obvykle závisí na provozní vhodnosti, nikoli na čistém výkonu.

• Vyberte InfiniBand, pokud:Váš tým již zařízení InfiniBand provozuje, chcete nejjednodušší cestu k bezztrátovému přenosu nebo kupujete plně -integrovanou referenční architekturu dodavatele.
• Zvolte Ethernet RoCE, pokud:Váš operační tým je ethernetový-nativní, chcete možnosti přepínačů od více{1}}dodavatelů, potřebujete integrovat strukturu AI se stávajícími sítěmi datových center nebo očekáváte rozšíření nad rámec toho, co současné topologie InfiniBand čistě podporují.

Konsorcium Ultra Ethernet, které vzniklo v roce 2023, aktivně pracuje na standardizaci vylepšení Ethernetu speciálně pro pracovní zátěže AI. Pro většinu nových clusterů v roce 2026 je Ethernet RoCE obhajitelným výchozím nastavením, pokud neexistuje konkrétní důvod zvolit jinak.

Časté chyby, kterým je třeba se vyhnout

Upgrade přepínačů bez kontroly NIC

Přepínač 800G pro vás nic neudělá, pokud vaše síťové karty běží na 400G nebo vašemu hostitelskému PCIe dojde šířka pásma. Nejprve navrhněte stranu hostitele, poté stranu přepínače. PCIe Gen5 x16 omezuje jeden port na přibližně 504 Gb/s v reálném světě-propustnost - pohodlná pro 400G, okrajová pro 800G.

Optimalizace rychlosti portu, ale ignorování hustoty kabeláže

Při 64{4}}portu 400G se kabeláž pod každým přepínačem může stát fyzicky neovladatelnou bez plánování. Kde je to vhodné, použijte breakout kabely, veďte vlákna strukturovanými cestami a standardizujte typy konektorů. Při vysokých rychlostech záleží na kvalitě konektoru a zakončení – našeprůvodce typy optických konektorůpokrývá kompromisy mezi LC, MPO a vznikajícími formovými faktory s vysokou-hustotou.

Považovat RoCE za Plug-and{1}}Play

Největší konstrukční chybou ve skutečných klastrech AI je nevybrat špatný přepínač -, ale podceňovat, kolik práce na konfiguraci RoCE je potřeba od konce{1} do{2}}. Rozpočtový čas na ladění prahových hodnot ECN, priorit PFC a konzistence MTU. Před spuštěním jakékoli produkční zátěže naplánujte vyhrazenou fázi ověřování.

Míchání veškerého provozu na jedné látce bez QoS

Replikace úložiště, monitorovací agenti a provoz správy mohou zkazit časy tréninkových kroků, pokud sdílejí vyrovnávací paměti s výpočetním provozem. Buď je oddělte fyzicky, nebo vynucujte přísné třídy QoS s oddělenými prioritami a konfigurací ECN.

Budova pouze pro dnešní klastr

Většina klastrů AI naroste 4–8× během dvou let od počátečního nasazení. Zvolte radix přepínače a kapacitu páteře, která umožňuje -nerušivé rozšíření. Tahání kabelů v živém datovém centru AI je drahé; plánování kapacity vedení a oprav v době nasazení je levné.

Kdy zvýšit ze 400G na 800G

800G síťové karty a přepínače jsou k dispozici, ale dražší na port. Zvažte zvýšení, když:

• Na-potřeby šířky pásma GPU přesahují to, co může poskytnout 400G -, například H100 a novější GPU s NVLink 5 očekávají vyšší externí šířku pásma
• Všechny NCCL-zkracují časové měřítko špatně s velikostí clusteru, což naznačuje saturaci sítě
• Hustota kabelů při 400G se stává fyzicky neovladatelnou - méně 800G portů může nahradit více 400G portů
• Očekává se, že další generace GPU ve vaší cestovní mapě ji bude potřebovat v rámci odpisového okna clusteru
• Vytváříte hraniční-výukový model, kde jakákoli doba nečinnosti při výpočtu stojí výrazně více než upgrade optiky

Pro většinu produkčních klastrů v roce 2026 zůstává 400G tou správnou rovnováhou nákladů, vyspělosti ekosystému a schopností. 800G má smysl v high-endu a jako předběžná investice do klastrů, které se dnes budují a očekává se, že budou fungovat 4–5 let.

Závěr

Nejsilnější klastrová síť AI není ta s nejrychlejšími přepínači. Je to ten, kde se volba NIC, dimenzování listu/hřbetu, nadměrné předplatné, konfigurace RoCE, oddělení provozu a fyzická kabeláž navzájem podporují a podporují pracovní zátěž, pro kterou byly vybrány.

Začněte od pracovního vytížení a 18-měsíčního plánu růstu. Vypočítejte potřebu šířky pásma v každé vrstvě pomocí reálných čísel, nikoli pouze orientačních pravidel. Nakonfigurujte RoCE end-to{6}}end a ověřte pomocí skutečných srovnávacích testů kolektivní komunikace. Rozpočet na kabeláž – při 400G a 800G již fyzická vrstva není triviální.

Cluster, který zaměstnává své GPU na 95%+ využití během každého tréninkového kroku, je ten, který věnoval pozornost všem těmto vrstvám. Cluster, který je dodáván s rychlejším přepínačem a pomalejší strukturou, bude roky vysvětlovat, proč jsou GPU nečinné.

Další čtení

• RFC 7938 - BGP ve velkých{1}}datových centrech
• Specifikace RoCE InfiniBand Trade Association -
• Síťová dokumentace NVIDIA
• Průvodce instalací optického kabelu
• Ztráta vložení vs. návratová ztráta vysvětlena