100G QSFP28 Spine-Design listu: Vyvarujte se chyb v portech

100G páteřní-látka je jedním z nejspolehlivějších způsobů připojení 25G serverů, 100G uplinků, klastrů úložišť a východního-západu-těžkého pracovního zatížení v moderním datovém centru. Přitažlivost QSFP28 je jeho flexibilita: jeden port může přenášet nativní 100G spojení nebo se rozdělit na čtyři 25G serverová připojení, takže jeden přepínač může obsluhovat jak přístupovou hranu, tak jádro tkaniny.

Rychlé přepínače jsou ta snadná část. Návrh 100G žije nebo umírá na rozhodnutích učiněných před objednávkou: jak jsou jednotlivé porty přiděleny, jak vypadá poměr nadměrného odběru za normálních a poruchových podmínek, která optika odpovídá skutečným kabelům, kolik tepla tato optika přidává a zda může tkanina růst na 400G bez upgradu vysokozdvižného vozíku.

Tato příručka je -neutrálním referenčním dokumentem pro plánování pro síťové a infrastrukturní týmy. Níže uvedená čísla odpovídají aktuálním specifikacím IEEE 802.3 Ethernet a příslušným dohodám o více -zdrojích optických zdrojů, ale každý přepínač a transceiver má svůj vlastní datový list, takže si ověřte přesná čísla pro hardware, který kupujete.

Jak číst příklady v této příručce.Pokud není uvedeno jinak, předpokládají jednotlivé-homované servery s jednou 25G NIC na každém, 48 hostitelskými porty na list, 100G list-k{5}}spine uplinks, úplnou síť, ve které je každý list připojen ke každému páteři, a povolenou dopřednou korekci chyb tam, kde to optika vyžaduje. Duální-nájezd, rychlejší síťové karty nebo různé počty portů změní každé následující číslo.

Co je 100G Spine-Leaf Network?

Spine-leaf je dvouvrstvá{1}}architektura datového centra vytvořená z přepínačů listů a páteřních přepínačů. Listové přepínače jsou umístěny v horní části každého stojanu a poskytují porty-směřující k serveru plus uplinky do páteře. Spínače páteře tvoří vysokorychlostní{5}}páteř. Každý list se připojuje ke každému hřbetu, takže provoz mezi stojany přesouvá list na hřbet po listu po stejně dlouhé-dráze.

Design je oblíbený, protože přináší:

• Předvídatelná, stejná délka cesty mezi libovolnými dvěma stojany
• Nativní podpora pro silný východ-západní provoz
• Všechny uplinky jsou aktivní přes ECMP a nejsou blokovány spanning tree
• Jednoduché horizontální škálování - přidat listy pro porty, přidat hřbety pro kapacitu

Ve 100G látce běží spoje list{1}}to{2}}s páteří rychlostí 100G, zatímco porty{4}}směrem k serveru běží na 10G, 25G, 50G nebo 100G v závislosti na pracovní zátěži. Dnes je nejběžnější podnikovou kombinací přístup 25G se 100G uplinky.

Fyzický design versus logický design

"Network design" pokrývá dvě vrstvy, které lze snadno spojit. Tato příručka se soustředí na porty fyzické a kapacitní vrstvy -, optiku, nadměrné předplatné, kabeláž -, protože k tomu se zavazujete při nákupu hardwaru. Ale logická vrstva rozhoduje o tom, jak struktura posouvá provoz, a formuje několik fyzických možností.

Na fyzické straně sedí přepínač a výběr portu, rychlosti NIC, nadměrné předplatné, optika, kabeláž, napájení a chlazení. Na logické straně je zatížení ECMP-vyvažování mezi uplinky; překrytí, jako je VXLAN s řídicí rovinou BGP EVPN pro vrstvu 2 a vrstvu 3 s více nájemci přes směrovanou podložku; duální-navádění s MLAG nebo MC-LAG a LACP na přístupové hraně; a selhání-velikosti domény. Pro tkaniny RDMA musíte také zkonstruovat téměř-bezztrátovou síť, která je popsána níže. Logický model stanovte včas, protože ovlivňuje počty uplinků, kolik páteří chcete pro šířku ECMP a zda jsou listy nasazeny jako páry MLAG.

Krok 1 - Definujte rychlost serveru a pracovní vytížení

Začněte pracovní zátěží, ne optikou. Obecný virtualizační cluster, úložná struktura a tréninkový modul AI mají velmi odlišné potřeby a správný návrh sleduje provoz.

25G servery se 100G uplinky

Pro většinu podnikových a soukromých-cloudových prostředí je 25G přístup se 100G listovým-k-spine uplinks ideálním místem: velký skok přes 10G při zachování rozumných nákladů na NIC, kabel a přepínač. Typické sestavení spojuje 25G sestupné linky, 100G uplinky a poměr 2:1 až 3:1 pro obecné výpočty, s nižším předplatným vyhrazeným pro úrovně citlivé na úložiště a latenci{13}}. Hodí se pro virtualizaci, privátní cloud, webové vrstvy a většinu podnikových datových center.

Nativní 100G pro úložiště, AI a HPC

Některé úlohy vyžadují nativní 100G na serveru: distribuované úložiště a úložiště NVMe-oF, AI a školení strojového-učení, HPC, rozsáhlé-analýzy a RDMA s nízkou-latenční dobou. Zde by nadměrné odběry měly být nízké -, často neblokující{7}}nebo se mu blíží -, protože problémem není pouze objem, ale vzor provozu.

Pracovní zátěže AI, HPC a RDMA generují hustý, synchronizovaný provoz od všech{0}}k{1}}veškerému z východu-západu: mnoho uzlů vysílá do mnoha uzlů současně, takže statistické vyhlazování, které vám šetří virtualizační strukturu, již neplatí. RDMA over Converged Ethernet (RoCE) přidává druhé omezení, protože očekává téměř -bezeztrátovou strukturu, což v praxi znamená Priority Flow Control (PFC) a Explicit Congestion Notification (ECN) vyladěné od začátku do konce. Tkanina, která upustí snímky při přetížení, bude sledovat kolaps výkonu RoCE, takže tyto clustery jsou obvykle sestaveny v poměru 1:1 s pečlivou konfigurací vyrovnávací paměti a přetížení.

Krok 2 - Jak vypočítat porty listového a hřbetního přepínače pro 100G tkaninu

Plánování přístavu začíná u listu, ne u páteře. Práce směrem ven ze serverů:

1. Počítejte-porty směřující k serveru na stojan.
2. Rozhodněte, zda se jedná o nativní 25G, nativní 100G nebo oddělovací pruh.
3. Vyhraďte porty QSFP28 pro páteřní uplinky.
4. Přidejte náhradní porty pro růst, redundanci, testování a výměnu.
5. Přepočítat nadměrné předplatné po přiřazení rozdělení, nikoli dříve.

Počítejte porty-proti serveru

Pro každý stojan uveďte počet serverů, rychlost síťové karty, síťové karty na server, jedno{0}} nebo duální{1}}domov a požadované náhradní díly. Každý rack se 48 servery s jednou 25G NIC potřebuje 48 hostitelských portů. Dvojité-domov těchto serverů do listového páru a počet přístupových portů v tomto páru se zdvojnásobí.

Rezervujte si uplink porty a sledujte dvojnásobný{0}}počet

Po hostitelských portech rezervujte porty QSFP28 pro páteř. Zde se skrývá nejčastější chyba: pokud jsou pro 4x25G breakout použity stejné porty QSFP28, nejsou již dostupné jako uplinky. Jedinou největší chybou plánování není nesprávné započítání 100G uplinků, ale přecenění uplinkových portů, které zbyly, jakmile je pohltil výpadek. Přiřaďte rozdělení před matematiku nadměrného odběru nebo poměr, který jste vypočítali, je fikce.

Pomůže zpracovaný příklad. Vezměte si společný list 1U se 48 hostitelskými porty SFP28 a 8 porty QSFP28:

Se šesti uplinky přenášejícími 1200G přístupového provozu běží list v poměru 2:1 a dva porty QSFP28 zůstávají v rezervě. Dejte každému portu jednu explicitní roli v tabulce, než změníte velikost čehokoli jiného.

Nechte volnou kapacitu

Nekonzumujte každý port první den. Vyhraďte si prostor pro nové servery, další páteře, dočasné testovací odkazy, neúspěšné{1}}záměny portů, sledování klepnutí a migraci. Trochu nevyužitá kapacita je mnohem levnější než redesign.

Krok 3 - Vypočítat nadměrné předplatné, včetně N-1

Oversubscription porovnává celkovou šířku pásma serveru-na listu s celkovou šířkou pásma uplinku k páteři:

Poměr nadměrného odběru=celková šířka pásma pro stahování / celková šířka pásma pro odesílání

Pro list výše 48 x 25 G=1, 200 G dolů a 6 x 100 G=600G nahoru, což dává 1 200 / 600=2:1. To znamená dvakrát větší teoretickou přístupovou šířku pásma než uplinková šířka pásma - obvykle v pořádku pro obecné výpočty, kde servery zřídkakdy všechny vysílají linkovou rychlostí najednou, ale představuje skutečné omezení pro úložiště, AI, HPC a RDMA.

Vždy zkontrolujte pouzdro N-1

Látka může při běžném provozu vypadat zdravě a při poruše se dusit. Představte si list s osmi 100G uplinky rozmístěnými rovnoměrně přes čtyři páteře - dva na páteř, celkem 800G, takže 1200G přístupu dává 1,5:1. Ztratí jeden páteř a list klesne o dva uplinky na 600G, čímž se poměr posune na 2:1 po dobu výpadku. Pokud váš cíl „není horší než 2:1 ani při selhání“, musíte začít blízko 1,5:1. Vypočítejte jak normální poměr, tak poměr N-1 po ztrátě jedné páteře nebo uplinku; druhé číslo je to, které kousne při údržbě.

Plánování rozsahů podle pracovní zátěže

Neexistuje žádný univerzální poměr, takže následující považujte za rozsahy plánování, nikoli za standardy, a ověřujte je podle naměřeného provozu, kde je to možné:

Při upgradu zkontrolujte aktuální využití uplinku, vzory špiček a východ{0}}západu, toky úložiště a zálohovací okna, než se zavázat k poměru.

Krok 4 - Vyberte optiku a kabely QSFP28

Rozhraní QSFP28 100G jsou standardizována IEEE 802.3 -Novela 802,3bmpřidal 100GBASE-SR4 vedle jednorežimového-LR4 PHY. Vybírejte optiku podle vzdálenosti, typu vlákna, konektoru, napájení a kompatibility přepínačů a odolejte výchozímu nastavení na nejdelší dosah: dosah, který nepotřebujete, obvykle znamená náklady a výkon, které nepotřebujete. Přizpůsobte modul běhu s rozumnou rezervou.

DAC a AOC pro krátké serverové odkazy

Pro připojení v -skříni a sousedních-skříních jsou praktické měděné kabely QSFP28 s přímým{3}}připojením (DAC) a aktivní optické kabely (AOC). Pasivní DAC vyhovuje nejkratším skokům - několik metrů - při nejnižší ceně a výkonu, zatímco AOC rozšiřuje dosah a je lehčí a flexibilnější tam, kde se objem mědi stává problémem. Pro přístup 25G je běžný DAC nebo AOC QSFP28-to-4x SFP28 breakout DAC nebo AOC, když přepínač podporuje breakout.

100GBASE-SR4 pro krátké vícerežimové uplinky

SR4 přenáší 100Gosm vláken paralelního multimodupomocí konektoru MPO/MTP, což z něj činí nákladově-efektivní volbu pro běhy s krátkými listy-na-hřbetu uvnitř řady. Jeho dosah závisí na kvalitě vlákna - zhruba 70 m na OM3 a 100 m na OM4 -, takže se vyplatí znát dosah, od kterého můžete očekávatMultimódové vlákno OM3, OM4 a OM5ve vaší podlaze. Hlavním omezením plánování je paralelní kabeláž: MPO patching a polarita musí být vypracovány předem.

CWDM4 nebo FR pro jeden-režim běží na vzdálenost asi 2 km

Pro mezi-linky, mezi-místnosti nebo mezi-haly se lépe hodí optika s jedním-režimem, jako je CWDM4 nebo FR. The100G CWDM4 MSAdefinuje dosah 2 km přes jeden pár single{1}}vláknových vláken s duplexním LC konektorem a FEC. Protože používají duplexní vlákno místo paralelního MPO, CWDM4 a FR optika často spadá do jednoho-závodu čistěji než SR4 - a na tyto vzdálenosti je možné vybrat meziJednorežimové vlákno OS1 a OS2-začíná záležet na vašem ztrátovém rozpočtu. Kratší varianty s jedním-režimem, jako je DR, pokrývají zhruba 500 m, kde je vše, co potřebujete.

100 GBASE-LR4 pro kampus a DCI

LR4 je možnost s dlouhým{1}}dosahem a nese 100Gaž 10 km přes duplexní jedno-vláknopro kampus, propojení mezi-budovou{1}}nebo propojení datových-centrů-. Používejte jej pouze tam, kde to vzdálenost skutečně vyžaduje; optika s dlouhým -dosahem na krátkých intra-datových{7}}centrech jednoduše zvyšuje náklady, energii a teplo, aniž by se zlepšovala struktura.

Srovnání optiky QSFP28 100G

Tabulka shrnuje, kam se jednotlivé možnosti hodí. Zacházejte s dosahy jako s typickými plánovacími údaji a ověřte si přesná čísla, jakost vlákna a požadavek FEC na datovém listu každého modulu.

Zpracované příklady: Malé, střední a velké tkaniny

Jedná se o zjednodušené modely plánování, nikoli o plány. Počet hřbetů se obvykle volí pro rovnoměrné rozdělení uplinků a nastavení šířky ECMP: dva hřbety jsou praktické minimum pro redundanci, čtyři poskytují jemnější zrnitost N-1 a lepší rozložení zátěže a osm vyhovuje velkým tkaninám. Počet listů se přizpůsobí serverovým portům, které potřebujete.

Malá látka

• 8 listových spínačů
• 2 páteřové spínače
• 48 x 25G serverových portů na list
• 4 x 100G uplinků na list
• 384 samostatných{1}}portů serveru 25G

Na list: 1 200 G dolů, 400 G nahoru, takže 3:1. Funkční pro obecné výpočty, ale těsné pro těžké úložiště nebo AI. Pokud potřebujete nižší poměr, přidejte uplinky nebo ořízněte přístup na list.

Střední tkanina

• 16 listových spínačů
• 4 páteřové spínače
• 48 x 25G serverových portů na list
• 6 x 100G uplinků na list
• 768 samostatných{1}}portů serveru 25G

Na list: 1 200 G dolů, 600 G nahoru, takže 2:1. Solidní rovnováha pro virtualizaci a podnikovou zátěž a čtyři páteře šíří ECMP lépe než dvě.

Velká látka

• 32 listových spínačů
• 8 páteřových spínačů
• 48 x 25G serverových portů na list
• 8 x 100G uplinků na list
• 1 536 samostatných-portů serveru 25G

Na list: 1200G dolů, 800G nahoru, takže 1,5:1. Větší prostor pro uplink, ale více optiky, vláken, nákladů, napájení a kabeláže ke správě. V tomto měřítku je dokumentace součástí návrhu: štítky, mapy portů, polarita, náhradní optika, proudění vzduchu a monitorování – to vše musí být naplánováno před instalací.

QSFP28 Breakout Planning (100G až 4x25G)

Breakout je nejužitečnější a nejvíce nepochopená část návrhu QSFP28. Tam, kde to přepínač, kabel a konfigurace dovolují, se jeden port QSFP28 rozdělí na čtyři 25G SFP28 spojení a připojí čtyři 25G servery z jediného 100G portu. Získává své místo, když potřebujete vysokou hustotu 25G, máte spoustu portů QSFP28, chcete snížit náklady na připojení k serveru nebo vytváříte přechodnou strukturu 25G/100G pomocí QSFP28-to-4x SFP28 DAC, AOC neboVylamovací kabely MTP/MPOv závislosti na vzdálenosti.

Háček je v tom, že breakout spotřebovává QSFP28 porty. Pokud 32-portový přepínač QSFP28 vyhradí 16 portů pro 4x25G breakout, těchto 16 portů podporuje 64 serverů – ale pouze 16 portů QSFP28 zbývá pro uplinky, úložiště, propojení a náhradní díly. Základním pravidlem je nejprve počítat breakout porty a poté počítat, co zbývá pro uplinky.

Než se zavážete, potvrďte několik věcí a brzy se rozhodněte, zda by měl být každý běh akmen nebo vylamovací sestava:

• Které porty podporují breakout a existují omezení-skupin portů?
• Deaktivuje povolení breakout sousední porty?
• Podporuje operační systém přepínač režim, který potřebujete?
• DAC, AOC nebo breakout optika pro každý běh?
• Jsou všechny čtyři pruhy potřeba nyní, nebo až později?
• Jak breakout ovlivní budoucí přechod na nativní 100G servery?

Správa napájení, chlazení a kabelů

Tkanina 100G produkuje více než šířku pásma -, produkuje teplo, proudění vzduchu a hustotu kabelu. Rozpočet napájení by měl zahrnovat šasi přepínačů a ventilátory, optické moduly QSFP28 (a DAC nebo AOC, pokud se používají), redundantní spotřební materiál, kapacitu na úrovni racku a růstovou marži. Chlazení by mělo zohledňovat horké- a studené-rozvržení uličky, konzistentní proudění vzduchu zepředu{8}}k-zepředu{10}}k-přední části, zaslepovací panely, překážky v kabelech, okolní teplotu a{12}}sledování teploty modulu, protože páteř nabitá optikou je skutečnou tepelnou zátěží.

Kabeláž se rychle mění: 16 listů na 4 hřbety je již 64 spojů list-k{4}}hřbetu, z nichž každý musí být označen, směrován, testován a zdokumentován. Celou-síťovinu je mnohem snazší sestavit a udržovat s předem-koncovkouMPO/MTP trunk kabelážnež u pole-ukončeného vlákna. Týmy by si také měly předem dohodnout konvence o konektorech a polaritě; apraktické rozdíly mezi MTP a MPOstojí za to potvrdit před objednávkou. Nedbalá dokumentace nic nestojí první den a hodně při prvním výpadku.

Navrhování pro upgrade 400G

Navrhněte látku s realistickou cestou upgradu. První den nepotřebujete 400G všude, ale měli byste se vyhnout volbám, které později způsobí bolest. Začněte přemýšlet o připravenosti na 400G, když jsou páteřní uplinky již silně zatížené, když přidávání dalších 100G páteří začíná být nepříjemné, když se počty cest ECMP blíží limitům platformy nebo když se zrychluje růst AI, úložiště nebo východ{5}}západ.

Obvyklá strategie je nejprve upgradovat páteř: listy si ponechají své 100G uplinky, zatímco páteř s vyšší{1}}kapacitou - pomocí portů, jako je např.QSFP-DD- přidává prostor, často se 400G porty rozkládajícími se na 4x100G zpět ke stávajícím listům. Širší trajektorii určuje průmysl: thePlán Ethernet Alliancenyní běží přes 400G, 800G a dále, z velké části poháněné AI. Při hodnocení přepínačů zkontrolujte, zda platforma podporuje rychlosti, optiku, režimy přerušení a softwarové funkce, které bude vyžadovat postupný upgrade.

Když 100G Spine-Design Leaf není tou správnou volbou

Tento design není univerzální a několik případů vyžaduje něco jiného. Hrstka serverů v jednom nebo dvou stojanech jen zřídka ospravedlňuje sestavení celé páteřní{1}}listy, kde je pár redundantních přepínačů jednodušší a levnější. Velmi velké školicí clustery AI mohou překonat to, co dobře zvládá 100G přístup a 100G páteřová tkanina, od začátku přistávají na 400G nebo 800G tkaninách - nebo dokonce na vyhrazené síti InfiniBand -. A pokud téměř veškerý provoz směřuje na sever-jižně k bráně spíše než na východ{11}}západ mezi stojany, na výhodách východo{12}}západu páteřního-listu záleží méně, takže topologie by měla být odůvodněna růstem a provozními důvody, nikoli předpokládaná. Přizpůsobte architekturu provozu a měřítku, ne naopak.

Běžné chyby 100G páteře-Leaf Design

• Počítání portů QSFP28 dvakrát.Port je buď 4x25G breakout nebo 100G uplink, nikdy obojí. Dejte každému portu jednu roli.
• Výběr optiky podle maximálního dosahu.Delší dosah zvyšuje náklady a výkon; přizpůsobte optiku skutečné vzdálenosti a typu vlákna.
• Ignorování N-1.Zkontrolujte poměr během normálního provozu a po ztrátě páteře.
• Zapomeňte na optickou sílu a teplo.Páteř plná modulů QSFP28 představuje skutečnou tepelnou zátěž, takže do výpočtu napájení a chlazení zahrňte optiku.
• Zacházení s kabeláží jako dodatečný nápad.Směrování, značení, polarita a dokumentace patří do návrhu, nikoli do instalace.
• Design pouze pro dnešní rychlost serveru.Pokud se přístup 25G posune na 100G, ponechte místo pro nativní 100G nebo 400G páteř.

Závěr

Dobrý návrh 100G páteře-je součtem rozhodnutí učiněných před příchodem hardwaru: definujte pracovní zátěž, správně počítejte porty, spočítejte nadměrné odběry za normálních i poruchových podmínek, vyberte optiku podle vzdálenosti, záměrně naplánujte rozbití, rozpočet na napájení a chlazení a ponechte prostor pro 400G. Pro většinu podnikových datových center zůstává přístup 25G se 100G uplinky QSFP28 silnou rovnováhou mezi výkonem, cenou a rozsahem, zatímco úložiště, AI a HPC jednoduše vyžadují nižší nadměrné předplatné a přísnější ověřování. Spolehlivý přístup se nemění: navrhujte od serveru směrem ven, prokažte matematiku za normálních podmínek a podmínek N-1 a zdokumentujte každý odkaz před nasazením.