AI Cluster Network Design: Spine{0}}Leaf, RoCE ja verkkokortit

Tekoälyklusteriverkon suunnittelu on prosessi, jossa määritetään GPU-palvelimen NIC-kortit, lehti{0}}selkäosan kaistanleveys, yliliittymäsuhde, RoCE-asetukset, optiikka ja kaapelointi, jotta hajautettu harjoitusliikenne pysyy ennustettavissa klusterin laajeneessa. Jos jokin näistä on väärin, verkosta - ei GPU:sta - tulee pullonkaula.

Miksi tekoälyklusteriverkosto on erilaista?

Perinteisessä yrityspalvelinkeskuksessa verkko käsittelee pohjoisen{0}}etelän käyttäjäliikennettä, tallennustilan käyttöä, virtualisointia ja hallintaa. Itä-länsiliikennettä on, mutta se on harvoin hallitseva kuorma. Tekoälyklusterissa tilanne kääntyy. Hajautettua koulutusta suorittavat GPU-palvelimet vaihtavat gradientteja ja synkronoivat parametreja työn jokaisen vaiheen aikana. Tämä viestintä on osa laskentaa, ei sen sivuvaikutus.

Jos 30 000 dollarin GPU viettää 30 % ajastaan ​​verkossa odottamiseen kaikkien-reduce-toimintojen aikana, klusteri käytännössä maksaa 30 % laskentakapasiteetistaan ​​olla käyttämättä. Tämä on taloudellinen syy, miksi tekoälyverkosto saa niin paljon huomiota.

Suunnittelua ohjaavat kolme työkuormitusominaisuutta:

• Vilkas itä{0}}lännen liikenne.Kollektiiviset viestintätoiminnot, kuten kaikki-vähentävät, kaikki-keräävät ja vähentävät-sirontaa, tuottavat synkronoituja purskeita useissa solmuissa samanaikaisesti.
• Hännän{0}}latenssiherkkyys.Yksi hidas solmu viivästyttää koko harjoitusvaihetta. Ennustettava latenssi on tärkeämpää kuin keskimääräinen latenssi.
• Skaalaa kasvua-32 GPU:sta alkavat klusterit kasvavat usein 256:een tai 1 024:ään 18 kuukauden kuluessa. Kankaan tulee skaalata ilman uudelleensuunnittelua.

Miksi Spine{0}}Leaf sopii tekoälyklusteriin

Spine{0}}leaf on hyperscale-palvelinkeskusten standardirakenne, koska se antaa jokaiselle palvelimelle-palvelimelle{2}} saman hyppymäärän ja saman teoreettisen kaistanleveyden. Tekoälyn työkuormituksille tämä yhtenäisyys muuttuu suoraan ennakoitavissa oleviksi harjoitusvaiheiden ajoiksi.

Spine{0}}leaf-topologiassa GPU-palvelimet muodostavat yhteyden lehtikytkimiin, ja jokainen lehti muodostaa yhteyden jokaiseen selkään. Mikä tahansa GPU-to-GPU-yhteys ylittää täsmälleen yhden lehden, yhden selkärangan ja yhden lehden. Ei ole olemassa koontikerroksia, jotka ottavat käyttöön muuttuvan latenssin tai kuristuspisteitä.

Ennustettava latenssi

Tasahintainen-kustannus moni--reititys (ECMP) jakaa virtaukset selkäkytkimien välillä. Kun se on määritetty oikein mukautuvan reitityksen tai dynaamisen kuormituksen tasapainotuksen kanssa, tämä estää hajautustörmäykset, jotka aiheuttavat joidenkin virtojen olevan paljon hitaampia kuin toiset - tunnettu ongelma staattisissa ECMP-kudoksissa, jotka kuljettavat vain vähän mutta suuria virtoja, minkä tekoälyharjoittelu tuottaa.

High Bisection Bandwidth

Puolittamisen kaistanleveys on klusterin minkä tahansa kahden yhtä suuren puoliskon välillä käytettävissä oleva kapasiteetti. Tekoälyharjoittelu hyötyy ei--estävästä tai lähes -estävästä-malleista, joissa nousevan siirtotien kapasiteetti on yhtä suuri tai lähes yhtä suuri kuin palvelimiin päin oleva laskevan siirtotien kapasiteetti. IETF määrittelee nämä käsitteet ja käsittelee niitäRFC 7938, joka kattaa BGP{0}}reititetyt Clos-kankaat, joita käytetään laajalti suurissa-palvelinkeskuksissa.

Helpompi skaalaus-ulos

Lisää lehtiä lisätäksesi lisää palvelimia. Lisää piikkejä lisätäksesi puolikkaan kaistanleveyttä. Yli muutaman tuhannen GPU:n klustereissa super-spine (5--vaihe Clos) tai kiskooptimoitu topologia laajentaa samaa periaatetta yhden kerroksen pidemmälle.

Tekoälyklusteriverkon ydinkomponentit

GPU-palvelimet ja verkkokortit

NIC on paikka, jossa kangas kohtaa isännän. Tekoälyklustereissa NIC-valinta ohjaa kaiken alavirran - kytkimen portin nopeuden, optiikan valinnan ja kaapelointitiheyden.

AI-työkuormien valintakriteerit:

• Portin nopeus:200G, 400G tai 800G porttia kohden. Yhdistä GPU-sukupolven ja PCIe-kaistanleveyden kanssa.
• PCIe-sukupolvi:400 Gt:n verkkokortti vaatii PCIe Gen5 x16:n välttääkseen isäntäpuolen kuristamisen. PCIe Gen4 x16 caps ~ 256 Gbps käytettävissä.
• RDMA- ja RoCEv2-tuki:Vaaditaan ytimen{0}}ohitamiseen GPU-tietoliikennekirjastot, kuten NCCL.
• GPUDirect RDMA:Mahdollistaa suoran GPU:n-to-NIC DMA:n ja poistaa isäntämuistin kopiot.
• Monen{0}}junan ominaisuus:Monet tekoälypalvelimet käyttävät neljää tai kahdeksaa verkkokorttia solmua kohden, yhtä GPU-paria kohden, rautatieoptimoiduille topologioille.

Tyypillinen 8 GPU:n palvelin käyttää nykyään joko 4 × 400 G NIC:tä (yksi kahta GPU:ta kohti) tai 8 × 400 G NIC:tä (yksi GPU:ta kohti) työmäärästä ja budjetista riippuen. Viitearkkitehtuurit alkaenNVIDIA-verkkodokumentaatiokattavat suunnittelun kompromissit yksityiskohtaisesti.

Lehti- ja selkäkytkimet

Kytkimien valintakriteerit tekoälykankaille poikkeavat yrityksen valinnasta. Puskurin koolla, ruuhkanhallintakäyttäytymisellä ja telemetrialla on enemmän merkitystä kuin ominaisuuden leveydellä.

• -Portin nopeus ja kantaluku:51,2 Tbps ASIC-kytkin tarjoaa 64× 800G-portteja tai 128×400G-portteja. Radix määrittää, kuinka litteä kangas voi olla.
• Puskurin arkkitehtuuri:Syvät puskurit absorboivat incast purskeita, mutta lisäävät latenssia. Matalat puskurit vähentävät latenssia, mutta vaativat tarkan ruuhkanhallinnan.
• RoCE-ominaisuussarja:ECN-merkintä, PFC, DCQCN tai vastaava ruuhkanhallinta ja prioriteettijonojen asianmukainen käsittely päistä-päähän-.
• Telemetria:Inband verkon telemetria (INT), -jonon syvyysraportointi ja mikrosekunnin-resoluutiolaskurit ECN-merkeille ja PFC-taukoille.

Optiikka, DAC ja AOC-kaapelointi

400 G ja 800 G kaapelointilaitoksesta tulee todellinen tekninen ongelma. Muototekijät, linkkibudjetit ja purkukokoonpanot vaativat kaikki varhaista suunnittelua.

• DAC (Direct Attach Copper):Jopa ~3 metriä 400G:lle, edullisin hinta ja pienin teho. Mittakaavassa painava ja iso.
• AOC (aktiivinen optinen kaapeli):Jopa ~30 metriä, ohuempi kuin DAC, mutta kiinteä-pituus ja kuluttaa optista virtaa molemmista päistä.
• Kytkettävä optiikka:Vaaditaan AOC-etäisyyden yli. QSFP-DD- ja OSFP-muototekijät hallitsevat 400G/800G:tä. MPO/MTP-kuitukokoonpanot käsittelevät rinnakkais{5}}kuituliitännät.

Inter-telinelinkkeissä ja strukturoidussa 400G/800G-kaapeloinnissa rinnakkaisoptiikka MPO-liitäntöjen kautta on nyt vakiona. Valinta runkokaapeleiden ja irrotuskokoonpanojen välillä riippuu kytkinportin allokaatiosta - katso meidänMPO-katkoskaapelin opasKäytännön valintalogiikka ja laajempiMPO runko vs breakout vertailukun suunnittelet juoksua lehdistä-selkärangaan{1}}.

RoCE ja häviötön Ethernet AI-kankaissa

RoCEv2 (RDMA over Converged Ethernet v2) on hallitseva Ethernet-siirto AI-työkuormille. Sen avulla verkkokortit voivat siirtää tietoja suoraan GPU-muistialueiden välillä ilman ytimen osallistumista kummassakaan päässä. NCCL, lähes kaikkien hajautettujen koulutuskehysten taustalla oleva GPU-viestintäkirjasto, käyttää RoCEv2:ta, kun InfiniBand ei ole saatavilla.

RoCE toimii hyvin, kun se on määritetty oikein. Se epäonnistuu ruma, kun se on määritetty väärin. TheInfiniBand Trade Associationjulkaisee RoCE-spesifikaatiot, ja useimmat verkkokorttien ja kytkimien toimittajat julkaisevat yksityiskohtaisia ​​määritysoppaita, joita tulee noudattaa -lopulta-.

Miksi häviöttömällä käytöksellä on väliä

RDMA suunniteltiin olettaen häviöttömän kuljetuksen. Kun paketit putoavat, RDMA-palautus on kallista - go-back-N uudelleenlähetys voi pysäyttää harjoitusvaiheen millisekunteiksi, mikä on valtava verrattuna mikrosekunnin-skaalan RDMA-budjettiin.

Häviöttömän toiminnan arvioimiseksi Ethernetissä kudos käyttää kahta yhdessä toimivaa mekanismia:

• PFC (Priority Flow Control, IEEE 802.1Qbb):Kytkin keskeyttää saapuvan liikenteen tietyssä prioriteettijonossa, kun sen puskuri täyttyy. Tämä on viimeinen-keinomekanismi.
• ECN (Explicit Congestion Notification, RFC 3168):Vaihtaa merkkipaketteja, kun jonot lähestyvät kynnystä. NIC vähentää lähetysnopeuttaan ennen kuin puskurit todella täyttyvät, mikä ihanteellisesti välttää PFC:n kokonaan.

Tavoitteena on, että ECN hoitaa lähes kaiken ruuhkanhallinnan ja PFC on turvaverkko. Jos näet toistuvia PFC-taukoja vakaassa-tilaliikenteessä, ECN-kynnyksesi ovat väärät tai kankaasi on alikokoinen.

Yleisiä RoCE-käyttöönottovirheitä

Kuinka suunnitella tekoälyklusteriverkko: toimiva kehys

Tämä on osio, jonka useimmat "AI-verkko"-artikkeleista ohittavat. Alla olevat seitsemän vaihetta antavat sinulle konkreettisia syötteitä ja tuloksia kussakin vaiheessa.

Vaihe 1: Määritä työmäärä ja mittakaava

Tulot:Työkuormitustyyppi (esiharjoittelu,{0}}hienosäätö, päättely, sekoitettu), tavoite-GPU-määrä tänään, tavoite-GPU-määrä 18 kuukauden kuluttua, mallin kokoalue.

Lähtö:Työkuormaprofiili, joka kertoo verkkokortin nopeudesta ja ylitilausten sietokyvystä. Rajamallien laaja esikoulutus vaatii ei--sulkeutumattomia 400 G+ kankaita. Työkuormien hienosäätö{5}} kestää 2:1 ylitilauksen. Päätelmäklusterit tarvitsevat usein pienemmän kaistanleveyden, mutta pienemmän loppuviiveen.

Vaihe 2: Valitse NIC Speed ​​and Count per server

Päätöksen logiikka:

• Isojen mallien esikoulutus, 8-GPU-palvelimet → 4–8× 400G NIC per palvelin tai 4×800G
• Keskitason-koulutus, 8-GPU-palvelimet → 2–4 × 400 G NIC:tä palvelinta kohden
• Päätelmien käyttö → 1–2 × 200 G tai 400 G verkkokorttia palvelinta kohden mallin rinnakkaisuudesta riippuen

Tarkista isäntäkoneen PCIe-kaistanleveys. Yksi 400G-portti vaatii PCIe Gen5 x16:n toimiakseen linjanopeudella; kaksinkertaistaminen 800 Gt:ksi vaatii Gen6:n tai jakamisen kahteen paikkaan.

Vaihe 3: Kokoa lehtikerros

Toimiva esimerkki - 32-solmuklusteri, 8 GPU:ta solmua kohti, 4 × 400 G NIC:tä solmua kohti:

• Tarvittavat palvelin{0}}portit yhteensä: 32 × 4=128 porttia 400 Gt:ssa
• Alasuuntaisen linkin kaistanleveys solmua kohti: 4 × 400=1.6 Tbps
• Klusterin kokonaiskaistanleveys: 32 × 1.6=51.2 Tbps

Käyttämällä 64-porttista 400G lehtikytkintä (kokonaiskapasiteetti 25,6 Tbps) jokainen lehti voi yhdistää 32 palvelinporttia ja käyttää loput 32 porttia uplink-linkkeinä. Neljällä lehdellä peität kaikki 128 palvelinporttia. Jokainen lehti tuottaa 32 × 400 G=12.8 Tbps uplink-yhteyttä kohti selkärankaa.

Vaihe 4: Kokoa selkärangan kerros

Ei--estoa (1:1) varten nousevan siirtotien kokonaiskapasiteetin on oltava sama kuin laskevan siirtotien kokonaiskapasiteetti. Vaiheesta 3:

• Vaadittu lehtien ylöslinkki yhteensä: 4 lehteä × 12,8 Tbps=51.2 Tbps
• Jos jokaisessa selässä on 32 × 400 G porttia=12.8 Tbps, tarvitset 4 piikkiä
• Jokainen lehti muodostaa yhteyden kaikkiin neljään piikkiin käyttämällä 8 nousevaa linkkiä per selkä (8 × 400 G × 4=12.8 Tbps per lehti - vastaa)

Jos käytät 64-porttisia 400G:n selkäkytkimiä, jokaisella selkärangalla on ylimääräistä kapasiteettia klusterin kasvattamiseen, mikä on hyödyllistä 18 kuukauden suunnitelmassa vaiheesta 1 alkaen.

Vaihe 5: Aseta ylitilaussuhde

Vaihe 6: Erillinen laskenta-, tallennus- ja hallintaliikenne

Kolme vaihtoehtoa eristyksen lisääntymisen järjestyksessä:

• Jaettu kangas QoS-luokkien kanssa:Laske, tallennus ja hallinta erillisillä DSCP-prioriteeteilla. Alhaisimmat kustannukset; vaatii huolellisen QoS-määrityksen.
• Loogisesti erotetut VLANit/VRF:t:Sama laitteisto, erilliset ohjaustasot. Hyödyllinen usean-vuokralaisen klustereille.
• Fyysisesti erilliset kankaat:Erilliset verkkokortit, kytkimet ja kaapelit laskemiseen vs. tallennustilaan. Korkein hinta; yleinen raja{2}}malliklustereissa, joissa mitään kiistaa ei voida hyväksyä.

Tekoälyn tallennusliikenne on itsessään raskasta - tarkistuspistekirjoitukset suurelle mallille voivat siirtää satoja gigatavuja lyhyissä purskeissa. Suunnittele se selkeästi. Suuritiheyksinen strukturoitu kaapelointilaitos, jossa käytetäänMPO/MTP-runkokaapelityksinkertaistaa rinnakkaisten kudosten ajamista samassa fyysisessä infrastruktuurissa.

Vaihe 7: Vahvista ennen tuotantoa

Verkko{0}}tason testit havaitsevat joitain ongelmia. Työkuormitus-tason testit saavat loput kiinni.

• Kaistanleveys:iperf3 tai ib_send_bw jokaisen solmuparin välillä; pitäisi saavuttaa 90 %+ NIC-linjanopeudesta.
• Latenssi:ib_read_lat tai vastaava; tarkista jakautuminen, ei vain keskimääräinen. P99.9 merkitsee enemmän kuin keskiarvoa.
• Paketin menetys:Suorita 24-tunnin liotustesti kuormitettuna; mikä tahansa muu kuin nollahäviö RoCE-liikenneluokassa on ongelma.
• ECN-merkintäkäyttäytyminen:Varmista, että merkit näkyvät ennen PFC:n syttymistä; Jos PFC-taukoja esiintyy usein vakaassa tilassa, viritä uudelleen.
• Kollektiivinen viestintä:Suorita NCCL-testit (all_reduce_perf, all_gather_perf) klusterin täydessä koossa. Vertaa toimittajan viitenumeroihin.
• Työ{0}}tason testi:Tee edustavaa koulutustyötä 4–6 tuntia. Katso grafiikkasuorittimen käyttöastetta - alle 50 %:n pysyvät arvot sopivan-kokoisessa mallissa viittaavat yleensä verkkoongelmiin.

Perinteinen palvelinkeskusverkko vs. AI Spine{0}}Leaf Fabric

Ethernet RoCE vs InfiniBand: Pikapäätösopas

Kysymys tulee esille melkein jokaisessa tekoälyklusteriprojektissa. Molemmat toimivat. Valinta perustuu yleensä käyttömukavuuteen, ei pelkkään suorituskykyyn.

• Valitse InfiniBand, jos:Tiimilläsi on jo InfiniBand-kankaita, haluat yksinkertaisimman tien häviöttömään kuljetukseen tai olet ostamassa täysin{0}}integroitua toimittajareferenssiarkkitehtuuria.
• Valitse Ethernet RoCE, jos:Operaatiotiimisi on Ethernet{0}}natiivi, haluat usean-toimittajan kytkinvaihtoehtoja, sinun on integroitava tekoälykangas olemassa oleviin tietokeskusverkkoihin tai odotat skaalautuvaa pidemmälle kuin nykyiset InfiniBand-topologiat tukevat puhtaasti.

Vuonna 2023 perustettu Ultra Ethernet Consortium työskentelee aktiivisesti Ethernet-parannusten standardoimiseksi erityisesti tekoälyn työkuormituksia varten. Useimmille vuoden 2026 uusille klusteille Ethernet RoCE on puolustettavissa oleva oletusasetus, ellei ole erityistä syytä valita toisin.

Yleiset virheet vältettävät

Kytkimien päivittäminen ilman verkkokorttien tarkistamista

800 Gt:n kytkinrakenne ei tee sinulle mitään, jos verkkokorttisi toimivat 400 Gt:llä tai isäntä-PCIe:n kaistanleveys loppuu. Suunnittele ensin isäntäpuoli, sitten kytkinpuoli. PCIe Gen5 x16 rajoittaa yhden portin noin 504 Gbps:n todelliseen-suorituskykyyn - mukava 400G:lle, marginaalinen 800G:lle.

Portin nopeuden optimointi, mutta kaapelointitiheys huomioimatta

Kun 64-portti 400G lähtee, kunkin kytkimen alla oleva kaapelointi voi muuttua fyysisesti hallitsemattomaksi ilman suunnittelua. Käytä tarvittaessa kaapeleita, reititä kuidut strukturoitujen reittien kautta ja standardoi liitintyypit. Liittimien laatu ja päätteet ovat tärkeitä suurilla nopeuksilla - meidänvalokuituliitintyyppien opaskattaa kompromissit LC:n, MPO:n ja uusien -tiheyden muototekijöiden välillä.

RoCE:n käsitteleminen Plug{0}}and-Playna

Suurin suunnitteluvirhe oikeissa tekoälyklustereissa on se, että ei valita väärää kytkintä - se aliarvioi, kuinka paljon päästä{1}}päähän-päähän RoCE-määritystöitä tarvitaan. Budjettiaika ECN-kynnysten, PFC-prioriteettien ja MTU-yhteensopivuuden säätämiseen. Suunnittele erillinen validointivaihe ennen tuotannon suorittamista.

Kaiken liikenteen sekoittaminen yhdelle kankaalle ilman QoS:ää

Tallennuksen replikointi, valvonta-agentit ja hallintaliikenne voivat lyhentää harjoitusvaiheita, jos ne jakavat puskureita laskentaliikenteen kanssa. Joko erota ne fyysisesti tai pakota tiukat QoS-luokat erillisillä prioriteeteilla ja ECN-määrityksellä.

Rakennus vain tämän päivän klusterille

Useimmat tekoälyklusterit kasvavat 4–8-kertaisesti kahden vuoden sisällä ensimmäisestä käyttöönotosta. Valitse kytkimen kanta ja selän kapasiteetti, joka sallii -häiritsemättömän laajenemisen. Kaapelien vetäminen elävässä tekoälyn palvelinkeskuksessa on kallista; putki- ja korjauskapasiteetin suunnittelu käyttöönottohetkellä on halpaa.

Milloin nostaa 400 G:sta 800 G:aan

800G verkkokortteja ja kytkimiä on saatavilla, mutta porttikohtaisesti kalliimpia. Harkitse tehostusta, kun:

• Per-GPU:n kaistanleveyden tarve ylittää sen, mitä 400 Gt voi tarjota - esimerkiksi H100 ja uudemmat NVLink 5:llä varustetut GPU:t odottavat suurempaa ulkoista kaistanleveyttä
• NCCL all{0}}reduce times skaalautuu huonosti klusterin koon kanssa, mikä osoittaa verkon kylläisyyttä
• Kaapelitiheydestä 400 Gt on tulossa fyysisesti hallitsemattomaksi - vähemmän 800 G portteja voi korvata enemmän 400 G portteja
• Etenemissuunnitelmasi seuraavan GPU-sukupolven odotetaan tarvitsevan sitä klusterin poistoikkunassa
• Rakennat rajalla olevaa-mallikoulutusklusteria, jossa mikä tahansa laskenta joutoaika maksaa huomattavasti enemmän kuin optiikkapäivitys

Useimmille tuotantoklustereille vuonna 2026 400G on edelleen oikea tasapaino kustannusten, ekosysteemin kypsyyden ja kapasiteetin välillä. 800G on järkevää huippuluokan ja tulevaisuuden investointina klustereille, joita rakennetaan tänään ja joiden odotetaan kestävän 4–5 vuotta.

Johtopäätös

Vahvin tekoälyklusteriverkko ei ole se, jolla on nopeimmat kytkimet. Siinä NIC-valinta, lehtien/kärkien mitoitus, ylitilaus, RoCE-konfiguraatio, liikenteen erottaminen ja fyysinen kaapelointi tukevat toisiaan ja työtaakkaa, johon ne on valittu.

Aloita työmäärästä ja 18-kuukauden kasvusuunnitelmasta. Laske kunkin kerroksen kaistanleveystarpeet käyttämällä reaalilukuja, ei vain nyrkkisääntöjä. Määritä RoCE-pää-päähän-ja vahvista todellisilla kollektiivisilla viestintävertailuilla. Kaapelointilaitoksen budjetti - 400 G ja 800 G fyysinen kerros ei ole enää triviaali.

Klusteri, joka pitää GPU:t kiireisenä yli 95 %:n käyttöasteella jokaisen harjoitusvaiheen ajan, on se, joka kiinnitti huomiota kaikkiin näihin tasoihin. Nopeamman kytkimen ja hitaamman rakenteen kanssa toimitettava klusteri viettää vuosia selittämään, miksi GPU:t ovat käyttämättömänä.

Lue lisää

• RFC 7938 - BGP suurissa-mittakaavassa palvelinkeskuksissa
• InfiniBand Trade Association - RoCE-määritykset
• NVIDIA-verkkodokumentaatio
• Kuituoptisen kaapelin asennusopas
• Lisäyksen menetys vs. palautustappio selitetty