QSFP{0}}DD AI-klustereille: Kuinka valita 400 G:n ja 800 G:n välillä arvaamatta

Aug 03, 2026

Jätä viesti

QSFP-DD sopii hyvin tekoälyklusteriin, kun kytkimessä tai päätepisteessä on jo käytössä natiivi QSFP-DD-häkki, kun laajan joukko hyväksyttyjä QSFP--perhemoduuleja ja kuitua on säilytettävä käytössä ja kun alusta voi jäähdyttää valitut moduulit jokaisen portin ollessa täynnä. Se on väärä lähtökohta, kun GPU-palvelimet ja kytkimet on rakennettu alkuperäisten OSFP-häkkien ympärille tai kun tarvitsemasi optiikka vaatii enemmän lämpötilaa kuin isäntä voi antaa niille.

Muototekijä ei ole ensimmäinen päätös. Se on suunnilleen neljäs. Ensimmäisestä tuotantokoulutuksestaan ​​selvinnyt verkkosuunnittelu alkaa palvelinliitännöistä, kiskojen määrästä, kohdetopologiasta, hyväksyttävästä yliliittymäsuhteesta ja mitatusta kaapelireitistä. Vasta silloin moduulin muodolla on väliä.

Tämä opas esittelee tilauksen loppuun asti työkapasiteetin laskelman, linkki-valintataulukon ja vahvistusjakson, jonka voit antaa laboratoriotiimille.

AI cluster network with GPU servers, leaf-spine switches, and QSFP-DD links

Mikä muototekijä sinun pitäisi valita?

Päätepisteen kunto Ensimmäinen valinta arvioitavaksi
Molemmat päät natiivisti QSFP-DD / QSFP-DD800 QSFP-DD
Molemmat päät natiivisti OSFP OSFP
Siirtyminen asennetusta 400G QSFP-kannasta QSFP-DD, jos isäntä tukee vaadittua porttitilaa
Tehokas{0}}optiikka alustalla, jonka alkuperäinen häkki on OSFP OSFP
Toinen pää OSFP, toinen QSFP-DD Hyväksytty risti-muoto-kerroin DAC/AEC tai optinen linkki, jonka molemmissa päissä on vastaava PMD, kaistanopeus ja FEC-tila

Perussääntö on lyhyt:valitse häkki, joka on natiivi päätepisteelle, ja tarkista sitten sähköinen kaistanopeus, optinen liitäntä, FEC-tila, teholuokka ja laiteohjelmisto kyseiselle tarkalle osanumerolle.Kaikki alla on työtä, joka vaaditaan tämän säännön noudattamiseksi rehellisesti.

Viisi päätöstä järjestyksessä

Useimmat huonot tekoälyverkon koontiversiot syntyvät tekemällä nämä päätökset epäjärjestyksessä - valitsemalla ensin moduuli ja havaitsemalla rajoitteen myöhemmin. Jokainen alla oleva vaihe ruokkii seuraavaa, ja jokainen muuttaa sitä, mitä voit ostaa sen jälkeisessä vaiheessa.

  1. Vahvista päätepisteet.Natiivi häkkityyppi ja protokollatila jokaisen linkin molemmissa päissä.
  2. Laske kapasiteetti.Portit solmua kohden, kiskoa kohden ja sitten laskevan ja nousevan siirtotien kapasiteetti tavoitteesi ylitilaussuhteella.
  3. Valitse fyysinen linkki.Mitattu reitin pituus, kuitulaitos, liitin, irrotusvaatimus.
  4. Vahvista osanumero.FEC, kaistanopeus, teholuokka, laiteohjelmisto, CMIS-versio, toimittajan kelpuutus.
  5. Käyttöönotto epäonnistuneen verkkotunnuksen mukaan.Ensin laboratorio, sitten yksi teline, kisko tai skaalautuva yksikkö kerrallaan.

Vaihe 1: Erottele muototekijä, protokolla ja optinen liitäntä

Nämä kolme asiaa romahtavat yhdeksi päätökseksi jatkuvasti, ja useimmat yhteensopivuusyllätykset syntyvät tuosta romahduksesta. Ne ovat erillisiä tasoja, joilla on erilliset hallintoasiakirjat.

Muototekijämäärittää mekaaniset mitat, isäntäliittimen, sähkökaistat, hallintakäyttäytymisen ja lämpösuunnittelun. TheQSFP-DD MSA -laitteistospesifikaatiokattaa mekaaniset, sähköiset ja lämpövaatimukset, ja sen myöhemmät versiot laajentavat samat kahdeksan{0}}kaistan isäntäportti 800G- ja 1.6T-versioihin säilyttäen samalla yhteensopivuuden QSFP-perheen kanssa. Jos haluat mekaniikka- ja johtamistaustan ennen kuin menet pidemmälle, meidänQSFP-DD tekninen yleiskatsauskattaa itse muototekijän yksityiskohtaisesti.

Protokolla- Ethernet, RoCEv2 tai InfiniBand - määräytyy NIC:n, kytkimen ASIC:n, laiteohjelmiston ja portin kokoonpanon, ei kekin muodon mukaan. QSFP-DD-moduulia ei pitäisi koskaan kuvata "tukemaan sekä Ethernetiä että InfiniBandia" muototekijän ominaisuutena. Tämä ominaisuus kuuluu isännälle, ja se on vahvistettava tietyssä portissa.

Optinen käyttöliittymä- DR8, FR4, SR8, LR - kuvaa kaistan järjestystä, ulottuvuutta ja sovellusta. Se ei kuvaa liitintä, kuitujen määrää, katkeamiskartoitusta tai sähköistä kaistanopeutta. Kaksi moduulia, joissa on sama optinen etiketti, voivat erota toisistaan ​​jokaisessa. Itse signaloinnin määrittelee IEEE, ei MSA:IEEE Std 802.3df-2024lisäsi MAC-parametrit ja fyysiset kerrokset 800 Gb/s toiminnalle ja ylimääräisille 400 Gb/s PHY:ille.

Hallintokäyttäytyminen on neljäs, hiljaisempi kerros. Sekä QSFP-DD- että OSFP-moduuleja hallitaan CMIS:n kautta, ja versiolla on merkitystä laiteohjelmiston päivityskäyttäytymiselle, sovellusten valinnalle ja isäntä-moduulin ajoitukselle. Julkaistut versiot on lueteltu kohdassaOIF:n täytäntöönpanosopimukset.

Vaihe 2: Kokoa verkko palvelinporteista, ei GPU-määrästä

GPU-määrä kertoo, kuinka suuri klusteri on. Se ei kerro, mitä verkon on kuljettava, koska verkko näkee vain palvelinliitännät.

Kaksi esimerkkiä selventää asiaa. NVIDIA DGX H100/H200 -järjestelmä paljastaa kahdeksan ConnectX-7 compute--kangasliitäntää jopa 400 Gb/s nopeudella kukin – mutta ne eivät ole kahdeksaa fyysistä häkkiä. SuperPOD-referenssiarkkitehtuuri näyttää läpi esitetyn laskentakankaanneljä kaksi{0}}porttista lähetin-vastaanotinta, jotka saavuttavat kaikki kahdeksan GPU:ta. DGX B300 sen sijaan esitteleekahdeksan verkkoporttia GPU-alustallapalvelee kahdeksaa ConnectX-8-liitäntää jopa 800 Gb/s nopeudella. Sama GPU-määrä, täysin erilainen porttivarasto, kaapelimäärä ja optiikkalasku.

Joten ennen kuin tarkastelet yksittäistä kytkimen datalehteä, dokumentoi jokaisesta solmutyypistä: laske-kangasportit, porttinopeus, NIC-to-GPU- tai kiskokartoitus, alkuperäinen häkkityyppi, tuetut protokollatilat sekä erilliset tallennus- ja hallintaliitännät. Tämä inventaario, ei GPU-numero, on syöte jokaiseen seuraavaan laskelmaan.

Työkapasiteetin laskenta

Otetaan 32 solmun skaalautuva yksikkö, joissa kussakin on kahdeksan 400 G:n laskentaporttia, yksi portti kiskoa kohden, kiskooptimoidussa suunnittelussa. Työskentele yksi kisko kerrallaan:

  • Alalinkin kapasiteetti kiskolehteä kohden= 32 solmua × 1 portti × 400 G =12,8 Tb/s
  • 1:1 (ei-esto), vaadittu uplink-kapasiteetti=12.8 Tb/s → 12 800 ÷ 800 =16 × 800 G uplinkit
  • 2:1, vaadittu uplink-kapasiteetti=6.4 Tb/s →8 × 800G uplinkit

Tarkista sitten tulos kytkimen kantalukua vastaan: 32 alaslinkkiä plus 16 ylöslinkkiä tarvitsee 48 käyttökelpoista porttia kyseisellä lehdellä, mikä rajoittaa kytkimen valintaa välittömästi. Lisää linkkejä redundanssia ja ylläpitoa varten ja toista kiskoa kohti - kahdeksan kiskoa, kahdeksan lehtiryhmää, ei yhtä kokonaislukua. Tässä 800G ansaitsee paikkansa tai ei: tässä se puolittaa uplink-porttien määrän, mikä on kantalukuargumentti, ei kaistanleveyden argumentti.

Kisko{0}}optimoidut, tasapainoiset rasva{1}}puukankaat ovat malli NVIDIA-dokumentteja suurille harjoitusklustereille -DGX H100 SuperPOD -viitearkkitehtuurikäyttää täyttä rasva{0}}puuta, jossa on kahdeksan laskentayhteyttä-järjestelmää kohden. Suunnittelupäätös on, sopiiko tämä kuvio työmäärääsi, mutta yllä oleva laskentamenetelmä pätee topologiasta riippumatta.

Vaihe 3: Suunnittele kaikki neljä kangasta ja palaa sitten moduuleihin

AI-klusteri ei ole yksi verkko. DGX SuperPOD -viitearkkitehtuurit eroavat toisistaanlaskenta, tallennus, kaistan sisäinen-hallinta ja kaistan-ulkopuolinen{2}}hallintakankaita, ja jokainen tuottaa oman portti- ja optiikkavaatimuksensa.

Thelaskea kangastaharjoittaa gradienttivaihtoa, parametrien synkronointia, kollektiiveja ja etämuistitoimintoja. Sillä on tiukimmat latenssi-, ruuhka- ja polku-symmetriavaatimukset, ja siinä ratkaistaan ​​800G-versus-400G-argumentti.

Thesäilytyskangastakuljettaa harjoitustietoja, tarkistuspisteitä ja malliesineitä. Sen kapasiteetti riippuu tietojoukon muodosta, välimuistin osumataajuudesta, data-lataimen rinnakkaisuudesta, tarkistuspisteiden tiheydestä ja metatietojen intensiteetistä -, minkä vuoksi "400G riittää tallennustilaan" ei ole turvallinen oletus. Viitearkkitehtuurit määrittävät tallennussuorituskyvyn järjestelmätasolla ja pitävät sen poissa laskentakankaasta tarkasti, jotta kaksi työkuormaa eivät voi vahingoittaa toisiaan.

Thekaistanhallintaverkossa-suorittaa provisioinnin, ajoitusliikenteen, rekisterit, arkistot ja valvonnan. Thekaistan-ulko-verkostasaavuttaa BMC:t, kytkimien hallintaportit ja telinevirran, ja sen on pysyttävä tavoitettavissa, kun tuotantokudos on rikki. Käsittele sitä palautus- ja suojausreittinä, jolla on oma uplink-linkki, ei ylijäämänä{1}}hitaan nopeudella.

Moduulien valinnassa käytännön seuraus on seuraava: jokaisella kankaalla on oma porttimääränsä, oma etäisyysprofiilinsa ja oma häkkityyppinsä, ja ne ovat usein erilaisia. Klusteri voi olla OSFP laskennassa ja QSFP-DD tallennus- ja hallintajärjestelmässä ilman, että siinä on vikaa.

Vaihe 4: Valitse 400G tai 800G rajoituksesta, ei trendistä

800G-portti kaksinkertaistaa nimelliskapasiteetin. Se ei vähennä sovelluksesi luomaa liikennettä. Sen arvo on lähes aina rakenteellinen - vähemmän linkkejä, parempi kantalukutehokkuus tai natiivi 800G-päätepiste.

400G on edelleen parempi valintakun laskentapäätepisteet ovat natiivisti 400G, nykyinen kudos saavuttaa jo estotavoitteensa, klusteri kasvaa käytettävissä olevan kantaluvun sisällä, pätevä 400G-moduuli ja kaapelointikanta on jo olemassa tai teho- ja jäähdytysrajoitukset tekevät 800G:stä epämiellyttävän. 800G käytössäuplinkityli 400G palvelimia on edelleen täysin järkevä -, mutta perustele se yllä olevalla porttiaritmetiikalla, älä etiketillä.

800G parantaa suunnitteluakun palvelimet paljastavat natiivit 800G-liitännät, kun monien 400G-virtojen on koottava vähemmän selkälinkkejä, kun kytkimen porttien määrä on sitova rajoitus tai kun 800G:stä siirtyminen alhaisempiin-nopeisiin lapsiliitäntöihin yksinkertaistaa siirtoa. Tarkkaan sanottu: 800G voi vähentää fyysisten linkkien tai kytkinporttien määräämalleissa, joissa yhdistäminen ja kantaluku ovat rajoittavia rajoituksia. Se ei tee niin luonnonlaina.

Comparison of 400G and 800G AI cluster network architectures

Sekalainen{0}}nopeussiirto vaatii selkeän dokumentaation

Breakout on paikka, jossa sekanopeus{0}}suunnittelu epäonnistuu hiljaa. Nykyaikaiset verkkokortit tekevät tästä konfiguroitavissa pikemminkin kuin kiinteän - NVIDIA:n ConnectX-8:nportti{0}}jakamisasiakirjatnäyttää, että yksi 800 G OSFP -kehikko on määritetty uudelleen kahdeksi 400 GbE-portiksi tai kahdeksaksi 100 GbE-portiksi, joista kukin vaatii laiteohjelmiston-tason määrityksen muutoksen ja virrankatkaisun. Tämä joustavuus on olemassa vain, jos toimittaja on testannut ja julkaissut sen.

Siirtosuunnitelmassa tulee siis mainita porttikohtaisesti: mitkä portit toimivat millä nopeudella, tukeeko isäntä suunniteltua katkaisutilaa, sähköinen kaistanopeus molemmissa päissä, onko katkaisu looginen, optinen vai kaapelipohjainen, FEC-tila, jota kukin lapsiliitäntä tarvitsee, voidaanko olemassa olevaa kuitumäärää ja liitintyyppiä käyttää uudelleen ja kuinka valvonta tunnistaa kunkin lapsiportin. Hitaamman-nopeuden moduulin lisääminen ei tee jokaista isäntätilaa käytettävissä.

QSFP-DD vs OSFP

Päätöstekijä QSFP-DD OSFP
QSFP{0}}perheyhteensopivuus Alkuperäinen, jossa isäntä tukee tilaa Mahdollista joillekin moduuleille tarkoitukseen rakennetun{0}}sovittimen avulla
Moduulin koko Pienempi Suurempi
Lämpösuunnittelu Ratsastus{0}}jäähdytyselementtien mallit; tarkista täydellä populaatiolla Integroitu tai ratsastusjäähdytyselementti; MSA määrittelee korkeammat teholuokat
Tyypillinen tekoäly-järjestelmän käyttö Ethernet-kytkimet,{0}}sekoitetunopeuksiset alustat Useita tehokkaita{0}}GPU- ja InfiniBand-alustoja
Päätöksen sääntö Suosittele, kun päätepisteet ovat alkuperäisiä QSFP-DD- ja QSFP-uudelleenkäytöllä on merkitystä Suosittele, kun päätepisteet ovat natiivi OSFP:tä tai optiikka tarvitsee sen tehoverhokäyrää

Kaksi vaatimusta on rajoitettava. Ensinnäkin "OSFP:llä ei ole taaksepäin yhteensopivuutta" on liian laaja -OSFP MSAdokumentoi QSFP-yhteensopivuuden erillisen sovittimen avulla, ja sen moduulimääritykset määrittelevät korkeammat teholuokat ja integroidut -jäähdytyselementtivaihtoehdot, jotka antavat OSFP:lle sen lämpömaineensa. Toiseksi maine on määrittelykatto, ei takuu. Se, pystyykö tietty runko todella käyttämään 30 W-luokan moduuleita jokaisessa häkissä, riippuu häkin rakenteesta, ilmavirran suunnasta, tulolämpötilasta, tuulettimen käytännöstä, viereisen{5}}portin vähennyksestä ja järjestelmätoimittajan omista rajoituksista.

Tästä syystä koko-populaatiolämpövalidointi ei ole-neuvoteltavissa: moduuli, joka kulkee yhdessä portissa, voi ylittää kotelon -lämpötilarajan, kun kaikki 32 tai 64 porttia palavat, ja uudelleen, kun tuuletin tai virtalähde epäonnistuu. Testaa täytetty järjestelmä todellisessa tulolämpötilassasi.

Jos palvelin on OSFP ja kytkin on QSFP-DD, vastusta standardisointia. Sovittimet lisäävät mekaanista välystä, ilmavirtausta, tehoa, signaalin eheyttä{2}}, varastoa ja tukea. Hyväksytty risti-muoto-kerroinkaapeli tai optinen linkki, jonka molemmissa päissä on vastaavat PMD- ja FEC-liitännät, on usein puhtaampaa kuin laitteiston vaihtaminen muotojen yhteensovittamiseksi.

QSFP-DD and OSFP transceivers compared by size and thermal design

Vaihe 5: Valitse linkki mitatun etäisyyden ja olemassa olevan kuidun mukaan

Kapasiteetti ja päätepisteet ovat nyt vahvistaneet portin nopeuden ja häkin. Etäisyys ja asennettu kuitulaitos korjaa kaiken muun. Suuntaviivana pikemminkin kuin sääntönä lyhin teknisesti kelvollinen linkki on yleensä yksinkertaisin käyttää -, mutta joustavuus, kaapelin halkaisija, huollettavuus ja katkeamisvaatimukset ovat kaikki sitä vastaan.

Reitti Tyypillinen vaihtoehto Mitä vahvistaa
Sisäinen{0}}teline, erittäin lyhyt Passiivinen DAC Tarkka pituus ja kaapelin tyyppi tuettu molemmissa päissä; taivutussäde; paino
Lyhyt, mutta passiivisen kuparin ulkopuolella AEC / ACC Virrankulutus, lisätty latenssi, ilmavirran tukos, toimittajan kelpuutus, porttitilan tuki
Lyhyt optinen, kiinteä pituus hyväksyttävä AOC Huollettavuus - vika korvaa koko kokoonpanon
Monitila, riviltä- viereiselle-riville SR--luokan rinnakkaisoptiikka Kuitulaatu- ja ulottuvuusrajat; katso meidänOM1–OM5 etäisyysrajojen ohje
Yksi-tila, ali-kilometri, purkaus halutaan DR--luokan rinnakkaisoptiikka MPO-koko, napaisuus, APC/UPC-kiillotus, purkautumiskartoitus
Yksi{0}}tila, kilometrimittakaava FR--luokan kaksipuolinen tai rinnakkainen, tuotteesta riippuen Liittimen tyyppi vaihtelee osanumeron mukaan; kuitulaatu - vertaaOS1 ja OS2 yksimuotokuitu-

Liittimen toteutus on tässä ansa, koska optinen etiketti ei tarkoita sitä. Myyjät toimittavat 800G DR8 -tuotteita joko kaksois-MPO-12- tai yksittäisellä MPO-16-liitännällä ja 2 km:n FR-luokan tuotteita joko rinnakkais-MPO- tai dupleksi-LC:llä. Molemmat vaihtoehdot ovat laillisia; he tarvitsevat täysin erilaisen kaapeloinnin. Ennen kuin tilaat rungot, ratkaise liitinkysymys tietoisesti - meidänMTP vs MPO -valintaopaskattaa mekaaniset ja napaisuuserot sekäMPO-katkoskaapelin opaskattaa tuulettimen{0}}poistokartoituksen, josta purkautumisportit riippuvat.

Kaksi muuta kohdetta kuuluu samaan keskusteluun. Kanavahäviö on budjetoitava moduulin spesifikaatioiden mukaan, liittimet ja jatkokset on laskettu, ei oletetaan - katsokuinka liitoshäviö kertyy kuituverkkoihin. Ja rivien välistä strukturoitua kaapelointia on helpompi ylläpitää, kun se on rakennettu valmiiksi-päätetylleMPO/MTP-runkokaapelitdokumentoidulla napaisuusmenetelmällä kenttä{0}}kootun ajon sijaan. Kun käytetään duplex FR -linkkejä, liittimen päädyn laatu palauttaa häviön suoraan; theLC-liittimen opaskattaa mitä tarkastetaan.

Tallenna jokaiselle linkille: isäntähäkki, isäntäkaistan nopeus, määritetty portin nopeus, PMD- tai kaapelityyppi, liitin, kuidun tyyppi ja lukumäärä, suurin kanavahäviö, FEC-tila, katkeamiskartoitus, moduulin sovelluskoodi, CMIS- ja laiteohjelmiston vaatimukset, enimmäisteho ja kelpuutuksen tila. Tämä linkkikohtainen tietue on arvokkaampi kuin mikään yleinen sääntö siitä, mikä optiikka menee minne.

AI network interconnect options from DAC cables to duplex optics

RoCEv2 tai InfiniBand: Päätä tämä itsenäisesti

Protokollan valinta on ortogonaalinen muototekijään nähden, ja se tulisi tehdä toiminnallisista syistä.

RoCEv2sopii organisaatioille, jotka jo käyttävät Ethernetiä laajassa mittakaavassa, kytkentäalustan validoiduilla RoCE-ominaisuuksilla ja tiimillä, joka pystyy omistamaan QoS:n, ruuhkanhallinnan, telemetrian ja isäntäkokoonpanon. Varoitus on, että "Ota PFC ja ECN käyttöön" ei ole käyttöönottosuunnitelma. NVIDIAn Cumulus Linux -dokumentaatio kuvaaRoCE monimutkaisena kokoonpanonapuskurivarastot, liikenteen luokittelu, prioriteettikartoitus, PFC- ja ECN-kynnykset ja ajoitus, häviöttömässä tilassa, jossa käytetään PFC:tä ja ECN:ää yhdessä, ja häviöttömässä tilassa, jossa käytetään vain ECN:ää -, ja huomauttaa, että yhdelle kytkimen ASIC-sukupolvelle luotu kokoonpano ei siirry toiseen.

InfiniBandsoveltuu validoitua toimittajaarkkitehtuuria noudattaviin käyttöönotuksiin, joissa integroitu kudoshallinta on arvokasta ja tiimillä on jo työkalut ja asiantuntemus.

Perusta valinta testattuun sovelluskäyttäytymiseen, käyttötaitoon, tukirajoihin ja kokonaisjärjestelmän suunnitteluun. Markkinoinnin tehokkuusprosentit riippuvat topologiasta, ohjelmistoversiosta, viestin koosta, ruuhkatilasta ja NIC-kokoonpanosta, ja ne siirretään harvoin toiseen klusteriin.

Validointi: Mitä tulee testata ennen tilauksen ostamista

Edustava laboratoriotesti kattaa neljä aluetta, ja järjestyksellä on väliä - linkin vakaus ensin, koska epävakaan linkin suorituskykyluvuilla ei ole merkitystä.

Kasvata-:kylmäkäynnistys, lämmin uudelleenkäynnistys, moduulin lisääminen ja poistaminen, portin poistaminen käytöstä/käyttöönotto, katkeamisen luominen ja poistaminen ja molemmat päät käynnistetään uudelleen eri järjestyksessä.Signaalin eheys:pre-FEC BER, korjatut ja korjaamattomat FEC-määrät, kaistan-tason virheet, PRBS tai BERT, jos tuettu, optinen lähetys- ja vastaanottoteho, moduulikotelon lämpötila ja linkin-läppämäärät lämpökuormituksen alaisena.Suorituskyky:jatkuva läpimeno, työsi todellisuudessa käyttämät ryhmät ja viestikoot, samanaikainen moni{0}}rautatieliikenne, incast, tallennus-plus{2}}laskukilpailu ja pitkä vastaanotto.Epäonnistuminen:yksi linkki, lehtikytkin, selkälinkki, virta-palautus, kaapelin ja moduulin vaihto, hallinta-polun menetys.

Tallenna kynnykset, ei vain läpäisty/hylätty. Korjaamattomien FEC-virheiden tulee olla nolla terveessä linkissä; pre-FEC-virhesuhteiden tulee istua hyvin moduulin määritetyn marginaalin sisällä ja pysyä siellä, kun kotelon lämpötila nousee liotuksen aikana. Linkki, joka suuntautuu ylöspäin 48 tunnin liotuksen aikana, on linkki, joka epäonnistuu tuotannossa.

Ota sitten käyttöön vikaverkkotunnuksen - yksi teline, yksi kisko, yksi lehtipari tai yksi skaalattava yksikkö kerrallaan - ja seuraa linkin tilan muutoksia, FEC-korjattuja ja korjaamattomia laskuja, moduulin lämpötilaa, optista tehoa, PFC-taukotoimintaa, ECN-merkintää, jonon käyttöastetta ja työn-tason viestintäaikaa. Linkki, joka on edelleen pystyssä, voi silti olla alentava; nousevat korjatut-virhe- ja lämpötilatrendit ovat varhaisimmat saamasi varoitukset.

Kolme suunnitteluskenaariota

Olemassa olevan 400G Ethernet-kankaan laajentaminen.Hyväksytyt QSFP-DD 400G -kytkimet ja strukturoitu kaapelointi ovat jo käytössä. uudet solmut paljastavat 400G. Pidä palvelimen -suuntaiset linkit 400 G:ssa, testaa estosuhde suorittamalla yllä oleva uplink-laskelma ja ota 800 G käyttöön vain silloin, kun se ostaa selkäportin tehokkuutta. Käytä uudelleen hyväksyttyä optiikkaa ja kuitua aina, kun häviöbudjetti sen sallii, ja tarkista kaikki sekanopeuden{8}}poistokokoonpanot ennen ostamista. Vaihda kantaluku ohjaa tätä päätöstä, ei GPU-määrää.

800 G-natiiviklusterin rakentaminen.Palvelimet paljastavat alkuperäisen 800G:n. Noudata palvelimen toimittajan validoitua topologiaa, valitse kytkimet, joissa on vastaava natiivihäkki, tarkista väestön täysi lämpökapasiteetti-tulolämpötilassa, valitse liitäntä mitatuista reitinpituuksista ja validoi jokainen katkeaminen ja FEC-yhdistelmä ennen sitoutumista. Tässä 800G on perusteltu itse päätepisteen vuoksi.

Eläminen kahden muototekijän kanssa.Palvelimet ovat OSFP; osa Ethernet-kytkentätilasta on QSFP{0}}DD. Vertaa päteviä cross-form-DAC- tai AOC-kokoonpanoja, optista yhteentoimivuutta eri häkeillä kummassakin päässä, hyväksyttyjä sovittimia, teho- ja lämpövaikutuksia, varavarastoa ja tuen omistajuutta. Yhden puolen vaihtaminen puhtaasti moduulin muodon standardoimiseksi on usein kalliimpaa kuin dokumentoidun sekaympäristön käyttäminen.

Seitsemän virhettä, jotka aiheuttavat uudelleentyöskentelyn

  • GPU-määrästä alkaen.Se ei kuvaa verkkokorttien määrää, raidekartoitusta, porttinopeutta tai ylitilausta. Laske palvelinliitännöistä.
  • Olettaen, että 800G on nopeampi jokaisessa työssä.Se auttaa vain siellä, missä päätepisteet, topologia ja liikennemalli voivat käyttää sitä. Testaa kollektiiveja, joita todella johdat.
  • Käsitellään QSFP{0}}DD-protokollana.Se on häkki. Vahvista häkki, protokolla, sähkötila, optiikka ja FEC erikseen.
  • Säilytys- ja hallintakankaat huomioimatta.Nopea laskentakangas ei voi kompensoida hidasta tarkistuspisteen toimitusta tai saavuttamatonta BMC:tä.
  • Optisen tarran lukeminen kaapelispesifikaationa.DR8 ja FR4 eivät määritä liitintä, kuitumäärää tai katkaisumallia. Käytä tarkkoja osanumeroita ja kaapelikaaviota.
  • Testataan yhtä porttia.Koko-väestön ilmavirta ja tulolämpötila ovat todellinen testi.
  • Suoritusprosenttien lainaus ilman menetelmää.Julkaise topologia ja testimenetelmä tai pudota numero.

TCO-mallin rakentaminen, jota voit puolustaa

Pääomakustannukset kattavat NIC:t tai DPU:t, lehti- ja selkäkytkimet, lähetin-vastaanottimet, DAC:t, AEC:t ja AOC:t, kuiturungot ja -paikat, telineet ja kaapelien hallinnan, testauslaitteet ja varaosat. Käyttökustannukset kattavat moduulien ja kytkimien tehon, jäähdytyksen, valvonnan, laiteohjelmiston pätevyyden, koulutuksen, vaihtotyön ja toimittajan tuen. Riskikustannukset -, jotka yleensä jätetään pois - kattavat yhteensopivuushäiriöt, käyttöönottoviiveen, lämpökuormituksen, linkin epävakauden, uudelleen-kaapeloinnin, keskeytyneet koulutustyöt ja pidentyneen palautumisajan.

Taaksepäin yhteensopivuus alentaa aidosti kustannuksia, mutta säästö on laskettava niistä laitteista, joita voidaan käyttää uudelleen vaaditulla nopeudella ja tilassa. Muoto-kertoimien yhteensopivuus ei yksinään takaa, että nykyinen ASIC, PCB, häkki, jäähdytysjärjestelmä, laiteohjelmisto tai tehobudjetti voi toimia seuraavan sukupolven kanssa. Käsittele tulevaa nopeussiirtoa alustakysymyksenä, ei liitinkysymyksenä.

Usein kysytyt kysymykset

Sopiiko QSFP{0}}DD tekoälyn koulutusklustereille?

Kyllä, kun se on natiivi valitulle kytkimelle tai päätepisteelle, täyttää lämpövaatimukset täydellä porttipopulaatiolla ja tukee vaadittua porttitilaa ja optista liitäntää. Nimellinen tiedonsiirtonopeus ei yksin ole syy sen valitsemiseen.

Kuinka monta GPU:ta vaatii 800G-verkon?

GPU-kynnystä ei ole. Laske verkkoporteista palvelinta kohden, portin nopeudesta, raidekartoituksesta, topologiasta, ylitilauskohteesta ja sovellusliikenteestä - yllä olevan vaiheen 2 menetelmä.

Onko QSFP{0}}DD parempi kuin OSFP?

Kumpikaan ei ole yleisesti parempi. QSFP-DD tarjoaa alkuperäisen QSFP-perheyhteensopivuuden ja pienemmän tilan; OSFP:n spesifikaatiot määrittelevät korkeammat teholuokat ja integroidut -jäähdytyselementtivaihtoehdot, ja se on kotoisin useille-tehokkaille tekoälyalustoille. Päätepiste ratkaisee.

Voiko OSFP-portti käyttää QSFP-moduulia?

Jotkin OSFP-toteutukset tukevat QSFP-moduuleja hyväksytyn sovittimen kautta, mutta yhteensopivuus, teho, porttitila ja toimittajan tuki on kaikki tarkistettava tietylle alustalle.

Voiko QSFP{0}}DD:tä käyttää sekä Ethernetissä että InfiniBandissa?

Muotokerroin ei määritä protokollaa. Isäntäportin, verkkokortin, kytkimen, laiteohjelmiston, kaapelin ja lähetin-vastaanottimen on tuettava tarkoitettua toimintatilaa.

Mitä 800G lähetin-vastaanotinta minun pitäisi käyttää?

Aloita mitatusta etäisyydestä, päätepistehäkistä, vaaditusta katkosta, kuitutyypistä, liittimestä, kaistanopeudesta, FEC-tilasta, teholuokasta ja toimittajan hyväksynnästä. Optisen liitännän nimi ei yksinään riitä.

Takaako QSFP{0}}DD:n taaksepäin yhteensopivuus helpon 1.6T-päivityksen?

Ei. Isäntäportti voi hyväksyä moduulin mekaanisesti, kun taas ASIC-, PCB-, häkki-, jäähdytys- tai tehobudjetti ei tue uutta kaistanopeutta. Tarkista alustatasolla.

Ennen kuin allekirjoitat ostotilauksen

Vahvista päätepistehäkki jokaisen linkkityypin molemmissa päissä; laskentaporttien määrä ja nopeus-solmua kohti; rautatiekartoitus ja tavoiteylitilaussuhde; lehtien ja selkärangan porttien määrä, mukaan lukien redundanssi; kaikkien neljän kankaan vaatimukset; toimintatila ja RoCE:n osalta koko ruuhkan{1}}hallintasuunnitelma; mitattu kaapelin reitti ja tuloksena oleva liitäntävalinta; liitin, napaisuus ja häviöbudjetti; FEC ja breakout-tila; moduulin teho -väestön täysiä lämpörajoja vastaan; laiteohjelmiston ja CMIS-yhteensopivuus; myyjän kelpuutuksen tila; ja laboratoriotulokset BER-, suorituskyky-, ruuhka-, vika- ja liotustesteille.

QSFP{0}}DD tukee hyvin skaalautuvaa 400G tai 800G AI-kangasta. Se on edelleen vain yksi osa suunnittelua. Aloita päätepisteistä ja liikennemallista, laske topologia, valitse fyysinen linkki mitatusta etäisyydestä ja validoi koottu järjestelmä ennen kuin se suorittaa harjoitustyötä.

Metodologia ja soveltamisala

Tämä opas hyödyntää kolmenlaisia ​​lähteitä, ja ne pidetään tarkoituksella erillään yllä olevassa tekstissä.Standardit ja MSA-asiakirjat- IEEE 802.3df, QSFP-DD- ja OSFP MSA -laitteistospesifikaatiot ja OIF CMIS -toteutussopimukset - määrittelevät muototekijät, signalointi- ja hallintakäyttäytymisen.Toimittajan dokumentaatio- NVIDIA DGX -järjestelmäoppaat, DGX SuperPOD -viitearkkitehtuurit, ConnectX-8-portin määrityshuomautukset ja Cumulus Linux RoCE -dokumentaatio - mainitaan toimittajakohtaisena esimerkkinä, ei yleisenä käyttäytymisenä; muut alustat ovat erilaisia.Tekniset ohjeet- järjestyssuositukset, lyhyempien linkkien valinta, vahvistuskynnykset - ovat käyttösuosituksia, jotka perustuvat käyttöönottokäytäntöihin, ja ne on merkitty sellaisiksi sen sijaan, että ne esitetään määrittelynä.

 

Lähetä kysely