InfiniBand vs RoCE AI Inference Networksille

ValitaInfiniBandkun päätelmätyökuormasi elää tai kuolee ennustettavan hännän latenssin mukaan, ja valitseRoCE(RDMA over Converged Ethernet), kun haluat RDMA{0}}luokan suorituskyvyn Ethernet-kankaalla, voit skaalata, jakaa ja toimia tiimisi kanssa. Kumpikaan vaihtoehto ei voita kaikkialla. Oikea puhelu riippuu päättelykuviostasi, p99- ja p999-viivetavoitteistasi, GPU-mittakaavasta, budjetista ja siitä, kuinka paljon häviötöntä-Ethernet-viritysosaamista tiimissäsi on.

Miksi verkostolla on enemmän merkitystä kuin johtopäätökset tiimit odottavat

Vuosien ajan päätelmiä pidettiin GPU-tarinan helppona puoliskona: yhteen solmuun ladattu malli, pyynnöt toimitetaan itsenäisesti, itä{0}}länsiliikennettä on vain vähän. Tämä kuva on nyt vanhentunut. Nykyaikainen päättely leviää yhä enemmän, ja useat kuviot aiheuttavat todellista painetta kankaalle.

• Tensorin rinnakkaisuusjakaa yhden kerroksen GPU:iden kesken, joten jokainen tunnuksen vaihe käynnistää kaikki-reduce tai all{1}}keräystoiminnot niiden välillä. Tämä on toistuvaa, latenssi-herkkää, ristiin-grafiikkasuoritinliikennettä, jonka GPU:t estävät odottaessaan.
• Putkilinjan yhdensuuntaisuuskäsiaktivoinnit vaiheesta toiseen, usein solmujen yli, lisäämällä solmujen väliset riippuvuudet jokaiseen eteenpäinkulkuun.
• Eritelty esitäyttö ja dekoodauserottaa laskenta-raskas esitäytön vaiheen latenssi-herkästä dekoodausvaiheesta ja siirtää sitten KV-välimuistin niiden välillä. Nämä siirrot ovat suuria ja räjähdysmäisiä, ja kaikki viiveet näkyvät suoraan hitaammin-ensimmäisen-tokenin ja -tokenin välisenä viiveenä.
• Haku{0}}lisätty sukupolvi (RAG)lisää itä{0}}lännen liikennettä vektori- ja hakupalveluihin. Se on yleensä vähemmän latenssi-kriittistä kuin kollektiiviset toiminnot, mutta se silti kuormittaa kangasta, varsinkin suurella kyselymäärällä.
• Usean{0}}vuokralaisen palveluasettaa monet mallit ja käyttäjät samalle kankaalle, jossa mikropurskeet ja meluisat{0}}naapuriefektit ovat hallitseva riski.

Kun verkko on pullonkaula, oireet ovat kalliita: pidempi-aika-ensimmäiselle-tokenille, GPU:t pysähtyvät odottaessaan dataa, purskeiden aikana romahtava kapasiteetti ja epävakaat p95 ja p99. Ja tässä on se osa, joka hidastaa vertailuarvoja: keskimääräinen latenssi piilottaa kaiken. Tuotantopäätelmä arvioidaan hännän, ei keskiarvon perusteella.

InfiniBand vs RoCE: Yhteenvetotaulukko tekoälyn päättelemiseksi

Mikä InfiniBand on?

InfiniBand on tarkoitukseen{0}}rakennettu verkkorakenne, joka on suunniteltu alusta alkaen alhaiseen latenssiin, korkeaan suorituskykyyn ja häviöttömään viestintään. Se ei ole Ethernetin nopeampi maku. Sen mukana tulee omat isäntäkanavasovittimet, kytkimet, aliverkon hallinta, kaapelointiekosysteemi ja ruuhkan-hallintamalli. Sen määräävä arvo on deterministinen käyttäytyminen: monet GPU:t voivat kommunikoida tiukoilla ajoitusvaatimuksilla, ja kudos käyttäytyy johdonmukaisesti, vaikka kollektiivinen liikenne on vilkasta.

Nykyaikaiset tekoäly{0}}suuntautuneet InfiniBand-alustat laajentavat tätä perustaa ominaisuuksilla, jotka on suunnattu suoraan suuriin GPU-klustereihin. Esimerkiksi NVIDIAn Quantum InfiniBand -linja lisäämukautuva reititys,{0}}verkon laskenta ja telemetriaan- perustuva ruuhkanhallinta, jotka auttavat kudosta levittämään liikennettä älykkäästi ja eristämään yhden vuokralaisen kuorman toisesta. Päätelmiä varten InfiniBand ansaitsee paikkansa, kun työkuorma ei kestä värinää tai kun useiden GPU-solmujen on vaihdettava tietoja nopeasti ja johdonmukaisesti.

Kompromissit{0}} ovat kustannukset, ekosysteemin keskittyminen ja toiminnan erikoistuminen. Erillinen InfiniBand-kangas tarkoittaa erityisiä kytkimiä, sovittimia, kaapeleita tai optisia moduuleja ja insinöörejä, jotka ovat mukavia InfiniBand-kankaan hallinnassa. Organisaation, jolla on jo suuria Ethernet-tilejä, erillisen kudoksen kiinnittäminen lisää hankinnan monimutkaisuutta, varaosien suunnittelua ja valvontaa.

Mikä on RoCE (RDMA over Converged Ethernet)?

RoCE tuo Ethernet-verkkoihin RDMA:n, suoran muistin-to-muistin tiedonsiirron alhaisella suorittimen ylikuormituksella. RoCEv2, nykyaikaisissa datakeskuksissa käytetty versio, on reititettävissä Layer 3 IP-verkoissa, ja sen standardoiInfiniBand Trade Association. Tämän reititettävyyden ansiosta RoCE sopii luonnollisesti Ethernet-lehtien{1}}selkärakenteisiin samalla kun käytetään uudelleen tuttuja verkkokortteja, kytkimiä, optiikkaa ja valvontatyökaluja.

Ongelmana on, että RDMA-siirrot olettavat lähes{0}}häviöttömän verkon. Pudota paketti ja kuljetus palaa uudelleenlähetyskäyttäytymiseen, joka tuhoaa hännän latenssin. Joten RoCE tarvitsee alla olevan Ethernetin toimiakseen häviöttömänä kudoksena, ja se riippuu erityisesti kahden mekanismin huolellisesta konfiguroinnista:Priority Flow Control (IEEE 802.1Qbb), joka keskeyttää yhden liikenneluokan putoamisen estämiseksi, jaExplicit Congestion Notification (ECN), joka ilmoittaa ruuhkasta aikaisin, joten lähettäjät hidastavat ennen kuin puskurit täyttyvät. Kun tähän lisätään jonojen hallinta, puskurin varaus ja QoS-kartoitus, käy selväksi, että korkean -suorituskyvyn RoCE ei ole tavallinen Ethernet.

Hyvin tehtynä RoCE tarjoaa riittävän viiveen ja suorituskyvyn laajalle valikoimalle tuotannon päättelypalveluita, ja monet päättelytyökuormat ovat vähemmän tiukasti synkronoituja kuin hajautettu koulutus, mikä toimii RoCE:n eduksi. Huonosti tehtynä se aiheuttaa pakettihäviöitä, linjan pää-estoa, ruuhkautumisen leviämistä ja epävakaata loppua, jotka kaikki vaikuttavat suoraan palvelun laadun heikkenemiseen.

InfiniBand vs RoCE-viive: kumpi on parempi p99-johtopäätökselle?

Molemmat kankaat voivat tarjota suuren-kaistanleveyden ja alhaisen-viiveen. Ne eroavat siitä, miten he pääsevät sinne. InfiniBand on rakenteeltaan deterministinen, joten värinä pysyy alhaisena jopa sekakuormituksessa. RoCE sopii moniin työkuormiin, mutta tulos riippuu Ethernet-kankaasta ja sen virittämisestä.

Käyttöönoton näkökulmasta todellinen ongelma tuotannossa on harvoin huippukaistanleveys. Se värisee seka-, purske- ja usean{1}}vuokralaisen liikenteessä. RoCE-kangas, joka tekee puhtaan, iperf-tyylisen suorituskyvyn testin, voi silti missata p99-tavoitteensa, kun mikropurskeet ja kiista tulevat kuvaan. Laboratorion vertailuarvon ja tuotannon palvelutasosopimuksen välinen kuilu on suurin yllätyksistä.

InfiniBandilla on yleensä etu, kun:

• Palvelulla on tiukat p99- tai p999-viivetavoitteet.
• Päättely kattaa useita GPU-solmuja tensori- tai liukuhihnan rinnakkaisuudella tai käyttää hajautettua esitäyttöä ja dekoodausta.
• GPU:n käyttö on erittäin herkkä verkon viiveille, joten keskeytykset ovat kalliita.
• Klusterilla on pieni määrä korkean{0}}prioriteetin työkuormia, joissa ennustettavuus on suurempi kuin joustavuus.

RoCE on yleensä riittävän hyvä, kun:

• Pyynnöt ovat enimmäkseen itsenäisiä tai kytkentä on löysä.
• Työ suoritetaan solmussa tai pienessä määrässä solmuja.
• Eräsuorituskyvyllä on enemmän merkitystä kuin erittäin{0}}alhaisella loppuviiveellä.
• Tiimi käyttää jo Ethernetiä, ja kustannusten tai toimittajan joustavuus on etusijalla.
• Klusteri tukee useita vuokralaisia ​​tai sekalaisia ​​​​työkuormia.

RoCE vs InfiniBand -kustannukset: Mikä todella ohjaa TCO:ta?

RoCE:tä kutsutaan usein halvemmaksi vaihtoehdoksi, mutta kytkimen hinta on pieni osa kuvaa. Realistisessa vertailussa tarkastellaan koko pinoa: verkkosovittimet tai HCA:t, kytkimet, optiset moduulit, DAC, AOC ja kuitukaapelointi, telinetopologia, teho ja jäähdytys, verkon käyttöjärjestelmä, valvonta ja telemetria, suunnitteluaika, varaosat, toimittajatuki ja polku 400G tai 800G.

InfiniBandilla on yleensä korkeammat ennakkokustannukset, koska se vaatii erillisen kankaan ja erikoiskomponentteja. Ympäristöissä, joissa deterministinen käyttäytyminen on etusijalla, se voi vähentää häviöttömän Ethernet-kudoksen vaatimaa viritystä ja vianmääritystä. RoCE alentaa laitteistokustannuksia, kun olemassa olevaa Ethernet-tilaa, jossa on oikea Data Center Bridge -tuki, voidaan käyttää uudelleen, mutta se siirtää vaivaa häviöttömän kudoksen suunnitteluun, validointiin, valvontaan ja vianetsintään. Edullinen-RoCE-suunnittelu muuttuu nopeasti kalliiksi, jos se aiheuttaa epävakaa latenssia ja toistuvia palontorjuntatoimia.

Kustannukset ja riskit keskittyvät fyysiseen kerrokseen nopeuden noustessa. 400 G ja 800 G optiikka hallitsee sekä lasku- että vikatiloja. Useimmat nopeat{4}}portit laskeutuvatQSFP-DD tai vastaavat muototekijät, ja vastaa oikeaayksi-- tai monimuotooptiikkatodelliseen tavoittamiseen on yksi yksinkertaisimmista tavoista välttää liiallisia kulutusta kankaaseen, joka ei tarvitse pitkän matkan{0}}moduuleja.

Suoraan sanottuna: RoCE ei ole halvempi vaihtoehto, jos tiimiltäsi puuttuu häviötöntä{0}}Ethernet-asiantuntemusta. Laitteistosäästöt voidaan syödä nopeasti kankaan vakaana pitämisen suunnittelukustannuksilla.

Skaalautuvuus ja toiminnot

Skaalautuvuus on enemmän kuin porttien lukumäärä. Se sisältää kuinka helposti kangas otetaan käyttöön, valvotaan, laajennetaan ja palautetaan, kun jokin epäonnistuu.

InfiniBand on vahva, kun klusteri on suunniteltu tehokkaaksi{0}}kankaaksi ensimmäisestä päivästä lähtien. Se tarjoaa johdonmukaista toimintaa mittakaavassa, mutta se odottaa InfiniBand-erityisiä työkaluja, kuten aliverkon hallintaa ja yhtenäistä kudoshallintaa, sekä henkilöstöä, joka on tyytyväinen InfiniBand-konsepteihin. Tämä tekee siitä luonnollisen sopivan keskitettyihin tekoälyklustereihin, jotka on rakennettu GPU-työkuormien ympärille.

RoCE sopii Ethernet-palvelinkeskusten malleihin: lehti{0}}spine-topologiat, IP-reititys, ECMP ja tutut valvontakäytännöt. Juuri tästä syystä se vetoaa pilvi-tyyliin ja usean-vuokralaisen GPU-infrastruktuuriin. Sen vaatima kurinalaisuus on johdonmukaisuus. PFC, ECN, QoS, puskurinhallinta ja ruuhkanhallinta on suunniteltava johdonmukaisesti koko polulle, koska pieni virhekonfiguraatio kudoksen yhdessä kulmassa voi levitä ja heikentää useita työkuormia kerralla. Fyysisen kerroksen on myös skaalattava puhtaasti; korkea-tiheysMPO- ja MTP-runko- ja irrotuskaapelointipitää kasvavan lehti{0}}selkäkankaan hallittavana sen sijaan, että se muuttaisi jokaista laajennusta kaapelointipalaksi.

Peili{0}}kuva on mainitsemisen arvoinen: InfiniBandia on vaikea perustella, kun päättely pysyy enimmäkseen yhden solmun sisällä ja kangasta tuskin käytetään.

Mikä verkko kullekin päättelytyökuormille

Milloin RoCE on tarpeeksi hyvä ja milloin siitä tulee riskialtista

RoCE on riittävän hyvä itsenäisiin tai löyhästi kytkettyihin pyyntöihin, suoritustehoon-suuntautuneeseen erätyöskentelyyn ja usean-vuokralaisklustereihin, joissa voit säätää eristystä, varsinkin kun tiimi hallitsee sujuvasti Data Center Bridgeging Ethernetiä. Siitä tulee riskialtista tietyillä, tunnistetuilla tavoilla:

• PFC myrskyt.Keskeytyskehykset leviävät ylävirtaan ja pysäyttävät liikenteen, jolla ei ollut mitään tekemistä alkuperäisen ruuhkan kanssa.
• Pää-jonon-esto.Karkea prioriteettikartoitus antaa ruuhkaisen luokan pysäyttää muut jakavat jonon.
• ECN:n väärinsäätö.Merkitse liian myöhään ja saat tippoja; merkitse liian aggressiivisesti ja kaasutat tehoa tarpeettomasti.
• Mikropurskeen ruuhka.Sub-sekunnin purskeet ylivuotopuskurit, mutta pysyvät näkymättömissä, jotta ne voivat seurata näytteitä yhden-sekunnin resoluutiolla.
• Epäjohdonmukainen kokoonpano.Lehtien ja selkärangan ristiriitaiset asetukset aiheuttavat ruuhkautumisen leviämistä sen sijaan, että ne pysyisivät paikallisesti.

Mikään näistä ei ole syy välttää RoCE:tä. Ne ovat syitä suunnitella häviöttömän kankaan johdonmukaisesti päästä päähän ja investoida hienorakeiseen, mikropurkaus{2}}tietoiseen telemetriaan ennen skaalaamista.

Milloin InfiniBand on sen arvoinen ja kun ostat liikaa

InfiniBand on palkkionsa arvoinen tiukoista p99- ja p999-tavoitteista, tiiviisti kytketyistä usean{2}}solmun palvelemisesta ja kriittisistä työkuormista, joissa SLA-rangaistukset ovat korkeat, erityisesti kankaan ympärille suunnitellussa GPU-klusterissa. Ostat todennäköisesti liikaa, kun päätelmä pysyy solmun sisällä, kun työ on suoritustehoon{5}}suuntautunutta erää, kun tarvitset samaa kudosta myös tallennus-, hallinta- ja usean-vuokralaisen pilviliikenteen kuljettamiseen tai kun sinulla ei yksinkertaisesti ole toimintakykyä InfiniBandin tehokkaaseen pyörittämiseen.

Kustannukset, jotka eivät näy kytkimen tarjouksessa, ovat todellisia: ekosysteemin keskittyminen, toisen kudoksen käyttäminen rinnakkain Ethernet-verkon kanssa sekä erillinen varaosien, optiikka- ja valvontasuunnittelu.

Kuinka testata InfiniBand vs RoCE ennen valintaa

Älä päätä protokollan maineesta tai teknisistä tiedoista. Valitse tuotantoa muistuttava vertailukohta. Käytännön sekvenssi:

• Määritä SLA pyrstöissä.Aseta p50, p95, p99 ja p999 aika-to-ensimmäiseen-ja inter-tokenin latenssiksi, ei vain keskiarvoksi.
• Toista realistinen liikenne.Käytä purskeisia, sekalaisia ​​mallikokoja ja usean{0}}vuokralaisen samanaikaisuutta yhden puhtaan streamin sijaan.
• Kuorma ruuhkaan.Työnnä kangasta, kunnes se on aidosti kiistelty, ja mittaa sitten GPU-käyttö. Jos GPU:t jumiutuvat verkossa, kangas on pullonkaula.
• Katso oikeat laskurit.Seuraa taukokehyksiä, ECN-merkkejä, pakettien pudotuksia, uudelleenlähetyksiä, porttivirhelaskurit ja 400G ja 800G FEC-virheet.
• Vahvista fyysinen kerros.Puhtaat, oikein asennetut kuitumateriaalit;huolellinen kuidun asennusestää ajoittaiset, vaikeasti--diagnosoitavat virheet, joita{2}}nopeat linkit ovat alttiita.

Jos RoCE pitää p99-tavoitteensa realistisessa, kilpailevassa, usean{1}}vuokralaisen kuormituksessa vakaiden laskurien kanssa, se on vahva ja kustannustehokas valinta. Jos se läpäisee vain puhtaat yhden virran-testit, et ole vielä testannut asiaa, joka ratkaisee palvelutasosopimuksen.

Yleiset virheet vältettävät

• Olettaen, että kaikki päätelmät ovat kevyttä verkostoitumista.Jotkut johtopäätökset ovat yksinkertaisia ​​ja riippumattomia; osa on hajautettua, latenssi-herkkä ja kaistanleveyden-nälkä. Kaiken pitäminen helpona johtaa alikehittyneeseen infrastruktuuriin.
• Vertaamalla vain keskimääräistä latenssia.Tuotantopäätelmä riippuu hännästä. Arvioi aina p95, p99 ja p999 realistisen liikenteen alla.
• Käsitellään RoCE:tä plug{0}}and-ethernetinä.Suorituskykyinen-RoCE tarvitsee tahallista häviötöntä-kangassuunnittelua, ruuhkanhallintaa ja jatkuvaa havainnointia.
• InfiniBandin valinta vain siksi, että se on nopeampi.Paras suorituskykyvaihtoehto ei aina ole paras liiketoimintavaihtoehto. Jos työmäärä ei vaadi determinististä käyttäytymistä, RoCE voi tarjota parempaa arvoa.
• Fyysisen kerroksen huomioiminen.400 G ja 800 G kaapelit, optiikka, liittimet ja kuitujen puhtaus aiheuttavat ajoittaisia ​​virheitä, joita on vaikea löytää ja kalliita korjata.

Bottom Line

Tekoälypäätelmiä varten InfiniBand ja RoCE ovat molemmat kelvollisia, ja ne palvelevat eri prioriteetteja. Valitse InfiniBand, kun tarvitset johdonmukaisimman matalan-viiveen verkon reaaliaikaista-, SLA-herkkää tai tiiviisti kytkettyä johtopäätöstä varten. Valitse RoCE, kun tarvitset skaalautuvan, Ethernet-pohjaisen, kustannus-tehokkaan rakenteen eräpäättelyyn, usean-vuokralaisen GPU-palveluihin, RAG-työkuormiin ja joustavaan infrastruktuuriin.

Päätöksen tulisi alkaa työmäärästä, viivetavoitteesta, klusterin mittakaavasta, toimintakyvystäsi ja päivityssuunnitelmasta, ei protokollasta. Jos klusterin täytyy pitää tiukka p99 raskaan kuormituksen alaisena, InfiniBand ansaitsee vakavan harkinnan. Jos tavoitteesi on skaalata päätelmiä taloudellisesti Ethernet-palvelinkeskuksen yli, RoCE on yleensä käytännöllisempi tie. Joka tapauksessa, vertaile tuotannossa-kuten latausta ennen sitoutumista.