Gid konsepsyon rezo AI Cluster: RoCEv2, Lossless Ethernet, ak 400G/800G GPU twal

Jul 07, 2026

Kite yon mesaj

Nan yon gwoup GPU, rezo a se pa yon kouch sipò - li deside si akseleratè chè yo kalkile oswa rete san fè anyen konsa ap tann done yo. Rezo gwoup AI dirèkteman fòme vitès fòmasyon, itilizasyon GPU, ak tan fini travay, epi li konpòte li yon fason diferan de yon rezo sant done jeneral-. Gid sa a kouvri kijan pou desine yon twal san pèt pou chaj travay GPU: topoloji, konfigirasyon RoCEv2, optik 400G/800G ak kabl, ak validation ki separe yon twal ki pase yon tès bandwidth ak youn ki aktyèlman fini travay fòmasyon alè.

AI Cluster Network Design

Yon twal ki byen -konstri AI gwoup ki separe trafik entèfas ak backend, sèvi ak yon topoloji kolòn vètebral ki pa{-bloke oswa ki ba-oversubscription-pou backend la, kouri RoCEv2 ak PFC, ECN, ak DCQCN ranje pou ECN aji anvan PFC, gaye gwo koule ak konjesyon defo{5} nan loading{5} nan konjesyon defo. pou kont li, estandadize sou 400G jodi a ak yon chemen klè nan 800G, epi li valide ak telemetri ki gen rapò ak AI-tankou trafik kolektif - pa sèlman tès debi senp.

AI Cluster Network Design Yon ti koutje sou

Desizyon Rekòmande default
Domèn trafik yo Separe twal frontend ak backend
Topoloji backend Fèy-kolòn vètebral, ki pa-bloke oswa ki ba twòp abònman
Transpò RoCEv2 ak PFC + ECN + DCQCN
Balanse chaj Konjesyon -konsyan / dinamik, pa default ECMP pou kont li
Vitès pò 400G kounye a, ak yon migrasyon 800G planifye
Validasyon Telemetry plis trafik kolektif (NCCL), pa sèlman iperf

AI cluster network fabric connecting GPU servers with leaf-spine switches

Ki sa ki se AI Cluster Networking?

Rezo grap AI se twal ki gen gwo -pèfòmans ki konekte sèvè GPU, depo, nœuds jesyon, epi pafwa plizyè domèn sant done pou fòmasyon oswa enferans. Yon sèl gwoup pote plizyè kalite trafik - GPU-a-kominikasyon GPU, RDMA ant sèvè, depo lekti ak ekri, enjèstyon ansanm done, checkpointing, anrejistreman, ak òkestrasyon - men pati ki pi sansib nan pèfòmans-se twal fòmasyon backend ki pote GPU-nan fòmasyon GPU-. Lè twal sa a ralanti oswa enprevizib, GPU yo rete tann olye pou yo kalkile.

Se poutèt sa yo jije yon twal AI yon fason diferan de yon rezo sant done nòmal. Pleasant kri enpòtan, men se konsa konsistans latansi, konpòtman anbouteyaj, pèt pake, pwofondè telemetri, topoloji, e menm konsomasyon pouvwa optik.

Poukisa chaj travay AI yo estrès rezo a yon fason diferan

Fòmasyon distribiye senkronize toujou

Gwo modèl antrene atravè anpil GPU ki fè echanj gradyan ak aktivasyon nan faz kowòdone - modèl kolektif tankou Tout-Redwi ak Tout-a-Tout. Konsekans la se brit: chemen ki pi dousman ka retade yon etap fòmasyon antye. Menm si 99% nan lyen yo an sante, yon sèl etajè konjesyone-a-lyen kolòn vètebral ka vire yon GPU nan yon retaggler ke tout lòt moun ap tann.

Latansi ke gaspiye GPU, pa latansi mwayèn

Mwayèn latansi se move metrik isit la. Paske yon etap senkronizasyon ap tann pou dènye GPU a rive, yon ti ponyen nan pake reta ka kenbe tout travay la. Sou yon gwoup 256-GPU, yon sèl lyen kolòn vètebral cho ki ajoute latansi ke nan yon sèl ray ka trennen desann itilizasyon atravè travay la.

Trafik AI fèt ak koule elefan

Rezo tradisyonèl yo jongle anpil ti koule; Gwoup AI yo jenere kèk gwo -GPU-pou-GPU ki dire lontan. Default ECMP hashing distribye koule, pa byte, kidonk lè plizyè elefan koule hash sou menm etajè a-a-lyen kolòn vètebral la, lyen sa a vin cho pandan lyen paralèl yo rete san fè anyen konsa - ki pwodui keu, pik latansi, epi evantyèlman gout. Pi gwo vitès pò pa ranje sa poukont li: yon lyen 400G toujou anboutey si elefan koule mal sou li.

Pèt pake se espesyalman chè

TCP òdinè tolere pèt; RoCEv2-RDMA ki baze sou pa. Twal la espere konpòte li kòm pèt ki ba-oswa san pèt, epi gout pandan konjesyon ka tonbe pèfòmans RDMA. Sa a se tout rezon ki fè yon twal RoCEv2 bezwen ekspre jeni lossless olye ke pi bon efò voye.

Kondisyon debaz pou yon rezo AI Cluster

Yon twal backend bon dwe satisfè plizyè kondisyon an menm tan: gwo lajè biseksyon pou anpil GPU ka pale ansanm san yo pa twal la vin kou boutèy la; baak previziblatansi, piske pwen konjesyon okazyonèl yo domaje tankou gwo latansi mwayèn; transpò san pèt oswa pre-sans pèt pou RoCEv2; yon topoloji ki balanse san yo pa anpile sou oublions ak kab; ak gwo vizibilite operasyonèl. Sou dènye pwen sa a - san yo pa telemetri, ekip yo souvan mal fè dyagnostik yon pwoblèm konjesyon rezo kòm yon pwoblèm GPU oswa yon pwoblèm kalkil, epi boule jou yo kouri dèyè move kouch la.

AI Cluster Rezo Achitekti: Frontend vs Backend twal

Desizyon ki pi konsekan an bonè se si wi ou non yo separe rezo a frontend ak twal la fòmasyon backend. Entèfas la pote aksè itilizatè, jesyon, òkestrasyon, siveyans, anrejistreman, aksè nan depo, enjèstyon done, ak transfè pòs - li ka sanble anpil tankou yon rezo sant done konvansyonèl, menm si depo ak pòs kontwòl toujou mande debi reyèl. Backend la dedye a GPU-a-trafik fòmasyon GPU epi li optimize pou RDMA, latansi ki ba, transpò san pèt, ak bandwidth previzib.

Separasyon sa a pa teyorik. Travay Meta a pibliye souRezo RoCE pou fòmasyon AI distribiye nan echèldekri egzakteman divizyon sa a: yon rezo entèfas pou travay tankou enjèstyon done, checkpoints, ak anrejistreman, ak yon twal backend dedye RoCEv2 ki konekte RDMA NICs nan yon achitekti ki pa-bloke pou kominikasyon GPU. YoPapye SIGCOMM 2024 sou RDMA sou Ethernet nan echèl Metaankadre menm lide a kòm yon prensip konsepsyon: konprann kantite travay la an premye, Lè sa a, separe fòmasyon GPU nan pwòp rezo backend li pou li ka evolye ak echèl poukont li.

Poukisa li peye: separe domèn amelyore previzibilite pèfòmans, klè depanaj, izolasyon, ak ajisteman kontwòl konjesyon-. Si depo, jesyon, ak fòmasyon tout pataje yon sèl twal san QoS atansyon, yon pòs de kontwòl lou ka bloke kominikasyon fòmasyon nan moman ki pi move posib. Nan konsepsyon Meta a, switch fèy yo konekte GPU nan yon etajè sou DAC kòb kwiv mete, pandan y ap etajè a-a-lyen kolòn vètebral la kouri sou yon sèl-fib mòd ak transceiver 400G - yon modèl ki kat pwòp sou estriktire.Câblage kòf MPO/MTPant nivo fèy ak kolòn vètebral.

Frontend and backend network separation in an AI cluster

RoCEv2 ak Ethernet Lossless: Ki jan yo travay ansanm

RDMA (Remote Direct Memory Access) pèmèt yon sistèm li oswa ekri memwa yon lòt sistèm ak yon patisipasyon CPU minim, ki se sa ki fè ba -latansi, gwo-debi GPU-a-transfè GPU posib. RoCEv2 pote trafik RDMA sa a sou Ethernet pa ankapsile li nan UDP/IP, kidonk, ou ka bati twal la sou switch Ethernet estanda.

Apèl la se lajè ekosistèm. Ethernet gen yon baz founisè gwo, operasyon ki gen matirite, ak evolisyon rapid nan Silisyòm switch, optik, ak zouti. LaUltra Ethernet Consortiumfè sa a agiman santral li: yon pile Ethernet ouvè, entèoperab, plizyè machann, kounye a ofisyèlman nan spesifikasyon 1.0 li yo, objektif -bati pou echèl rezo AI ak HPC san yo pa bloke machann-nan. NVIDIA te pouse menm direksyon an soti nan bò pwodwi - liSpectrum-X platfòm Ethernetse pozisyone kòm Ethernet enjenyè espesyalman pou AI, ajoute transpò san pèt, routage adaptasyon, ak nan-telemetri rezo a Ethernet estanda.

 

RoCEv2 lossless Ethernet flow with PFC, ECN, and DCQCN

RoCEv2 lossless twal la, eleman pa eleman

"Lossless" se pa yon sèl switch, li se yon pil nan mekanis kowopere. Tablo ki anba a se nivo detay yon konsepsyon aktyèlman bezwen.

Eleman Wòl Poukisa li enpòtan
Klasifikasyon trafik (DSCP/PCP) Mete RDMA nan klas lossless la Move make voye RDMA nan yon keu pèt
PFC Link-poz nivo pou anpeche gout Yon rezo sekirite; move itilizasyon lakòz tanpèt poz ak bloke tèt-de-liy
ECN Make pake yo anvan ke moun kap kriye debòde Ou dwe deklanche anvan PFC pou itil
DCQCN Kontwòl pousantaj NIC kondwi pa fidbak ECN/CNP Diminye konbyen fwa PFC gen dife
Ekilib chaj dinamik / adaptasyon Pwopaje koule elefan atravè chemen Default ECMP hashing kite lyen cho ak san fè anyen konsa
Telemetri Ekspoze gout, mak ECN, poz PFC, pwofondè keu Sèl fason pou korelasyon sante twal ak sante travay

Sa yo dwe branche ansanm. Relasyon kritik la se ke papòt ECN la dwe chitaanba apapòt PFC antre a, kidonk moun k ap voye yo ralanti anvan ankadreman poz yo janm bezwen. Juniper aDokiman DCQCNdekri aksyon balans sa a byen presi: kite ECN fè kontwòl koule nan koupe vitès transmisyon an bonè, kidonk PFC - ki sispann koule a nèt - minimize. Konfigure ECN twò wo, ak PFC dife premye e souvan; konfigirasyon PFC twò agresif, epi ou jwenn tanpèt poz.

Ki sa sa vle di nan pratik: kontè PFC yo pa yon metrik siksè. Si ankadreman poz PFC monte san rete pandan kous fòmasyon nòmal yo, twal la pa an sante - li siviv anbouteyaj lè li sispann trafik la. Yon twal vrèman an sante montre ECN ap fè travay la ak PFC raman angaje.

Defi komen rezo AI Cluster ak kijan pou rezoud yo

Defi 1: latansi ke ak retabli

Pwoblèm:nan fòmasyon senkronize, yon sèl chemen dousman reta tout travay la.Fè:kenbe backend la ba-hop; evite twòp abònman ki pa nesesè; kontwole latansi ke, pa mwayèn; sèvi ak konjesyon-konsyan balans chaj; valide ak modèl trafik kolektif olye ke tès pwen-a-.Nan pratik:yon travay ki gen GPU itilizasyon sawtooths chak entèval senkronizasyon anjeneral frape yon chemen retaggler, pa yon limit kalkile.

Defi 2: Konjesyon ak kolizyon elefan-koule

Pwoblèm:kèk gwo koule ateri sou menm lyen an epi kreye yon hotspot.Fè:pa konte sou ECMP default pou yon gwo twal AI; pèmèt balanse chaj dinamik / adaptab; gade pou chak-lyen itilizasyon kolòn vètebral ak pwofondè keu; kite ECN ak DCQCN gaz ak emetteur anvan konjesyon pèsiste.Nan pratik:kolòn vètebral inegal -itilizasyon lyen ak tout lòt bagay nominal se siyati move hashing koule, pa ensifizan Pleasant.

Defi 3: Echèl soti nan 400G a 800G

Pwoblèm:kòm kantite GPU ap grandi, pi ba-lyen vitès fòse plis switch, nivo, optik, ak kabl.Fè:kalkile Pleasant ki nesesè pou chak GPU ak pou chak etajè (yon sèvè 8-GPU ak yon NIC 400G pou chak GPU se yon twal trè diferan pase yon konsepsyon 200G); deside ki pa-bloke kont yon ti abònman twòp espre; konsidere switch radix, vitès pò, ak pwofondè topoloji ansanm; planifye chemen 400G-a-800G anvan ou oblije antre nan li; kenbe optik, kabl, ak pouvwa nan konsepsyon an depi premye jou.

Defi 4: Seleksyon pouvwa, refwadisman ak optik

Pwoblèm:Twal AI trase pouvwa grav, espesyalman nan gwo vitès pò ak dansite optik.Fè:sèvi ak DAC pou lyen kout nan-rack kote sa posib; sèvi ak AOC oswa transceiver optik pou etajè ki pi long-a-kounye kolòn vètebral; konpare pouvwa atravè opsyon optik; valide limit tèmik nan pò ki gen gwo -dansite; konsepsyon kabl ak koule lè ansanm. Chwazi antyon sèl-mòd ak multimode transceiverse lajman yon desizyon rive -kont-pri, epi li ta dwe pran pou chak klas lyen, pa yon fwa pou tout gwoup la.

Pouvwa optik se kounye a yon kontrent konsepsyon premye -lòd, se pa yon nòt anba. Travay NVIDIA soupouvwa -tisu AI efikas ak Spectrum-X Ethernet Photonicsmontre tandans a dirèkteman: yo itilize fotonik Silisyòm ko{-pake pou koupe pouvwa chak-pò epi redwi flap lyen yo konpare ak optik branche tradisyonèl yo, jisteman paske transceiver yo pami konpozan ki pi wo -pouvwa ak pi gwo-echèk- nan yon gwo gwoup.

Defi 5: Vizibilite ak depanaj tach avèg

Pwoblèm:san telemetri, yon pwoblèm rezo sanble ak yon pwoblèm kalkil.Fè:kontwole gout pake, mak ECN, ankadreman poz PFC, lokasyon keu, erè lyen, itilizasyon pò, distribisyon koule, kontè konjesyon NIC, itilizasyon GPU, ak tan fini travay - Lè sa a, korelasyon mezi twal yo ak mezi travay AI. Yon switch ki trankil-pa garanti yon travay fòmasyon an sante, epi yon GPU okipe pa garanti pwogrè itil.

RoCEv2 vs InfiniBand pou AI Cluster Networking

Tou de RoCEv2/Ethernet ak InfiniBand kouri reyèl AI ak HPC grap; chwa a depann de echèl, konpetans ekip, ekosistèm, modèl pri, ak objektif operasyonèl. Tablo ki anba a se yon konparezon editoryal, pa yon klasman absoli - bon repons lan se kantite travay- ak òganizasyon-espesifik.

Faktè RoCEv2 / Ethernet InfiniBand
Ekosistèm Operasyon laj, milti-machandè, abitye Bon eritaj HPC, pile ki gen matirite segondè-pèfòmans
Operasyon yo Reutilize ladrès Ethernet, men li bezwen akor san pèt Plis espesyalize, objektif-konstwi pou HPC byen makonnen
Sourcing fleksibilite Jeneralman plis chwa machann Souvan yon pile plis entegre
Pèfòmans Bon lè byen fèt ak branche Li te ye pou latansi ki ba nan grap byen makonnen
Eskalad Bezwen topoloji ekspre, kontwòl konjesyon, telemetri Opsyon solid pou gwo twal HPC-style
Pi bon anfòm Ekip ki vle fleksibilite Ethernet ak yon konsepsyon RoCEv2 AI-pare Ekip ki bay priyorite HPC entegre, ki pwouve byen sere

Vrè kesyon an se pa ki teknoloji ki genyen nan abstrè a. Li se si twal la chwazi a ka bay bandwidth previzib, latansi ki ba, pèt ki ba, ak vizibilite operasyonèl nan echèl GPU sib ou a.

Echèl GPU vs konsepsyon rezo

Yon gwoup laboratwa 64-GPU ak yon gwoup pwodiksyon milti-mil GPU se pa menm pwojè ak yon kantite pò diferan. Echèl chanje konsepsyon an.

Echèl Cluster Konsepsyon tipik Konsantre prensipal
Jiska ~ 64 GPU (laboratwa / pilòt) Yon sèl-niveau oswa ti de-fèy-niveau kolòn vètebral, souvan yon sèl switch domèn Konfigirasyon RoCEv2 kòrèk, pwòp kabl, telemetri debaz
~ 128–512 GPU Ki pa -bloke de-fey-nèv kolòn vètebral, separasyon entèfas/backend Objektif twòp abònman, balanse chaj dinamik, akor ECN/PFC
~1,000–4,000+ GPU (pwodiksyon) Milti-niveau oswa tren-optimize, done-sant-echèl backend Topoloji -orè okouran, 400G/800G, pouvwa ak dansite optik

Etap-pa-Kad Konsepsyon rezo AI Cluster

Etap 1: Defini kantite travay ak echèl GPU

Kòmanse ak kantite travay la, pa modèl switch la. Klarifye konte GPU kounye a ak pwochen sik la, si travay la se fòmasyon, -reglage amann, enferans, oswa melanje, modèl kolektif yo espere, gwosè pwen kontwòl, volim trafik depo, epi si gwoup la se yon sèl- oswa plizyè-lokatè.

Etap 2: Separe domèn trafik yo

Deside sa ki fè pati fasad la kont backend la: jesyon, depo ak pòs, fòmasyon/RDMA, ak siveyans trafik. Pou ti deplwaman, separasyon lojik ak VLAN ak QoS ka sifi; pou pi gwo grap, separasyon fizik ant frontend ak backend anjeneral pi fasil pou opere ak rezone sou.

Etap 3: Chwazi topoloji ak sib oversubscription

Fèy-kolòn vètebral se default pou twal AI Ethernet évolutive. Deside youn, de, oswa plis nivo; ki pa-bloke kont abònman twòp; GPU pou chak etajè; NICs pou chak sèvè; vitès uplink ak konte; kapasite kolòn vètebral; ak gwosè domèn echèk. Pou trafik fòmasyon backend, pi ba oversubscription achte previzibilite - epi si ou fè oversubscribe, fè li yon rapò ekspre ki baze sou konpòtman kantite travay mezire, pa yon aksidan nan konte pò.

Etap 4: Chwazi vitès switch ak dansite pò

Chwazi platfòm chanje sou Pleasant, topoloji, ak kwasans obligatwa - evalye 400G kont 800G, radix, kapasite total, achitekti tanpon, sipò RoCEv2/PFC/ECN/DCQCN, telemetri, pouvwa pa pò, ak NOS/otomatik. Pa evalye vitès pou kont li: yon switch rapid san kontwòl konjesyon, tanpon, ak telemetri ap toujou kreye pwoblèm anba trafik AI.

Etap 5: Planifye NICs, optik, DAC/AOC, ak kabl

Twal la se pi plis pase switch. Planifye vitès NIC pou chak GPU, NIC-pou-chanje kalite lyen an, DAC pou lyen kwiv kout, AOC ak modil optik pou kouri pi long, optik mòd sèl-pou distans, ak plant fib, layout patch, etikèt, ak aksè sèvis. Faktè fòm brancheble a enpòtan isit la - aQSFP-DD ak OSFP fòm-apèsi sou faktèvo gade anvan ou komèt switch ak pò NIC nan 400G/800G. Sou bò câblage, kraze yon gwo-po switch dansite nan lyen pou chak-sèvè anjeneral vle diMPO-pou-LC breakout câblage, epi klas fib la ta dwe matche ak distans - pratik lalimit atenn fib multimode (OM1–OM5)deside ki kote multimode toujou ap travay epi ki kote yon sèl-mòd obligatwa. Pòv konsepsyon kabl ka fè yon topoloji teknikman kòrèk mizerab pou opere.

Klas Link Distans tipik Chwa komen
Nan-etajè GPU-pou-fèy Anba ~ 3 m DAC (kwiv)
Etajè adjasan- ~3–7 m AOC oswa DAC
Fèy-pou-kolòn vètebral nan yon sal Dè dizèn de mèt a ~ 100 m Multimode (OM4/OM5) + SR optik, oswa yon sèl -mòd
Atravè koulwa / DC-echèl ~100 m a 2 km Yon sèl -mòd + 400G/800G transceiver

Etap 6: Konfigirasyon transpò san pèt ak kontwòl konjesyon

Sa a se pati ki pi sansib nan deplwaman an. Klasifye trafik RoCEv2 kòrèkteman epi kat li nan bon priyorite; pèmèt PFC sou priyorite sa a; mete papòt ECN anba papòt PFC la; konfime NIC yo aplike repons DCQCN yo te vle a; kenbe trafik ki pa gen rapò ak klas san pèt la; epi teste klèman pou tanpèt poz ak bloke-de-liy. Trete PFC kòm yon mekanis sekirite, pa kòm yon fason chak jou ou kouri yon rezo anbouteyaj.

Etap 7: Valide ak telemetri ak AI-tankou trafik tès

Anvan travay pwodiksyon kouri, valide fen-a-lajè Pleasant, distribisyon latansi, latansi ke, gout pake, konpòtman make ECN, frekans poz PFC, rekiperasyon lyen-echèk, distribisyon koule, ak pèfòmans travay GPU anba chaj. Senp debi iperf pa ase - verifye mak ECN, poz PFC, pwofondè keu, ak NCCL tout-diminye pèfòmansansanm, paske yon twal ki pase tès pwen-a-pwen ka toujou toufe sou kominikasyon kolektif senkronize.

FAQ: AI Cluster Networking

K: Èske RoCEv2 ka vrèman ranplase InfiniBand pou fòmasyon AI?

A: Pou anpil grap, wi - lè twal Ethernet la byen fèt ak branche. Gwo operatè yo fè fòmasyon pwodiksyon sou backends RoCEv2, epi tou de Ultra Ethernet Consortium ak platfòm vandè tankou NVIDIA Spectrum-X ap pouse Ethernet espesyalman nan direksyon AI-echèl pèfòmans. Opozisyon an se ke RoCEv2 mande jeni espre san pèt; li pa "jis travay" soti nan bwat la jan yon objektif -bati twal HPC ta ka.

K: Kilè mwen aktyèlman bezwen 800G olye de 400G?

R: Lè demann pou chak-GPU ak pou chak-lajè bande etajè depase sa lyen 400G yo ka pote san yo pa ajoute nivo, kab, ak optik. Sèvè dans ki gen yon NIC gwo-vitès pou chak GPU, ak pi gwo grap kote abònman twòp ta ka antre, se deklanchman nòmal yo. Planifye chemen migrasyon an byen bonè pou 800G se yon etap, pa yon redesign.

K: Kisa k ap pase si PFC mal konfiguré?

A: Move konfigirasyon PFC ka lakòz tanpèt poz, tèt-de-bloke liy, ak konjesyon gaye, kote yon poz yon lyen ap fè bak trafik atravè twal la. Se poutèt sa ECN ta dwe pote pi fò nan siyal konjesyon an ak PFC ta dwe raman angaje; kontwa PFC k ap monte pandan kouri nòmal yo se yon siy avètisman, pa yon endikatè siksè.

K: Èske yon rezo gwoup AI dwe izole fizikman?

A: Pa toujou, men pi gwo grap anjeneral benefisye de fizikman separe twal fòmasyon backend la ak entèfas la. Deplwaman ki pi piti yo ka souvan itilize separasyon lojik ak VLAN ak QoS, depi depo ak eklatman pòs yo kenbe deyò nan klas fòmasyon san pèt la.

K: Kouman pou mwen chwazi ant DAC, AOC, ak transceiver optik?

A: Pa distans ak pouvwa. DAC kostim kout nan-lyen kwiv etajè; AOC kouvri yon ti kras pi long, kouri fleksib; ak transceiver optik ki gen plizyè mòd oswa yon sèl -manch fib mòd etajè-a-san kolòn vètebral ak travèse-distans sal. Koresponn ak klas fib yo rive jwenn, ak peze pouvwa optik, depi transceivers yo se yon pati enpòtan nan tou de pouvwa twal ak pousantaj echèk.

K: Èske ti gwoup GPU bezwen yon twal plen san pèt?

A: Yo toujou bezwen klasifikasyon konfigirasyon RoCEv2 kòrèk -, PFC sou bon priyorite a, ak ECN anba PFC - men yon ti gwoup -domèn ka souvan sote topoloji milti-niveau ak planifikasyon gwo abònman ke gwo twal mande. Konpòtman san pèt la pa opsyonèl; echèl-konpleksite a se.

Konklizyon ak pwochen etap

AI gwoup rezo deside si GPU yo travay kòm yon sèl sistèm kowòdone oswa san fè anyen konsa ap tann pou done. Yon konsepsyon solid konbine gwo Pleasant, latansi previzib, transpò RoCEv2 san pèt, yon topoloji kolòn vètebral fèy-évolutif, bon optik ak kabl, ak telemetri ase pwofon pou korelasyon sante twal ak sante travay. Ti grap mennen ak topoloji pwòp ak konfigirasyon RoCEv2 kòrèk; Gwo grap yo dwe adrese tou separasyon entèfas/backend, konjesyon-konsyan balans chaj, migrasyon 400G/800G, dansite pouvwa, ak operasyon telemetri-kondwi.

Pi bon pwochen etap la se ranje antre ou an premye: echèl GPU, modèl chaj travay, konsepsyon etajè, ak domèn trafik. Lè sa a, chwazi switch yo, NICs, optik, ak konfigirasyon Ethernet lossless matche ak. Si w ap gade bò optik ak estriktire-kablaj yon twal GPU an paralèl,data sant fibre ak solisyon câblageka ede w koresponn chwa pou kòf, levasyon, ak transceiver ak topoloji w ak distans lyen yo. Nan enfrastrikti AI, bon rezo a se pa sèlman pi vit - li pi previzib, plis obsèvab, ak pi fasil pou echèl.

 

Voye rechèch