Konsepsyon rezo AI Cluster: kolòn vètebral-Fèy, RoCE ak NIC

Konsepsyon rezo cluster AI se pwosesis pou dimensionnement NIC sèvè GPU yo, lajè-sann kolòn vètebral la, rapò sou abònman, paramèt RoCE, optik ak kabl pou distribye trafik fòmasyon rete previzib pandan grap la ap ogmante. Jwenn nenpòt nan sa yo mal epi rezo a - pa GPU a - vin gou boutèy la.

Poukisa AI Cluster Networking diferan

Nan yon sant done antrepriz tradisyonèl, rezo a jere yon melanj de trafik itilizatè nò-sid, aksè depo, virtualizasyon ak jesyon. Trafik lès-lwès egziste men se raman chaj dominan an. Nan yon gwoup AI, sitiyasyon an baskile. Serveurs GPU yo fè distribisyon gradyan echanj fòmasyon ak senkronize paramèt pandan chak etap nan travay la. Kominikasyon sa a se yon pati nan kalkil la, pa yon efè segondè nan li.

Si yon GPU $30,000 pase 30% nan tan li ap tann sou rezo a pandan tout operasyon rediksyon yo, gwoup la efektivman peye pou 30% nan kapasite kalkil li pou rete san fè anyen konsa. Sa a se rezon ekonomik rezo AI jwenn anpil atansyon.

Twa karakteristik chaj travay kondwi konsepsyon an:

• Sikilasyon nan lès-lwès.Operasyon kominikasyon kolektif tankou tout-diminye, tout-rasanble epi redwi-dispersion pwodui eklat senkronize atravè anpil nœuds ansanm.
• Tail-sansiblite latansi.Yon sèl ne ralanti reta tout etap fòmasyon an. Latansi previzib enpòtan plis pase latansi mwayèn.
• Ogmante kwasans-.Gwoup ki kòmanse nan 32 GPU souvan grandi a 256 oswa 1,024 nan 18 mwa. Twal la dwe echèl san redesign.

Poukisa kolòn vètebral-Fèy adapte AI Clusters

Fèy kolòn vètebral-se twal estanda pou sant done hyperscale paske li bay chak sèvè-a-chemin sèvè menm kantite hop ak menm bandwidth teyorik la. Pou kantite travay AI, inifòmite sa a dirèkteman tradui nan tan etap fòmasyon ki pi previzib.

Nan yon topoloji kolòn vètebral-fèy, sèvè GPU konekte ak switch fèy, epi chak fèy konekte ak chak kolòn vètebral. Nenpòt kominikasyon GPU-a-GPU travèse egzakteman yon fèy, yon kolòn vètebral, ak yon lòt fèy. Pa gen okenn kouch agrégasyon ki entwodwi latansi varyab oswa chokepoints.

Latansi previzib

Egal -pri milti-chemen (ECMP) gaye koule atravè switch kolòn vètebral yo. Lè konfigirasyon kòrèkteman ak routage adaptab oswa balanse chaj dinamik, sa a anpeche kolizyon yo hash ki lakòz kèk koule yo pi dousman pase lòt - yon pwoblèm li te ye nan twal ECMP estatik pote kèk koule men gwo, ki se egzakteman sa fòmasyon AI jenere.

High Bisection Bandwidth

Biseksyon bandwidth se debi ki disponib ant nenpòt de mwatye egal nan gwoup la. Fòmasyon AI benefisye de konsepsyon ki pa-bloke oswa ki tou pre-ki pa-bloke kote kapasite lyen ki monte nan fèy-a{-san kolòn vètebral la egal oswa prèske egal kapasite lyen desann fè fas a sèvè yo. IETF a defini ak diskite konsèp sa yo nanRFC 7938, ki kouvri twal BGP-Wout Clos lajman ki itilize nan gwo-sant done yo.

Pi fasil Echèl-Soti

Ajoute plis fèy pou ajoute plis serveurs. Ajoute plis kolòn vètebral pou ajoute plis lajè biseksyon. Pou grap ki depase kèk milye GPU, yon topoloji super-colon vètebral (5-etap Clos) oswa topoloji optimize pou tren an pwolonje menm prensip la yon kouch pi lwen.

Eleman debaz nan yon rezo AI Cluster

Sèvè GPU ak NICs

NIC a se kote twal la rankontre lame a. Nan grap AI, seleksyon NIC kondwi tout bagay anval - vitès pò switch, chwa optik, ak dansite kabl.

Kritè seleksyon pou chaj travay AI:

• Vitès pò:200G, 400G oswa 800G pou chak pò. Koresponn ak jenerasyon GPU ak Pleasant PCIe.
• jenerasyon PCIe:Yon NIC 400G bezwen PCIe Gen5 x16 pou evite hôte-bò throttling. PCIe Gen4 x16 bouchon nan ~ 256 Gbps ka itilize.
• Sipò RDMA ak RoCEv2:Obligatwa pou kernel-bypass bibliyotèk kominikasyon GPU tankou NCCL.
• GPUDirect RDMA:Pèmèt GPU dirèk-a-NIC DMA, retire kopi memwa lame yo.
• Kapasite milti-ray:Anpil sèvè AI itilize 4 oswa 8 NIC pou chak nod, youn pou chak pè GPU, pou topoloji optimize ray-.

Yon sèvè tipik 8-GPU jodi a itilize swa 4 × 400G NICs (youn pou chak de GPU) oswa 8 × 400G NICs (yon sèl pou chak GPU) depann sou kantite travay ak bidjè. Achitekti referans soti nanDokimantasyon rezo NVIDIAkouvri konpwomi konsepsyon yo an detay.

Bouton fèy ak kolòn vètebral

Chanje kritè seleksyon pou twal AI diferan de seleksyon antrepriz. Gwosè tanpon, konpòtman kontwòl konjesyon ak telemetrik gen plis enpòtans pase lajè karakteristik.

• Pou chak-pò vitès ak radix:Yon switch 51.2 Tbps ASIC delivre 64 × 800G pò oswa 128 × 400G pò. Radix detèmine kijan twal la ka plat.
• Achitekti tanpon:Tanpon gwo twou san fon absòbe eklat encast men ajoute latansi. Tanpon ki pa fon yo diminye latansi men yo mande pou kontwole konjesyon egzak.
• RoCE seri karakteristik:Marking ECN, PFC, DCQCN oswa kontwòl konjesyon ekivalan, ak bon jan tretman ke moun kap kriye priyorite bout{0}}a-.
• Telemetri:Telemetri rezo Inband (INT), pou chak-rapò pwofondè keu, ak kontè rezolisyon mikwosegonn-pou mak ECN ak poz PFC.

Optik, DAC ak AOC Cabling

Nan 400G ak 800G, plant la kab vin tounen yon pwoblèm jeni reyèl. Faktè fòm, bidjè lyen ak konfigirasyon levasyon tout bezwen planifikasyon bonè.

• DAC (Atache Dirèk Copper):Jiska ~ 3 mèt pou 400G, pi ba pri ak pi ba pouvwa. Lou ak ankonbran nan echèl.
• AOC (Aktif Optical Kab):Jiska ~30 mèt, pi mens pase DAC, men longè fiks-e li konsome pouvwa optik sou tou de bout yo.
• Optik branche:Obligatwa pi lwen pase distans AOC. QSFP-DD ak OSFP fòm faktè domine 400G/800G. MPO/MTP asanble fib okipe koneksyon fib paralèl-yo.

Pou lyen entè-etajè ak kab estriktire nan 400G/800G, optik paralèl sou terminasyon MPO yo estanda kounye a. Chwa ant kab kòf ak asanble depanaj depann de alokasyon pò switch ou a - gade nou an.Gid kab levasyon MPOpou lojik seleksyon an pratik, ak pi laj laMPO kòf vs konparezon levasyonlè w ap planifye kous fèy-a- kolòn vètebral.

RoCE ak Ethernet Lossless nan twal AI

RoCEv2 (RDMA sou Converged Ethernet v2) se transpò Ethernet dominan pou chaj travay AI. Li pèmèt NIC yo deplase done dirèkteman ant rejyon memwa GPU san patisipasyon nwayo sou chak bout. NCCL, bibliyotèk kominikasyon GPU ki kache prèske tout kad fòmasyon distribye, sèvi ak RoCEv2 lè InfiniBand pa disponib.

RoCE travay byen lè configuré kòrèkteman. Li echwe lèd lè configuré mal. LaAsosyasyon Komès InfiniBandpibliye espesifikasyon RoCE yo, epi pifò NIC ak machann switch yo pibliye gid konfigirasyon detaye ki ta dwe swiv fen-pou-fen.

Poukisa Konpòtman San Pèt Enpòtan

RDMA te fèt sipoze yon transpò san pèt. Lè pake yo tonbe, rekiperasyon RDMA chè - tounen-retounen-N retransmisyon ka bloke yon etap fòmasyon pou milisgond, ki se menmen an parapò ak bidjè RDMA mikwosgond-echèl la.

Pou apwoksimatif konpòtman san pèt sou Ethernet, twal la itilize de mekanis k ap travay ansanm:

• PFC (Priyorite Flow Control, IEEE 802.1Qbb):Yon switch sispann trafik k ap rantre sou yon keu priyorite espesifik lè tanpon li ranpli. Sa a se yon dènye -mekanis.
• ECN (Avi eksplisit konjesyon, RFC 3168):Bouton yo make pake yo lè ke moun kap kriye apwoche yon papòt. NIC a diminye pousantaj voye li yo anvan tanpon yo aktyèlman ranpli, depreferans evite PFC totalman.

Objektif la se pou ECN fè prèske tout jesyon anbouteyaj, ak PFC kòm yon rezo sekirite. Si w wè souvan poz PFC nan trafik eta-konstans, papòt ECN ou yo pa kòrèk oswa twal ou pa gwosè.

Echèk deplwaman RoCE komen

Ki jan yo konsepsyon yon rezo AI Cluster: yon kad travay

Sa a se seksyon pifò atik "AI rezo" sote. Sèt etap ki anba yo ba ou antre ak rezilta konkrè nan chak etap.

Etap 1: Defini kantite travay ak echèl

Antre:Kalite chaj travay (preformasyon, -regilasyon amann, enferans, melanje), konte GPU sib jodi a, konte GPU sib nan 18 mwa, seri gwosè modèl.

Sòti:Yon pwofil kantite travay ki enfòme vitès NIC ak tolerans abònman twòp. Gwo fòmasyon anvan modèl fwontyè mande pou twal ki pa-bloke 400G+. Amann-Chaj travay yo ka tolere abònman twòp 2:1. Gwoup enferans souvan bezwen pi ba Pleasant men pi ba latansi ke.

Etap 2: Chwazi vitès NIC ak konte pou chak sèvè

Lojik desizyon:

• Preformation nan modèl gwo, 8-GPU sèvè → 4–8 × 400G NICs pou chak sèvè, oswa 4 × 800G
• Fòmasyon mwayen -echèl, 8-GPU serveurs → 2–4× 400G NICs pou chak sèvè
• Sèvi enferans → 1–2 × 200G oswa 400G NICs pou chak sèvè, tou depann de paralèlism modèl

Verifye bandwidth PCIe sou lame a. Yon sèl pò 400G mande pou PCIe Gen5 x16 kouri nan vitès liy; double a 800G mande pou Gen6 oswa divize atravè de fant.

Etap 3: Gwosè kouch fèy la

Egzanp travay - 32-nòd gwoup, 8 GPU pou chak ne, 4 × 400G NIC pou chak ne:

• Total de pò sèvè -fè fas a bezwen: 32 × 4=128 pò nan 400G
• Pleasant desann pou chak ne: 4 × 400=1.6 Tbps
• Total gwoup lajè lyen desann: 32 × 1.6=51.2 Tbps

Sèvi ak yon switch fèy 64-pò 400G (25.6 Tbps kapasite total), chak fèy ka konekte 32 pò sèvè epi sèvi ak rès 32 pò yo kòm uplinks. Avèk 4 fèy, ou kouvri tout pò sèvè 128. Chak fèy kontribye 32 × 400G=12.8 Tbps nan uplink nan direksyon kolòn vètebral la.

Etap 4: Gwosè kouch kolòn vètebral la

Pou yon konsepsyon ki pa-bloke (1:1), kapasite total uplink dwe egal kapasite total downlink. Soti nan Etap 3:

• Lyen total fèy mande: 4 fèy × 12.8 Tbps=51.2 Tbps
• Si chak kolòn vètebral gen 32 × 400G pò=12.8 Tbps, ou bezwen 4 kolòn vètebral
• Chak fèy konekte ak tout 4 epin yo lè l sèvi avèk 8 uplinks pou chak kolòn vètebral (8 × 400G × 4=12.8 Tbps pou chak fèy - matche ak)

Si w ap itilize switch kolòn vètebral 64-pò 400G, chak kolòn vètebral gen kapasite rezèv pou grandi gwoup la, ki itil pou plan 18 mwa apati de Etap 1.

Etap 5: Mete rapò a Oversubscription

Etap 6: Separe Compute, Depo ak Jesyon Trafik

Twa opsyon, nan lòd pou ogmante izolasyon:

• Twal pataje ak klas QoS:Kalkile, depo ak jesyon sou priyorite DSCP separe. Pi ba pri; mande atansyon QoS konfigirasyon.
• VLAN/VRF ki separe lojikman:Menm pyès ki nan konpitè, avyon kontwòl separe. Li itil pou plizyè-grap lokatè.
• Twal ki separe fizikman:NIC dedye, switch ak kabl pou kalkile vs depo. Pi wo pri; komen nan gwoup modèl fwontyè-kote nenpòt diskisyon pa akseptab.

Trafik depo pou AI se tèt li lou - pòs kontwòl ekri pou yon modèl gwo ka deplase dè santèn de gigaocte nan eklat kout. Planifye pou li klèman. Yon gwo-izin kabl estriktire ki itilizeMPO/MTP kòf câblessenplifye kouri twal paralèl nan menm enfrastrikti fizik la.

Etap 7: Valide anvan pwodiksyon an

Egzamen-nivo rezo a jwenn kèk pwoblèm. Tès nivo chaj travay-trape rès la.

• Bandwidth:iperf3 oswa ib_send_bw ant chak pè ne; ta dwe rive nan 90% + nan pousantaj liy NIC.
• Latansi:ib_read_lat oswa menm jan an; tcheke distribisyon, pa sèlman mwayèn. P99.9 enpòtan plis pase vle di.
• Pèt pake:Fè tès tranpe 24-èdtan anba chaj; nenpòt pèt ki pa zewo nan klas trafik RoCE se yon pwoblèm.
• Konpòtman make ECN:Verifye mak parèt anvan dife PFC; si poz PFC yo souvan nan eta stable, reset.
• Kominikasyon kolektif:Fè tès NCCL (all_reduce_perf, all_gather_perf) nan tout gwosè gwoup la. Konpare ak nimewo referans machann yo.
• Egzamen-nivo travay:Fè yon travay fòmasyon reprezantan pou 4-6 èdtan. Siveye itilizasyon GPU - soutni valè ki pi ba pase 50% sou yon modèl ki byen-tamen yo anjeneral endike yon pwoblèm rezo.

Tradisyonèl Data Center Network vs AI Spine-Leaf Fabric

Ethernet RoCE vs InfiniBand: Gid pou pran desizyon rapid

Kesyon an parèt nan prèske chak pwojè gwoup AI. Tou de travay. Chwa a anjeneral desann nan anfòm operasyonèl, pa pèfòmans pi bon kalite.

• Chwazi InfiniBand si:Ekip ou a deja opere twal InfiniBand, ou vle chemen ki pi senp pou transpò san pèt, oswa w ap achte yon achitekti referans machann ki konplètman-entegre.
• Chwazi Ethernet RoCE si:Ekip operasyon ou a se Ethernet-natif natal, ou vle opsyon switch plizyè-machann, ou bezwen entegre twal AI a ak rezo sant done ki egziste deja, oswa ou prevwa echèl pi lwen pase sa topoloji InfiniBand aktyèl sipòte pwòp.

Ultra Ethernet Consortium, ki te fòme an 2023, ap travay aktivman sou estandadize amelyorasyon Ethernet espesyalman pou kantite travay AI. Pou pifò nouvo grap nan 2026, Ethernet RoCE se yon default defann sof si gen yon rezon espesifik pou chwazi otreman.

Erè komen pou evite

Amelyore switch san yo pa tcheke NICs

Yon twal switch 800G pa fè anyen pou ou si NIC ou yo kouri nan 400G oswa PCIe lame ou a kouri soti nan Pleasant. Desine bò lame a an premye, Lè sa a, bò switch la. PCIe Gen5 x16 limite yon sèl pò a apeprè 504 Gbps debi reyèl -monde - konfòtab pou 400G, majinal pou 800G.

Optimize Port vitès men inyore dansite kabl

Nan 64-pò 400G kite, kabl ki anba chak switch ka vin pa jere fizikman san yo pa planifye. Sèvi ak câbles deblozay kote sa apwopriye, wout fib atravè chemen estriktire, epi estandadize sou kalite konektè. Bon jan kalite Connector ak revokasyon pwoblèm nan gwo vitès - nou anFib optik konektè kalite gidkouvri konpwomi ki genyen ant LC, MPO ak nouvo faktè fòm ki gen gwo -dansite.

Trete RoCE kòm Plug-ak-Jwe

Pi gwo erè konsepsyon nan gwoup AI reyèl la se pa chwazi move switch la - li se souzèstime konbyen fen-pou -fen travay konfigirasyon RoCE ki nesesè. Tan bidjè pou ajiste papòt ECN, priyorite PFC ak konsistans MTU. Planifye yon faz validation dedye anvan nenpòt kantite travay pwodiksyon kouri.

Melanje tout trafik sou yon sèl twal san QoS

Replikasyon depo, ajan siveyans ak trafik jesyon ka kraze fwa etap fòmasyon yo si yo pataje tanpon ak trafik kalkile. Swa separe yo fizikman oswa ranfòse klas QoS strik ak priyorite separe ak konfigirasyon ECN.

Building pou Cluster jodi a sèlman

Pifò gwoup AI grandi 4-8× nan dezan apre premye deplwaman. Chwazi baz switch ak kapasite kolòn vètebral ki pèmèt ekspansyon ki pa -deranje. Rale câbles nan yon sant done AI ap viv se chè; planifikasyon kanal ak kapasite patch nan moman deplwaman se bon mache.

Kilè pou monte soti nan 400G a 800G

NICs 800G ak switch yo disponib men pi chè pou chak pò. Konsidere monte lè:

• Pou chak-bezwen lajè GPU depase sa 400G ka bay - pou egzanp, H100 ak nouvo GPU ak NVLink 5 espere pi gwo lajè ekstèn.
• NCCL tout-redwi tan echèl mal ak gwosè gwoup, ki endike saturation rezo a
• Dansite kab nan 400G ap vin pa jere fizikman - mwens pò 800G ka ranplase plis pò 400G
• Pwochen jenerasyon GPU nan plan w la espere bezwen li nan fennèt depresyasyon gwoup la
• W ap konstwi yon gwoup fòmasyon fwontyè-modèl kote nenpòt tan kalkile san fè anyen konsa koute siyifikativman plis pase amelyorasyon optik la.

Pou pifò grap pwodiksyon an 2026, 400G rete bon balans nan pri, matirite ekosistèm, ak kapasite. 800G fè sans nan fen segondè a ak kòm yon envestisman avanse pou grap yo ap bati jodi a epi yo espere kouri pou 4-5 ane.

Konklizyon

Rezo gwoup AI ki pi fò a se pa youn ki gen switch ki pi rapid yo. Li se youn nan kote chwa NIC, fèy / kolòn vètebral gwosè, oversubscription, konfigirasyon RoCE, separasyon trafik ak kablaj fizik tout sipòte youn ak lòt ak kantite travay yo te chwazi pou.

Kòmanse nan kantite travay la ak plan kwasans 18-mwa. Kalkile bezwen Pleasant nan chak kouch lè l sèvi avèk nimewo reyèl, pa sèlman règ nan gwo pous. Konfigure RoCE fen-pou-fen epi valide ak referans reyèl kominikasyon kolektif. Bidjè pou plant la kab - nan 400G ak 800G, kouch fizik la pa trivial ankò.

Gwoup la ki kenbe GPU li yo okipe nan 95% + itilizasyon atravè chak etap fòmasyon se youn nan ki peye atansyon sou tout kouch sa yo. Gwoup la ki bato ak yon switch pi vit ak yon twal pi dousman pral pase plizyè ane pou eksplike poukisa GPU yo san fè anyen konsa.

Pli lwen Lekti

• RFC 7938 - BGP nan gwo-Sant Done Echèl yo
• Asosyasyon Komès InfiniBand - spesifikasyon RoCE
• Dokimantasyon rezo NVIDIA
• Fibre Optique kab enstalasyon gid
• Pèt Ensèsyon vs Pèt Retounen Eksplike