100G QSFP28 kolòn vètebral -Fèy konsepsyon: Evite erè pò

Yon twal kolòn vètebral 100G-fèy se youn nan fason ki pi serye pou konekte sèvè 25G, lyen monte 100G, gwoup depo, ak ès-lwès-chaj travay lou nan yon sant done modèn. Apèl QSFP28 se fleksibilite li: yon sèl pò ka pote yon lyen natif natal 100G oswa kraze nan kat koneksyon sèvè 25G, kidonk yon sèl switch ka sèvi tou de kwen aksè ak nwayo twal la.

Vit switch yo se pati ki fasil. Yon konsepsyon 100G viv oswa mouri sou desizyon yo te pran anvan lòd acha a: ki jan chak pò yo resevwa lajan, ki sa rapò a oversubscription sanble nan kondisyon nòmal ak echèk, ki optik matche ak kouri yo kab reyèl, konbyen chalè optik sa yo ajoute, epi si twal la ka grandi nan direksyon 400G san yo pa yon ajou chariot.

Gid sa a se yon machann-referans planifikasyon net pou ekip rezo ak enfrastrikti. Figi ki anba yo swiv espesifikasyon IEEE 802.3 Ethernet aktyèl yo ak akò ki enpòtan optik milti-sous, men chak switch ak transceiver gen pwòp fich done pa yo, kidonk konfime nimewo egzak pou pyès ki nan konpitè ou achte a.

Ki jan yo li egzanp yo nan gid sa a.Sòf si yo di otreman, yo sipoze yon sèl -sèvè domesye ak yon sèl NIC 25G chak, 48 pò lame pou chak fèy, 100G fèy-a-montan kolòn vètebral, yon may konplè kote chak fèy konekte ak chak kolòn vètebral, ak koreksyon erè pi devan pèmèt kote optik yo mande sa. Doub-homing, NIC pi rapid, oswa konte pò diferan pral chanje chak nimewo ki swiv.

Ki sa ki se yon 100G kolòn vètebral-rezo fèy?

Fèy kolòn vètebral-se yon achitekti sant done de-niveau ki fèt ak switch fèy ak switch kolòn vètebral. Bouton fèy yo chita nan tèt chak etajè epi yo bay sèvè-po fè fas a plis lyen monte nan kolòn vètebral la. Bouton kolòn vètebral yo fòme kolòn vètebral ki gen gwo vitès-. Chak fèy konekte ak chak kolòn vètebral, kidonk trafik ant etajè deplase fèy nan kolòn vètebral nan fèy sou yon chemen egal-longè.

Konsepsyon an popilè paske li bay:

• Previzib, longè chemen egal ant nenpòt de manto
• Sipò natif natal pou gwo trafik lès-lwès
• Tout lyen monte aktif atravè ECMP olye ke yo bloke pa spanning tree
• Senp dekale orizontal - ajoute fèy pou pò, ajoute epin pou kapasite

Nan yon twal 100G, fèy-a-lyen kolòn vètebral kouri nan 100G, pandan y ap sèvè-fè fas a pò yo kouri nan 10G, 25G, 50G, oswa 100G selon kantite travay la. Jodi a, aksè 25G ak uplinks 100G se konbinezon antrepriz ki pi komen.

Konsepsyon fizik vs konsepsyon lojik

"Rezo konsepsyon" kouvri de kouch ki fasil pou konflasyon. Gid sa a konsantre sou kouch fizik ak kapasite - pò yo, optik, oversubscription, câblage - paske se sa w angaje w lè w achte pyès ki nan konpitè. Men, kouch lojik la deside ki jan twal la voye trafik, epi li fòme plizyè chwa fizik.

Sou bò fizik la chita switch ak seleksyon pò, vitès NIC, oversubscription, optik, kabl, pouvwa, ak refwadisman. Sou bò lojik la chita chaj ECMP-balanse atravè lyen monte; yon kouvri tankou VXLAN ak yon plan kontwòl BGP EVPN pou plizyè-lokatè Kouch 2 ak Kouch 3 sou yon kouch anba wout; doub-homing ak MLAG oswa MC-LAG ak LACP nan kwen aksè; ak echèk-dimansyon domèn. Pou twal RDMA ou gen tou pou enjenyè yon rezo ki tou pre-sans pèt, ki kouvri anba a. Rezoud modèl lojik la byen bonè, paske li afekte konte uplink, konbyen epin ou vle pou lajè ECMP, epi si fèy yo deplwaye kòm pè MLAG.

Etap 1 - Defini vitès sèvè ak kantite travay

Kòmanse ak kantite travay la, pa optik la. Yon gwoup virtualizasyon jeneral, yon twal depo, ak yon gous fòmasyon AI gen bezwen trè diferan, ak konsepsyon an dwa swiv trafik la.

25G sèvè ak uplinks 100G

Pou pifò antrepriz ak anviwònman prive-nwaj, aksè 25G ak 100G fèy-pou-montan kolòn vètebral la se yon bon pwen: yon gwo so sou 10G pandan w ap kenbe pri NIC, kab, ak switch rezonab. Yon konstriksyon tipik pè lyen desann 25G, lyen monte 100G, ak yon rapò 2:1 a 3:1 pou kalkile jeneral, ak pi ba oversubscription rezève pou depo ak latansi-niveau sansib. Li adapte Virtualization, nwaj prive, nivo entènèt, ak èstime nan sant done antrepriz.

100G natif natal pou depo, AI, ak HPC

Gen kèk chaj travay ki bezwen 100G natif natal sou sèvè a: distribye ak NVMe-oF depo, AI ak machin-fòmasyon aprantisaj, HPC, analiz gwo-echèl, ak ba-latansi RDMA. Isit la abònman twòp ta dwe ba - souvan ki pa-bloke oswa tou pre li - paske modèl trafik la se pwoblèm nan, pa sèlman volim nan.

Chaj travay AI, HPC, ak RDMA jenere trafik dans, senkronize, tout-pou-lès-lwès: anpil nœuds transmèt nan anpil nœud an menm moman an, kidonk lis estatistik ki sove w sou yon twal Virtualization pa aplike ankò. RDMA over Converged Ethernet (RoCE) ajoute yon dezyèm kontrent, paske li espere yon twal tou pre -lossless, ki an pratik vle di Priyorite Flow Control (PFC) ak Eksplis Konjesyon Notifikasyon (ECN) branche fen a bout. Yon twal ki tonbe ankadreman anba konjesyon ap gade pèfòmans RoCE tonbe, kidonk grap sa yo anjeneral bati nan 1:1 ak tanpon atansyon ak konjesyon konjesyon.

Etap 2 - Ki jan yo kalkile pò switch fèy ak kolòn vètebral pou yon twal 100G

Planifikasyon pò kòmanse nan fèy la, pa kolòn vètebral la. Travay deyò nan serveurs yo:

1. Konte pò sèvè-fè fas a chak etajè.
2. Deside si chak se natif natal 25G, natif natal 100G, oswa yon liy evasyon.
3. Rezève pò QSFP28 pou uplinks kolòn vètebral.
4. Ajoute pò rezèv pou kwasans, redondance, tès, ak ranplasman.
5. Rekalkile twòp abònman apre yo fin bay levasyon, pa anvan.

Konte sèvè-fè fas a pò yo

Pou chak etajè, fikse kantite sèvè, vitès NIC, NIC pou chak sèvè, yon sèl- oswa doub-omaj, ak rezèv obligatwa. Yon etajè 48 sèvè ak yon sèl NIC 25G chak bezwen 48 pò lame. Doub-lame sèvè sa yo nan yon pè fèy ak konte pò aksè a atravè pè a doub.

Rezève pò uplink yo, epi gade doub-kontaj la

Apre pò lame, rezève pò QSFP28 pou kolòn vètebral la. Sa a se kote erè ki pi komen kache: si yo itilize menm pò QSFP28 pou 4x25G, yo pa disponib ankò kòm uplinks. Sèl pi gwo erè planifikasyon an se pa mal konte 100G uplinks, men ègzajere pò uplink ki rete yo yon fwa levasyon te manje nan yo. Asiyen levasyon anvan matematik la oversubscription, oswa rapò a ou kalkile se fiksyon.

Yon egzanp travay ede. Pran yon fèy 1U komen ak 48 pò lame SFP28 ak 8 pò QSFP28:

Avèk sis uplink ki pote 1,200G nan trafik aksè, fèy la kouri nan 2:1, ak de pò QSFP28 rete an rezèv. Bay chak pò yon sèl, wòl eksplisit sou yon calcul anvan ou gwosè nenpòt lòt bagay.

Kite kapasite rezèv

Pa konsome chak pò nan premye jou. Rezève espas pou nouvo sèvè, kolòn vètebral siplemantè, lyen tès tanporè, echanj pò ki echèk-, tiyo siveyans, ak migrasyon. Yon ti kras kapasite ki pa itilize se byen lwen pi bon mache pase yon redesign.

Etap 3 - Kalkile abònman twòp, enkli N-1

Oversubscription konpare sèvè total-fè fas a lajè a sou yon fèy ak lajè total lyen monte li a nan kolòn vètebral la:

Rapò twòp abònman=total lajè lyen desann / total lajè lyen monte

Pou fèy anwo a, 48 x 25G=1,200G desann ak 6 x 100G=600G moute, bay 1,200 / 600=2:1. Sa vle di de fwa plis lajè aksè teyorik pase lajè lyen monte - anjeneral bon pou kalkile jeneral, kote sèvè yo raman tout transmèt nan vitès liy alafwa, men se yon kontrent reyèl pou depo, AI, HPC, ak RDMA.

Toujou tcheke ka N-1 la

Yon twal ka parèt an sante nan operasyon nòmal ak toufe pandan yon echèk. Konsidere yon fèy ak uit lyen monte 100G gaye egalman sou kat epin - de pou chak kolòn vètebral, 800G total, kidonk 1,200G aksè bay 1.5:1. Pèdi yon kolòn vètebral ak fèy la gout de uplinks a 600G, pouse rapò a 2:1 pou dire a nan pann lan. Si sib ou a "pa pi mal pase 2:1 menm anba echèk," ou dwe kòmanse tou pre 1.5:1. Kalkile tou de rapò nòmal la ak rapò N-1 apre pèdi yon kolòn vètebral oswa uplink; dezyèm nimewo a se youn nan ki mòde pandan antretyen.

Plas planifikasyon pa kantite travay

Pa gen okenn rapò inivèsèl, kidonk trete sa ki annapre yo kòm chenn planifikasyon, pa estanda, epi valide kont trafik mezire kote ou kapab:

Nan yon amelyorasyon, revize aktyèl itilizasyon uplink, modèl pik ak ès-lwès, koule depo, ak fenèt backup anvan ou angaje nan yon rapò.

Etap 4 - Chwazi QSFP28 Optik ak Câbles

QSFP28 100G interfaces yo estandadize pa IEEE 802.3 - la802.3bm amannmante ajoute 100GBASE-SR4, ansanm ak yon sèl-mòd LR4 PHY. Chwazi optik pa distans, kalite fib, konektè, pouvwa, ak konpatibilite switch, epi reziste defo nan rive nan pi long: rive ou pa bezwen anjeneral vle di pri ak pouvwa ou pa bezwen. Matche modil la ak kouri a ak yon maj sansib.

DAC ak AOC pou lyen sèvè kout

Pou koneksyon nan-etajè ak adjasan-etajè, QSFP28 dirèk-tache kòb kwiv mete (DAC) ak kab optik aktif (AOC) yo pratik. DAC pasif adapte hop ki pi kout - yon kèk mèt - nan pri ki pi ba ak pouvwa, pandan y ap AOC pwolonje rive epi li pi lejè ak pi fleksib kote an kwiv bulk vin yon pwoblèm. Pou aksè 25G, QSFP28-to-4x SFP28 DAC oswa AOC komen lè switch la sipòte levasyon.

100GBASE-SR4 pou lyen monte multimode kout

SR4 pote 100G souuit fib paralèl multimodelè l sèvi avèk yon konektè MPO/MTP, sa ki fè li yon chwa pri -efikas pou kous kout fèy-a- kolòn vètebral andedan yon ranje. Rive li depann de nivo fib - apeprè 70 m sou OM3 ak 100 m sou OM4 - kidonk li peye pou konnen rive ou ka atann de.OM3, OM4, ak OM5 fib multimodenan etaj ou. Kontrent planifikasyon prensipal la se kab paralèl la: MPO patch ak polarite yo dwe travay deyò davans.

CWDM4 oswa FR pou yon sèl-mòd kouri nan apeprè 2 km

Pou lyen entè-ranje, entè-sal, oswa entè-sal, optik yon sèl-mòd tankou CWDM4 oswa FR pi bon anfòm. La100G CWDM4 MSAdefini yon distans 2 km sou yon sèl pè fib sèl-mòd ak yon konektè LC duplex ak FEC. Paske yo itilize fib duplex olye de paralèl MPO, optik CWDM4 ak FR souvan tonbe nan yon sèl plant mòd -pi pwòp pase SR4 - ak sou distans sa yo chwa ki genyen antOS1 ak OS2 mòd sèl -fibkòmanse gen pwoblèm pou bidjè pèt ou. Vyantasyon mòd sèl ki pi kout tankou DR kouvri apeprè 500 m kote se tout sa ou bezwen.

100GBASE-LR4 pou kanpis ak DCI

LR4 se opsyon ki long-arive, ki pote 100Gjiska apeprè 10 km sou fib mòd sèl-duplexpou kanpis, bilding-a-bilding, oswa done-sant-lyen entèkonekte. Sèvi ak li sèlman kote distans la vrèman mande pou li; optik long-rive nan sant-donne- kout tou senpleman ajoute pri, pouvwa, ak chalè san yo pa amelyore twal la.

QSFP28 100G Optik Konparezon

Tablo a rezime kote chak opsyon anfòm. Trete rive yo kòm figi planifikasyon tipik, epi konfime nimewo egzak, klas fib, ak egzijans FEC sou fich chak modil la.

Egzanp yo te travay: Ti, mwayen ak gwo twal

Sa yo se modèl planifikasyon senplifye, pa plan. Konte kolòn vètebral anjeneral chwazi divize uplinks respire epi mete lajè ECMP: de kolòn vètebral se minimòm nan pratik pou èkse, kat bay pi rafine N-1 granularite ak pi bon gaye chaj, ak uit kostim twal gwo. Echèl konte fèy ak pò sèvè ou bezwen yo.

Ti twal

• 8 switch fèy
• 2 switch kolòn vètebral
• 48 x 25G pò sèvè pou chak fèy
• 4 x 100G uplinks pou chak fèy
• 384 sèl -pò sèvè 25G ki gen kay

Pou chak fèy: 1,200G desann, 400G moute, kidonk 3:1. Travayab pou kalkile jeneral, men sere pou depo lou oswa AI. Ajoute uplinks oswa koupe aksè pou chak fèy si ou bezwen yon rapò pi ba.

Mwayen twal

• 16 switch fèy
• 4 switch kolòn vètebral
• 48 x 25G pò sèvè pou chak fèy
• 6 x 100G uplinks pou chak fèy
• 768 sèl -pò sèvè 25G ki gen kay

Pou chak fèy: 1,200G desann, 600G moute, kidonk 2:1. Yon balans solid pou virtualizasyon ak chaj travay antrepriz, ak kat kolòn vètebral gaye ECMP pi bon pase de.

Gwo twal

• 32 switch fèy
• 8 switch kolòn vètebral
• 48 x 25G pò sèvè pou chak fèy
• 8 x 100G uplinks pou chak fèy
• 1,536 sèl -pò sèvè 25G ki gen kay

Pou chak fèy: 1,200G desann, 800G moute, kidonk 1.5:1. Plis uplink headroom, men plis optik, fib, pri, pouvwa, ak kab jere. Nan echèl sa a, dokimantasyon se yon pati nan konsepsyon an: etikèt, kat pò, polarite, optik rezèv, koule lè, ak siveyans tout dwe planifye anvan enstale.

QSFP28 Planifikasyon Levasyon (100G rive 4x25G)

Breakout se pati ki pi itil, ak pi mal konprann, nan konsepsyon QSFP28. Kote switch la, kab, ak konfigirasyon pèmèt li, yon sèl pò QSFP28 divize an kat lyen 25G SFP28, konekte kat serveurs 25G soti nan yon sèl pò 100G. Li touche plas li lè ou bezwen gwo dansite 25G, gen anpil pò QSFP28, vle pi ba pri pou chak koneksyon sèvè, oswa ap bati yon twal tranzisyon 25G/100G, lè l sèvi avèk QSFP28-to-4x SFP28 DAC, AOC, oswaMTP/MPO câbles levasyondepann sou distans.

Trape an se ke levasyon konsome pò QSFP28. Si yon switch 32-pò QSFP28 dedye 16 pò pou 4x25G, 16 pò sa yo sipòte 64 sèvè - men se sèlman 16 pò QSFP28 ki rete pou uplinks, depo, entèkoneksyon, ak rezèv. Règ la nan gwo pous se konte pò levasyon an premye, Lè sa a, konte sa ki rete pou uplinks.

Anvan ou komèt, konfime kèk bagay, epi deside bonè si chak kouri ta dwe yonkòf oswa yon asanble levasyon:

• Ki pò ki sipòte rupture, epi èske gen restriksyon pò-gwoup?
• Èske pèmèt levasyon enfim pò adjasan yo?
• Èske sistèm operasyon switch la sipòte mòd ou bezwen an?
• DAC, AOC, oswa optik levasyon pou chak kouri?
• Èske tout kat liy yo bezwen kounye a, oswa sèlman pita?
• Ki jan levasyon pral afekte yon mouvman nan lavni nan serveurs natif natal 100G?

Jesyon pouvwa, refwadisman ak kab

Yon twal 100G pwodui plis pase Pleasant - li pwodui chalè, chaj lè koule, ak dansite kab. Bidjè pouvwa a ta dwe kouvri chasi switch ak fanatik, modil optik QSFP28 (ak DAC oswa AOC kote yo itilize), materyèl redondants, kapasite nivo etajè-, ak maj kwasans. Refwadisman ta dwe konte pou layout koulwa cho- ak frèt-, ki konsistan devan-a-dèyè oswa dèyè-a-devan koule, panno vid, obstak kab, tanperati anbyen, ak siveyans tanperati modil-, paske yon kolòn vètebral chaje ak optik se yon chaj tèmik reyèl.

Kabing balanse rapid: 16 fèy ak 4 epin se deja 64 fèy-a-lyen kolòn vètebral, yo chak dwe make, achemine, teste ak dokimante. Yon twal may plen -pi fasil pou konstwi ak kenbe ak pre-termineCâblage kòf MPO/MTPpase ak jaden -fib fini. Ekip yo ta dwe regle tou konvansyon konektè ak polarite alavans; ladiferans pratik ant MTP ak MPOyo vo konfime anvan ou kòmande. Sloppy dokiman pa koute anyen nan premye jou a ak yon gwo zafè pandan premye pann lan.

Konsepsyon pou yon ajou 400G

Desine twal la ak yon chemen ajou reyalis. Ou pa bezwen 400G toupatou nan premye jou a, men ou ta dwe evite chwa ki fè mouvman an douloure pita. Kòmanse reflechi sou preparasyon pou 400G lè lyen kolòn vètebral yo deja chaje anpil, lè ajoute plis kolòn vètebral 100G ap vin difisil, lè konte chemen ECMP apwoche limit platfòm, oswa lè AI, depo, oswa kwasans lès-lwès ap akselere.

Estrateji nòmal la se amelyore kolòn vètebral la an premye: fèy kenbe lyen 100G yo pandan y ap gen yon kolòn vètebral ki pi wo -kapasite - lè l sèvi avèk pò tankouQSFP-DD- ajoute espas, souvan ak pò 400G kraze nan 4x100G tounen nan direksyon fèy ki deja egziste yo. Se trajectoire la pi laj mete nan endistri a: laEthernet Alliance plan woutkounye a kouri nan 400G, 800G, ak pi lwen, lajman kondwi pa AI. Lè w evalye switch yo, tcheke si platfòm la sipòte vitès, optik, mòd levasyon, ak karakteristik lojisyèl yon amelyorasyon pwogresif pral bezwen.

Lè yon kolòn vètebral 100G-Design fèy se pa bon chwa

Konsepsyon sa a pa inivèsèl, ak kèk ka mande pou yon lòt bagay. Yon ti ponyen sèvè nan youn oubyen de etajè raman jistifye yon kolòn vètebral konplè-fèy, kote yon pè switch redondants pi senp epi pi bon mache. Gwo gwoup fòmasyon AI ka pase sa yon aksè 100G ak twal kolòn vètebral 100G manyen byen, ateri sou twal 400G oswa 800G - oswa menm yon rezo InfiniBand dedye - depi nan kòmansman an. Men, si prèske tout trafik nan nò-sid nan yon pòtay olye ke lès-lwès ant etajè, avantaj lès-lwès nan kolòn vètebral-fèy yo gen mwens enpòtans, kidonk topoloji a ta dwe jistifye sou baz kwasans ak operasyon olye ke yo sipoze. Koresponn ak achitekti a ak trafik la ak echèl la, pa nan lòt fason alantou.

Komen 100G kolòn vètebral-Fèy konsepsyon erè

• Konte pò QSFP28 de fwa.Yon pò se swa yon levasyon 4x25G oswa yon uplink 100G, pa janm tou de. Bay chak pò yon wòl.
• Chwazi optik pa rive maksimòm.Pi long rive ajoute pri ak pouvwa; matche optik ak distans aktyèl la ak kalite fib.
• Inyore N-1.Tcheke rapò a pandan operasyon nòmal ak apre pèdi yon kolòn vètebral.
• Bliye pouvwa optik ak chalè.Yon kolòn vètebral plen modil QSFP28 se yon chaj otantik tèmik, kidonk enkli optik nan matematik pouvwa a ak refwadisman.
• Trete câblage kòm yon apre panse.Wout, etikèt, polarite, ak dokiman yo fè pati konsepsyon an, pa enstalasyon an.
• Konsepsyon sèlman pou vitès sèvè jodi a.Si aksè 25G pral chanje a 100G, kite plas pou 100G natif natal oswa yon kolòn vètebral 400G.

Konklizyon

Yon bon konsepsyon fèy kolòn vètebral 100G-se sòm desizyon ki pran anvan pyès ki nan konpitè a rive: defini kantite travay la, konte pò yo kòrèkteman, kalkile twòp abònman nan kondisyon nòmal ak echèk, chwazi optik pa distans, planifye eklatman fè espre, bidjè pou pouvwa ak refwadisman, epi kite plas pou 400G. Pou pifò sant done antrepriz, aksè 25G ak uplinks 100G QSFP28 rete yon balans solid nan pèfòmans, pri, ak echèl, pandan y ap depo, AI, ak HPC tou senpleman mande pou pi ba oversubscription ak validation pi sere. Apwòch serye a pa chanje: konsepsyon soti nan sèvè a deyò, pwouve matematik la nan kondisyon nòmal ak N-1, epi dokimante chak lyen anvan deplwaman.