Abstract
Nu kunstmatige intelligentie (AI) zich snel ontwikkelt, worden traditionele datacenternetwerken geconfronteerd met grote uitdagingen bij het transporteren van AI-verkeer. Een hoog bandbreedtegebruik en een klein aantal olifantsstromen kunnen conventionele taakverdeling per-stroom ineffectief maken, wat resulteert in congestie en pakketverlies waardoor de training van AI-modellen en de voltooiingstijden van taken aanzienlijk toenemen. In dit witboek wordt een dynamische, intelligente routeringstechnologie onderzocht die realtime-bewustzijn combineert met intelligente besluitvorming-. Het maakt gebruik van pad-kwaliteitsmeting, BGP uitgebreide-kenmerksynchronisatie, dynamisch gewogen-kosten multipath (WCMP), abnormale-padverwijdering en
Automatische load-balancing (ALB) op Flowlet-niveau om de verkeersplanning in AI-omgevingen te verbeteren. Het ontwerp maakt ook gebruik van virtualisatie om isolatie van meerdere{2}} tenants te bieden en biedt toepassingsscenario's en planningsbegeleiding voor efficiënte, stabiele en intelligente AI-datacenternetwerken.
Inleiding: Netwerkevolutie in de AI Tijdperk
Waarom traditionele netwerken worstelen met AI Verkeer
In traditionele datacenternetwerken maakt een groot aantal kleine stromen het mogelijk per-flow load-balancing te bereiken om een aanvaardbare distributie te bereiken en congestie te vermijden, zelfs zonder realtime- kennis van de netwerkomstandigheden. AI-verkeer is heel anders: het bandbreedtegebruik is extreem hoog en het verkeer wordt vaak gedomineerd door slechts enkele olifantenstromen. Hash-botsingen kunnen daarom meerdere grote stromen op hetzelfde pad plaatsen, terwijl andere paden onderbenut blijven. Zodra pakketverlies optreedt, kan de voltooiingstijd van de gehele AI-werklast aanzienlijk toenemen. Om deze reden richt de industrie zich steeds meer op geoptimaliseerde load-balancing-algoritmen voor AI-fabrics, zodat het verkeer gelijkmatiger over meerdere paden wordt verdeeld.
Figuur 1. Vergelijking van AI-olifanten-stroomverkeer en traditioneel klein-stroomverkeer.
Dynamisch bewustzijn combineren met intelligente besluitvorming-maken
Dynamische intelligente routering is een op bewustzijn-gebaseerde technologie voor taakverdeling-. Het maakt gebruik van de padkwaliteit die wordt waargenomen door schakelaars in de fabric om de lokale padselectie aan te passen en ondersteunt dynamisch gewogen taakverdeling. De technologie is gebaseerd op BGP en definieert een nieuw uitgebreid-community-kenmerk.
Er worden multi-metingen met hoge-precisie gebruikt om de padkwaliteit te evalueren, en het resultaat wordt doorgegeven via BGP om het daaropvolgende verkeer te begeleiden. Dit verbetert de netwerk-brede verdeling van de belasting en verkort de responstijd van applicaties [1].
Figuur 2. Dynamische workflow voor bewustzijn, besluitvorming en uitvoering.
Kerntechnologieën: intelligente verkeersplanning
Benaderingen voor mainstream netwerkbelasting- omvatten:
- ECMP per-stroom: de meest gebruikelijke benadering, gebaseerd op een hash van vijf-tupels. Het werkt goed als er veel stromen zijn en de pakketvolgorde blijft behouden, maar hash-botsingen kunnen voor een slechte balans zorgen als het aantal stromen laag is, zoals bij AI-training [1].
- Op flowlet-gebaseerde balancering: hangt af van de juiste configuratie van de inter-flowlet-spleet. Nauwkeurige configuratie is moeilijk als de latentie op het globale pad-niveau onbekend is [1].
- Per-pakket-ECMP: biedt uitstekende theoretische balans, maar kan bij de ontvanger een uitgebreide pakketherschikking veroorzaken [1].
De dynamische, intelligente routeringsbenadering die wordt gebruikt door XingRongyuan CX-N-serie RoCE-switches (op basis van SONiC-) combineert per-stroom ECMP en Flowlet-gebaseerde balancering. Het introduceert dynamische WCMP (Weighted Cost Multipath) en op Flowlet-gebaseerde ALB (Auto Load Balancing) [1].
Meting van padkwaliteit
Het systeem evalueert de kwaliteit van het netwerkpad aan de hand van factoren die de AI-clusterstructuren sterk beïnvloeden, waaronder bandbreedtegebruik, wachtrijgebruik en doorstuurlatentie.
Statistische tellers
Bandbreedte en wachtrijgebruik worden gemeten via ASIC-hardwaretellers met een nauwkeurigheid tot op honderd- millisecondenniveau. De ASIC registreert poort-{2}}doorstuur- en wachtrij--tellers in realtime. Het SONiC-besturingsvlak leest de tellers via de SAI-interface met een nauwkeurigheid van minder dan -seconden en slaat ze op in Redis. Het routing-controleproces evalueert de interfacekwaliteit met behulp van deze tellers en maakt het resultaat bekend via BGP. Om de controle-vlakbelasting te beperken, worden advertenties momenteel verzonden met intervallen van het tweede-niveau, waarbij een gewogen gemiddelde wordt toegepast op meerdere monsters; recentere monsters krijgen een hoger gewicht.
In-Band-telemetrie
De meting van de doorstuurvertraging- is gebaseerd op INT (In-band netwerktelemetrie) en kan een nauwkeurigheid van nanoseconden- bereiken. HDC (High Delay Capture) legt pakketten vast die een hoge latentie ervaren binnen de ASIC. Wanneer een pakket een door de gebruiker-gedefinieerde vertragingsdrempel overschrijdt, verzendt de switch de eerste 150 bytes van het oorspronkelijke pakket samen met metagegevens, waaronder de inkomende poort, de uitgaande poort en de latentie, naar een verzamelprogramma. In dit ontwerp fungeert de CPU als HDC-collector en -analysator, waardoor zeer-precieze doorstuur-vertragingsmetingen en een nauwkeurigere- padkwaliteitsevaluatie mogelijk zijn.
Figuur 3. Pad-kwaliteitspropagatie en WCMP-installatie.
De technologie maakt gebruik van een nieuw BGP-extended-community-kenmerk, de Path Bandwidth Extended Community, om de totale kwaliteit van een pad naar een bestemming aan te geven. De hoge-byte van het uitgebreide-typeveld is 0x00 en de lage-byte is 0x05. In het waardeveld vertegenwoordigt het subveld Globale beheerder het AS-nummer. De padkwaliteit wordt gecodeerd in vier bytes met behulp van de IEEE drijvende-komma-indeling en uitgedrukt in GB/s.
Wanneer NIC1 met NIC2 communiceert, maakt NIC2 eerst zijn IP-adres bekend bij Leaf2. Leaf2 adverteert het adres aan de Spine samen met de link-kwaliteitswaarde voor NIC2 vermenigvuldigd met het Leaf2-downlinkgewicht. The Spine voegt zijn eigen gewogen linkkwaliteit toe en geeft de verzamelde waarde door aan Leaf1. Leaf1 vat de padkwaliteit samen en installeert routes die het doorsturen begeleiden. In een Leaf-Spine-structuur met twee-lagen worden poorten geclassificeerd als Leaf-uplinks, Leaf-downlinks en Spine-poorten, met configureerbare berekeningscoëfficiënten voor elke klasse.
Dynamische WCMP
Loadbalancing verdeelt het verkeer over meerdere links. In AI-omgevingen is dit essentieel voor het bouwen van een verliesvrij Ethernet-weefsel met minimaal pakketverlies, latentie en degradatie van de doorvoer. ECMP is het conventionele mechanisme in datacenters. WCMP breidt ECMP uit door te distribueren
proportioneel verkeer over links. Bij dynamische intelligente routering worden WCMP-gewichten in realtime aangepast op basis van de padkwaliteit. Als er bijvoorbeeld twee paden bestaan tussen NIC1 en NIC2, kan het systeem een verhouding van 3:7 berekenen. Naarmate het verkeer verandert, wordt bijgewerkte pad-kwaliteitsinformatie via BGP doorgegeven aan elke Leaf-switch, waar dynamische WCMP-routes worden gegenereerd om het doorsturen te begeleiden.
Abnormale padverwijdering
Wanneer de totale kwaliteit van een pad onder een overeengekomen drempel daalt, wordt het pad als onbruikbaar beschouwd voor de AI-werklast en wordt het niet meer doorgestuurd. De resterende paden blijven verkeer door dynamische WCMP leiden. Zodra het pad weer normaal is, wordt het hersteld. Hoewel hierdoor tijdelijk een deel van de capaciteit ongebruikt kan blijven, worden ernstigere congestie en pakketverlies voorkomen [1].
Intelligente taakverdeling (ALB)
ALB biedt op Flowlet-gebaseerde lastverdeling. De ASIC meet de belasting en latentie op verschillende poorten in realtime en stuurt elke Flowlet naar de link met een lagere belasting of een lagere vertraging. Dit voegt een fijnere-gekorrelde planning toe bovenop de traditionele ECMP. ALB ondersteunt ook poortfailover en verdeelt het verkeer automatisch opnieuw wanneer een uitgaande verbinding mislukt [1].
Virtualisatie
Front{0}}end-netwerken hebben vaak ondersteuning voor meerdere- tenants nodig, zodat verschillende GPU-bronnen aan verschillende gebruikers kunnen worden toegewezen. De oplossing maakt gebruik van VRF (Virtual Routing and Forwarding) om tenants te isoleren, waarbij aan elke gebruiker één VRF wordt toegewezen. GPU-gerelateerde subnetten worden in de VRF van de gebruiker geplaatst, en PRE ACL's in de ASIC classificeren inkomend verkeer zodat het verkeer van elke gebruiker alleen wordt doorgestuurd binnen de overeenkomstige VRF [1].
Toepassingsscenario's
1. Hoe dynamische WCMP verkeerspieken absorbeert
Voor een fabric met 256 x 400G GPU-poorten kan een Clos-architectuur met twee- niveaus worden ontworpen met een 1:1 downlink-naar-uplink-convergentieverhouding om een hoge doorvoer, hoge bandbreedte en symmetrische capaciteit te behouden. Geschikte productmodellen zijn onder meer de XingRongyuan CX864E-N of CX732Q-N [1]. Onder conventionele ECMP kan een klein aantal AI-olifantstromen naar dezelfde Spine hashen, wat uplinkcongestie of pakketverlies veroorzaakt. Dynamische WCMP past de verkeersverdeling voortdurend aan op basis van de real-padkwaliteit, waardoor verkeerspieken worden verminderd en congestie wordt vermeden [1].
2.Flowlet-Niveau van taakverdeling
In dezelfde 256 x 400G GPU-infrastructuur wordt niet elk apparaat of elke werklast het beste bediend door dynamische WCMP. De schakelaar kan dynamisch op Flowlet-gebaseerde ALB selecteren. ALB meet de belasting en latentie van links in de ECMP-groep en stuurt Flowlets naar links met een lager gebruik of vertraging. Als een interface overbelast raakt of de doorstuurvertraging toeneemt, vermijdt de ASIC automatisch dat uitgangssignaal totdat de omstandigheden weer normaal zijn [1].
AI-netwerkplanning en -ontwerp
AI-diensten omvatten over het algemeen drie fasen: het verzamelen en voorbewerken van gegevens, modeltraining en AI-inferentie. Elke fase stelt andere eisen aan het netwerk.
1. Gegevensverzameling en voorverwerking
Een mondiaal trainingsnetwerk- voor het verzamelen en voorbewerken van gegevens moet grootschalige,- elastische openbare IP- en bandbreedtebronnen bieden, zodat enorme ruwe datasets efficiënt kunnen worden verzameld via het wereldwijde internet. Het ontwerp moet een veilige en stabiele transmissie garanderen en tegelijkertijd de dataaggregatie en voorverwerkingsprestaties verbeteren [2].
1.1 VPC-segmentatie
VPC-ontwerp voor cloud-gebaseerde gegevensverzameling moet de principes van minimale- privileges, gelaagde isolatie, beveiligingscontrole en elastische schaalbaarheid volgen. Er kunnen meerdere VPC's of meerdere subnetten binnen één VPC worden gebruikt [2].
- Segmenteren op servicefase: Implementeer gegevensverzameling, voorverwerking, opslag, training en gevolgtrekking in afzonderlijke subnetten of VPC's. Plaats verzamelingangspunten in een DMZ VPC of openbaar subnet; plaats voorverwerkings- en tijdelijke gegevens in een speciale verwerkings-VPC; plaats gevoelige onbewerkte gegevens en AI-training in een hoog-beveiligde VPC zonder directe openbare toegang.
- Isoleer op beveiligingsniveau: maak VPC's of subnetten met hoge-, gemiddelde- en lage- beveiliging en gebruik beveiligingsgroepen, netwerk-ACL's en privéconnectiviteit om cross-VPC- en cross-subnetverkeer te controleren.
- Los op per tenant of project: wijs afzonderlijke VPC's toe aan verschillende tenants of projecten om bronnen, netwerken en gegevens te isoleren.
1.2 Uitgaand netwerk voor gegevensverzameling
NAT-gateway: gebruik een pool van EIP's en SNAT via een NAT-gateway, waardoor verzamelprogramma's toegang krijgen tot internet vanaf willekeurig geselecteerde openbare IP-adressen.
Zelf-gebouwde proxy: implementeer proxyservers die koppelingen onderhouden tussen verzamelprocessen en openbare IP-adressen, en distribueer één verzamelverzoek over meerdere proxy's.
IP-serviceprovider: maak verbinding met een IP-serviceprovider via het particuliere cloudnetwerk voor lagere kosten, gecontroleerde beveiliging en stabiele kwaliteit [2].
1.3 Cross-regionale gegevensaggregatie en voorverwerking
Selecteer de OSS-regio volgens het preprocessing-clusterplan en maak een gegevens-aggregatie-VPC in dezelfde regio. Creëer een Transit Router (TR) in elke regio, verbind lokale VPC's en verbind de TR's met elkaar zodat regionale verzamel-VPC's rechtstreeks toegang hebben tot de centrale OSS. Services zoals PAI-iTAG, MaxCompute en Flink kunnen vervolgens gegevenslabeling en voorverwerking uitvoeren in de OSS-regio [2].
2. Modeltrainingsnetwerk
Het model-trainingsnetwerk is nauw geïntegreerd met het verzamelings- en voorverwerkingsnetwerk om een wereldwijd weefsel te vormen dat clouddatacenters, edge-nodes en on-lokale IDC's met elkaar verbindt.
Hoge-interconnectie zorgt voor een lage- latentie en hoge- datadoorvoer, terwijl bandbreedte, beveiligingsbeleid, toegangscontroles en noodherstel van begin tot eind moeten worden ontworpen [2].
- In-regiooverschrijdende-clustercomputerpool: een Transit Router verbindt meerdere VPC's binnen dezelfde regio. Server ENI's maken verbinding met VPC-switches en kunnen worden geconfigureerd voor de vereiste doorvoer en RDMA.
- Cross-cloud-computepool: speciale circuits verbinden een IDC of een andere cloud met een VPC uit dezelfde-regio. Alibaba Cloud VBR's maken op Layer 3 verbinding met het peer-apparaat, met BGP, BFD en snelle failover voor snelle convergentie.
Globale rekenpool: Cross-regionale koppelingen tussen TR's worden ingericht op basis van het piekverkeer tussen-regio's, met optionele inter-regionale QoS om een uniforme rekenpool voor verschillende regio's te creëren [2].
3. Globaal gevolgtrekking-servicenetwerk
Een mondiaal inferentienetwerk selecteert implementatiemodellen op basis van de bronnen en clouddiensten die in elke regio beschikbaar zijn en zorgt voor een efficiënte distributie en toegang van diensten [2].
- Implementatie van modellen of agenten: gebruik Model Studio MaaS-implementatie, PAI-EAS- of Function Compute PaaS-implementatie, of IaaS-implementatie op EGS, ACK, ACS of Lingjun bare-metal-infrastructuur binnen de VPC van de klant.
- Servicedistributie: maak een inferentie-distributie-VPC en verbind privénetwerken met behulp van VPC-peering, bijbehorende cloud-service-VPC's of PrivateLink. Implementeer ALB of verbeterde ALB als toegangspunt en proxyverzoeken voor verschillende modellen of agenten.
- Servicetoegang: Lokale internetgebruikers hebben rechtstreeks toegang tot verbeterde ALB; externe gebruikers kunnen Global Accelerator (GA) gebruiken; interne of externe Alibaba Cloud enterprise-gebruikers kunnen privé verbinding maken via PrivateLink.
Conclusie en vooruitzichten
In dit witboek worden de uitdagingen uitgelegd waarmee IDC-netwerken in het AI-tijdperk worden geconfronteerd en hoe dynamische intelligente routering deze kan aanpakken. Dynamisch bewustzijn, intelligente besluitvorming-, WCMP-, ALB- en VRF-virtualisatie verbeteren de efficiëntie van de taakverdeling, verminderen congestie en pakketverlies en versnellen AI-training en -inferentie. In het planningsgedeelte wordt de nadruk gelegd op VPC-segmentatie, collectie-uitgaand ontwerp, cross-regionale aggregatie en voorverwerking, modeltraining en globale inferentielevering. Naarmate AI zich blijft ontwikkelen, zullen datacenternetwerken aan strengere eisen worden gesteld. Dynamische intelligente routering zal blijven verbeteren voor edge-AI, federatief leren en andere complexe scenario's. Toekomstige IDC-netwerken zullen meer nadruk leggen op computernetwerkconvergentie, energie-efficiëntie en geautomatiseerde activiteiten, waardoor een intelligenter, efficiënter en betrouwbaarder fundament voor de digitale economie ontstaat.
Referenties
Door de gebruiker-geleverd technisch brondocument.
Witboek over Alibaba Cloud AI-netwerk. Betreden op 27 mei 2026.
https://help.aliyun.com/zh/cloud-netwerk-goed-ondertekend-design/alibaba-cloud-ai-netwerk-wit-papier