Stroomverbruik en bandbreedtedichtheid van optische modules: harde grenzen in AI-datacenterverbindingen

AI datacenter netwerken zijn niet langer beperkt door de maximale transmissie snelheid van een optische module.en behoud voldoende optische verbindingen om de vereiste rekenschaal te ondersteunen.

Aangezien de capaciteit van de schakelaar verder gaat dan 51,2 Tb/s en optische interfaces van 400G en 800G naar 1,6T en hogere snelheden gaan, bepalen twee variabelen steeds meer of de architectuur schaalbaar is:

• Energieverbruik van de optische module

• Bandbreedte dichtheid van de optische module

Een hogere bandbreedte per poort verhoogt meestal het elektriciteitsverlies, de complexiteit van de signaalverwerking, de warmteopwekking en de koeling.Door meer poorten aan hetzelfde frontpaneel toe te voegen, wordt de warmte geconcentreerd in een kleinere ruimte..

De daaruit voortvloeiende limiet omvat niet alleen de optische module, maar ook de switch ASIC, SerDes, PCB, stroomlevering, koelsysteem, vezelrouting en onderhoudsmodel.

Wat zijn de krachts- en bandbreedtegrens van optische modules?

Het energieverbruik van de optische module beperkt de hoeveelheid elektrische en thermische capaciteit die nog beschikbaar is voor computing.terwijl bandbreedte dichtheid beschrijft hoeveel datacapaciteit kan worden geïnstalleerd binnen een vast paneel, verpakking of rackoppervlakte zonder elektrische, thermische, mechanische en betrouwbare grenzen te overschrijden.

Een module met een hoge bandbreedte met een overmatig vermogen kan de in dezelfde rack beschikbare rekencapaciteit verminderen.Een kleinere module kan de fysieke dichtheid verbeteren en tegelijkertijd een warmteflux creëren die het chassis niet kan verwijderen.

Energieverbruik als systeembeperking

Een rack heeft een eindig vermogen en koelbudget.

Bij een klein aantal poorten kunnen een paar extra watts per module managebaar lijken.het verschil wordt een belangrijke infrastructuurvariabele.

Een volledige vergelijking moet mogelijk omvatten:

• Beide uiteinden van de optische verbinding

• Host SerDes en retiming

• DSP en FEC

• Vermogen van de laserbron

• Verliezen bij energieomzetting

• Overheadkoeling

De gepubliceerde waarden van de watts per poort zijn niet rechtstreeks vergelijkbaar, tenzij zij dezelfde systeemgrens gebruiken.

Bandbreedte dichtheid als thermische beperking

Bandbreedte-dichtheid kan verwijzen naar bandbreedte per module, opening van het frontpaneel, rack-eenheid, schakelaar of watt.

Het verdubbelen van de bandbreedte van de module verdubbelt niet automatisch de bruikbare schakelaardensiteit.andere vezels, kooien en toegang tot diensten.

Bij hogere vermogensniveaus wordt de bandbreedte-dichtheid steeds afhankelijker van het verwijderen van warmte in plaats van alleen de afmetingen van het paneel.

Waarom de snelheidsverhoging op één lijn minder efficiënt wordt

De conventionele route naar een hogere optische bandbreedte is sterk afhankelijk van snellere elektrische en optische lijnen:

25G → 50G → 100G → 200G PAM4

Dit pad blijft belangrijk, maar elke overgang vereist meer veeleisende zenders, ontvangers, gelijkstelling, codering en signaal-integriteitscontrole.Kracht en complexiteit schalen niet noodzakelijkerwijs in verhouding tot de bruikbare doorvoer.

Waarom hogere rijbanen meer kracht en complexiteit opleveren

De kloof tussen de berekening en de I/O-scaling

Een analyse op basis van deEpoch AI-modeldatabaseHet is naar schatting ongeveer vier tot vijf keer per jaar tussen 2010 en 2024 gegroeid met de berekeningen die worden gebruikt voor de opleiding van frontier AI-modellen.

Dit percentage geldt niet voor alle AI-werklasten, maar voor grensopleidingen.

De I/O-bandbreedte volgt niet één universele verdubbelingsschema.

De praktische uitdaging is de uitbreiding van de communicatiecapaciteit snel genoeg om te voorkomen dat de interconnectie het rekenstelsel beperkt.

Gevoeligheid van de ontvanger, DSP en FEC-straffen

PAM4 draagt twee bits per symbool door gebruik te maken van vier amplitude niveaus, maar de kleinere scheiding tussen die niveaus vermindert de ruismarge in vergelijking met NRZ.

EenIEEE 802.3 technische bijdrageDe optische SNR-modulatie is gebaseerd op een optimale optische SNR-modulatie-boete van ongeveer 4,8 dB voor PAM4 ten opzichte van NRZ.

Dit betekent niet dat de ontvanger gevoeligheid verslechtert met een vaste hoeveelheid telkens wanneer de lijn snelheid verdubbelt.FEC, en de uitvoeringsmarge.

DSP en FEC kunnen de signaalkwaliteit herstellen en de bedrijfsmarge vergroten, maar ze verbruiken ook stroom en introduceren vertraging.Het voordeel van snelheidsverhogingen in één rijstrook neemt dus af naarmate meer elektrische en digitale compensatie nodig wordt.

Hoe optische modulevermogen het schakelaarontwerp beperkt

Het effect van het modulevermogen wordt duidelijker wanneer het wordt samengevoegd over een complete schakelaar.

Een voorbeeld van een energiebegroting van 51,2 T

Beschouw een illustratieve 51,2 Tb/s-switch met 128 × 400G FR4-optische modules:

In deze berekening zijn de optische modules goed voor ongeveer 58,7% van het gecombineerde vermogen van de optische module en de switch-ASIC.

Dit percentage vertegenwoordigt niet het totale ingangsvermogen van de schakelaar, omdat ventilatoren, regelgevers, besturingselektronica en conversieverliezen niet zijn opgenomen.Het toont aan dat optische interfaces energie kunnen verbruiken op dezelfde schaal als het schakelen van silicium.

51.2T Switch optische vermogen budget

Netwerkvermogen en rekendensiteit

Onder een vast stroombudget kan een lager netwerkapasiteit meer elektrische en thermische capaciteit vrijmaken voor berekeningen.

In haar 2025aankondiging overschakeling fotonica, meldde NVIDIA een 3,5 keer hogere energie-efficiëntie voor de aangekondigde architectuur in vergelijking met de aangegeven traditionele implementatiebaseline.

Dit is een platformspecifiek resultaat in plaats van een universele CPO-efficiëntiefactor.en rackontwerp.

De drie systeemeffecten van een hoger optisch vermogen

Drie systeemeffecten van optische modulevermogen

Vermogen en rekendensiteit

Een watt dat door het netwerk wordt verbruikt, kan niet elders binnen dezelfde rackomhulsel worden toegewezen.

Een hoger netwerkvermogen kan leiden tot minder versnellers per rack, meer racks voor dezelfde werkdruk, extra schakelaars en een grotere koelvraag van de installatie.

Het vermogen van de optische module is daarom een architectonische variabele en niet alleen een specificatie van een onderdeel.

Kracht- en koelingsgrens

Naarmate de aansluitbare modules verder gaan dan 800G, moet meer warmte worden verwijderd van elke positie van het frontpaneel.

DeOSFP MSA-technisch documentDe OSFP1600-form factor geeft meer dan 30 W aan thermische capaciteit voor 1600G datacenter optics.

Het werkelijke vermogen is afhankelijk van bereik, DSP-implementatie, aantal golflengten, laserarrangement, host-interface en werktemperatuur.

Bij een voldoende hoge warmte-stroom wordt de toename van de luchtstroom minder effectief.

ASHRAE-richtlijnendocumenteren directe koeling met warm water in het bereik van 40°C tot 45°C in hoogwaardige computeromgevingen.Maar het bevestigt dat warmwaterkoeling een gevestigde datacenter aanpak is.

Kracht, temperatuur en betrouwbaarheid

In een grote AI-fabriek kan zelfs een lage kans op storing op componentenniveau een aanzienlijke operationele belasting veroorzaken.

Een lagere werktemperatuur kan veel afbraakmechanismen vertragen, maar de relatie tussen temperatuur en levensduur is afhankelijk van het apparaat en de storingsmodus.

NIST-gids voor betrouwbaarheidwordt uitgelegd dat verschillende storingsmodussen verschillende versnellingsmodellen kunnen vereisen.

Een verdedigbare betrouwbaarheidsanalyse moet daarom het relevante storingsmechanisme identificeren, de bedrijfsspanning definiëren en het model met gegevens valideren.maar het produceert geen universele levensduur multiplier.

Waarom het frontpaneel een bandbreedte bottleneck wordt

AI-netwerken vereisen high-radix, low-oversubscription switching.

Er kunnen extra stadia optreden:

• Latentie

• Aantal schakelaars en optische verbindingen

• Energieverbruik

• Complexiteit van de kabels

• Foutpunten

• Kosten

OSFP-dichtheid en netwerkuitbreiding

DeOSFP MSA-referentiedesignpresenteert een 1RU-switch met 32 OSFP1600-poorten die 51,2 Tb/s totale doorvoer ondersteunen.

Dit is een referentieconfiguratie in plaats van een universele fysieke limiet.

Het verhogen van de bandbreedte van de module kan het aantal vereiste fysieke poorten verminderen, maar alleen als stroom, koeling, elektrische routing en vezelbeheer praktisch blijven.

Bandbreedte dichtheid is uiteindelijk een thermisch probleem

Een module kan kleiner worden gemaakt, maar het vermogen kan niet met dezelfde snelheid afnemen.

De bruikbare dichtheid wordt dus beïnvloed door:

• Cage- en hitteafvoerprestaties

• Levering van PCB-energie

• Elektrische routing van de gastheer

• Connector- en vezeldichtheid

• Vermogen van het koelsysteem

• Maximale onderdeeltemperatuur

Bij hoge bandbreedte wordt de praktische dichtheid van een vormfactor bepaald door hoeveel warmte het complete systeem kan verwijderen.

Voorpaneeldensiteit en XPO-thermische architectuur

XPO: Hogere dichtheid met ingebouwde vloeistofkoeling

XPO staat voorExtra-dichte aansluitbare optica.

In maart 2026,Arista kondigde de XPO multi-source overeenkomst aanDe aangekondigde architectuur maakt gebruik van 64 kanalen met een snelheid van 200 Gb/s per kanaal, waardoor 12,8 Tb/s per module wordt geleverd en 204,8 Tb/s bandbreedte voor het frontpaneel per open-computing rack-eenheid wordt beoogd.

Het concept maakt gebruik van een Belly-to-Belly-dual-PCB-structuur:

• Hoogvermogencomponenten zijn naar binnen gericht in de richting van de vloeistofkoelstructuur.

• De onderdelen met een lager vermogen zijn naar buiten gericht.

• De koeling is geïntegreerd in de modulearchitectuur.

• De optische montage blijft verwijderbaar.

De 204,8 Tb/s-waarde vertegenwoordigt de bandbreedtecapaciteit van het frontpaneel, niet 128 fysieke modules in één rack-eenheid.

Het belangrijkste ontwerpargument van XPO is onderhoudbaarheid. Het probeert het vervangbare module-model te behouden terwijl het parallelisme wordt verhoogd en het thermische pad wordt verbeterd.

Traditionele aansluitbare optica, LPO, CPO en XPO

Traditionele Pluggable versus LPO versus CPO versus XPO

Traditionele aansluitbare optica

Traditionele aansluitbare modules worden via hogesnelheidselektrische sporen verbonden met de ASIC-switch.

Ze bieden hot-swap vervanging, duidelijke storing isolatie, onafhankelijke module kwalificatie, en volwassen multi-leverancier aanbod.

Bij hogere rijstroomsnelheden vereisen PCB- en connectorverliezen meer evenwicht en signaalverwerking.terwijl de warmte nog steeds moet worden verwijderd door een beperkte frontpaneelstructuur.

LPO

Lineaire aansluitbare opticaverwijdert de conventionele module DSP en handhaaft een analoog pad tussen host en module.

DeLPO MSA-specificatiede functies zoals FEC, retiming en gegevensconversie aan de host toewijst en testpunten definieert die bedoeld zijn om interoperabiliteit te ondersteunen.

Het verwijderen van DSP aan de modulezijde kan het vermogen van de module en de verwerkingsachterstand verminderen, maar het stelt grotere eisen aan de kwaliteit van SerDes, kanaalverlies, lineariteit van de zender, ontvangergeluid en linkmarge.

LPO heeft niet één universele kracht, latency of bereikwaarde.

CPO

Optische apparatuur in een verpakkingPlaats optische motoren dicht bij de ASIC-switch, waardoor de lengte en het verlies van de elektrische verbindingen met de hoogste snelheid worden verminderd.

Dit kan de evenwicht, retiming en elektrische I / O-kracht verminderen, maar brengt uitdagingen met zich mee in verpakking, vezel bevestiging, thermisch ontwerp, storingsisolatie en veldreparatie.

In 2023 zal deOptical Internetworking Forum publiceerde zijn 3.2T Co-Packed Module Implementation AgreementHet definieert een module van 3,2 Tb/s voor Ethernet-switching en biedt ongeveer 140 Gb/s per millimeter pakketrandbandbreedte.

In mei 2026 verklaarde NVIDIA dat zijn Spectrum-X Ethernet Photonics-switches in productie waren.

XPO

XPO behoudt een afneembare module terwijl het gebruik van grotere parallelisme en geïntegreerde vloeistof koeling.

Het biedt een andere balans dan CPO:

• Een hogere dichtheid dan bij conventionele aansluitbare toestellen

• Directe vloeistofkoeling

• Vervanging van velden

• Minder afhankelijkheid van optische integratie op pakketniveau

Tot de resterende uitdagingen behoren het ontwerp van elektrische interfaces, de integratie van koude platen, het beheer van vezels, de kwalificatie van de productie en de interoperabiliteit tussen meerdere leveranciers.

CWDM en DWDM CPO vergelijkingen

De golflengte architectuur beïnvloedt laserontwerp, vezelgetal, verpakking, optisch verlies en integratiecomplexiteit.

CWDM- en DWDM-implementaties kunnen niet worden vergeleken met behulp van geïsoleerde latentie- of energie-per-bit-waarden, tenzij dezelfde meetgrens wordt gebruikt.

Een latentiewaarde kan de volgende waarden omvatten of uitsluiten:

• DSP en FEC

• Verzorging

• Buffering

• Host-interfaces

• Verwerking van schakelaars

• Eén of beide uiteinden van de verbinding

Energie per bit wordt berekend als:

Energie per bit = Vermogen ÷ Afgeleverde bitsnelheid

De berekening moet echter bepalen of de modules, host SerDes, lasers, DSP, FEC, schakelinterfaces en koeling zijn inbegrepen.

DWDM kan meer golflengten op één vezel plaatsen, waardoor de dichtheid kan toenemen en het aantal vezels kan verminderen.en meer complexe optische integratie.

Multi-golflengte-bronnen met een enkele chip komen in evaluatieprogramma's, maar hun productiewaarde hangt af van het uitgangsvermogen, de golflengte stabiliteit, efficiëntie, opbrengst en levensduur.

DWDM garandeert niet inherent een lager vermogen of latentie in elk CPO-systeem.

Scale-up versus Scale-out interconnecties

Optische interconnecties voor opschaling en uitbreiding

Opschaling

Scale-up-netwerken verbinden versnellers die moeten functioneren als één nauw gecoördineerd systeem.

Koper blijft aantrekkelijk op korte afstanden omdat het goedkoop is en elektrisch eenvoudig.

Gepubliceerd systeemonderzoek heeft beschreven dat de huidige hogesnelheidskoperen koppelingen beperkt zijn tot korte afstand binnen het rack in de bestudeerde datacenteromgeving.

Het bereik van koper op 400G is implementatie-afhankelijk. Het varieert met het kabeldesign, het aantal connectoren, de gelijkstelling, het invoegverliesbudget en het beschikbare vermogen.

Optische I/O en CPO worden aantrekkelijker wanneer koper niet langer de vereiste combinatie van bandbreedte, routingdichtheid, afstand en efficiëntie kan bieden.

Uitbreiding

Scale-out netwerken verbinden servers en racks via switches.

Ze vereisen een langer bereik, een hoge schakelradix, een groot aantal poorten en een praktische vervanging van het veld.

Traditionele aansluitbare apparaten, LPO, CPO en XPO behandelen verschillende onderdelen van dit probleem:

• LPO vermindert de modulaire verwerking.

• CPO verkort het elektrische pad.

• XPO verhoogt de dichtheid en koelcapaciteit.

De overgang moet worden begrepen door middel van specifieke normen en mijlpalen voor producten in plaats van één universele datum van goedkeuring.

Raamwerk voor de selectie van ingenieurs

De keuze van de architectuur moet beginnen met de systeemvereiste, niet met de laagste gepubliceerde module-vermogenwaarde.

Belangrijkste vragen zijn:

• Welke bereikbaarheid is vereist?

• Welke kracht- of energiegrens per bit is van toepassing?

• Is het vervangen van het veld verplicht?

• Welk koelsysteem is er beschikbaar?

• Welke latentiegrens wordt gemeten?

• Is interoperabiliteit tussen meerdere leveranciers vereist?

Vergelijk energie per bit zorgvuldig

Een module met een hoger vermogen kan nog steeds een lagere energie per bit hebben als het veel meer bruikbare bandbreedte biedt.

Elke vergelijking moet de bitsnelheid, de richting, het aantal koppelpunten, de DSP/FEC-grens, de laservermogen, de hostverwerking en de overhead van de koeling definiëren.

Beoordeel bereik en linkmarge

Architekturen met een lager vermogen kunnen werken met een krappe kanaalmarge.

Bij de selectie dient rekening te worden gehouden met de transmissieafstand, het eind-tot-eind-koppelingsbudget, de kwaliteit van het elektrische kanaal van de gastheer, de werktemperatuur, de variatie van de componenten en de verouderingsomstandigheden.

Beoordeel koeling en onderhoud

Het nominale vermogen van een module bewijst niet dat elk chassis het kan koelen.

Het systeem moet ook de vervangbare eenheid definiëren.Traditionele aansluitbare apparaten zorgen voor een eenvoudige vervanging van modules, terwijl een grotere integratie de reparatiegrens naar een lijnkaart, pakket,of schakelaar assemblage.

Beoordeel de volwassenheid van het ecosysteem

Technische prestaties en ecosysteemrijpheid zijn verschillende vragen.

Een nieuwe architectuur kan sterke resultaten vertonen voordat er stabiele specificaties, meerdere leveranciers, gemeenschappelijke testmethoden, bewezen interoperabiliteit of gevestigde reparatieprocedures zijn.

Wat de beperking van de energie-dichtheid betekent voor de AI-infrastructuur

De toekomstige groei van de bandbreedte kan niet alleen afhankelijk zijn van het verhogen van de snelheid van één kanaal.

Het vereist een combinatie van:

• Parallelle kanalen

• Multiplexing met golflengte

• Kortere elektrische paden

• Efficiëntere verpakking

• Materialen met een lager verlies

• Verbeterd thermisch ontwerp

Naarmate de warmtevoet stijgt, zorgen grotere externe hittezuigers voor een afnemende opbrengst.

De betrouwbaarheid moet ook worden aangepakt door middel van een geschikte bedrijfstemperatuur, een specifieke kwalificatie voor de storingsmodus, herstelbare systeemgrenzen en redundantie op netwerkniveau.

De optische module, de switch ASIC, het pakket, de PCB, het koelsysteem en de netwerktopologie moeten steeds meer als één systeem worden ontworpen.

Vaak gestelde vragen

Waarom verbruiken optische modules zoveel stroom?

Hoge snelheidsmodules vereisen laserdrivers, ontvangers, gelijkstelling en vaak DSP en FEC.

Wat beperkt de bandbreedte van de optische module?

De belangrijkste beperkingen zijn de ruimte voor het paneel, de stroomvoorziening, de elektrische routing, het vezelbeheer en de koelcapaciteit.

Hoe verschillen LPO, CPO en XPO?

LPO verwijdert de module DSP, CPO plaatst optica dicht bij de ASIC en XPO combineert een verwijderbare module met hoog parallelisme en vloeistofkoeling.

Gebruikt CPO altijd minder stroom?

Het resultaat is afhankelijk van de laser, de host-interface, de DSP/FEC-grens, de koeling en welke onderdelen van het systeem zijn opgenomen.

Waarom heeft temperatuur invloed op de betrouwbaarheid?

Veel afbraakmechanismen versnellen bij hogere temperaturen, maar de exacte relatie hangt af van het apparaat en de storingsmodus.

Welke architectuur is beter voor Scale-Up en Scale-Out?

Scale-Up geeft de voorkeur aan oplossingen met korte bereik en lage latentie, zoals koper, optische I/O en CPO.