Kookablowana fotonika współpakowana Co-Packaged Optics i interkonekty krzemowe: Jak lasery mikroringowe, modulatory Macha-Zehndera i optyka chip-to-chip przełamują miedzianą barierę energetyczną centrów danych AI

W architekturze nowoczesnych centrów obliczeniowych oraz gigantycznych klastrów przeznaczonych do trenowania i inferencji modeli sztucznej inteligencji nastąpiło zjawisko, które inżynierowie systemowi określają mianem zderzenia z miedzianą ścianą energetyczną copper power wall. Przez dziesięciolecia miedź stanowiła bezdyskusyjny standard przesyłania sygnałów elektrycznych na wszystkich poziomach hierarchii komputerowej: od mikroskopijnych ścieżek na powierzchni krzemowego jądra procesora, poprzez wielowarstwowe laminaty płytek drukowanych PCB, aż po kable miedziane bezpośredniego dołączenia Direct Attach Copper DAC łączące serwery z przełącznikami sieciowymi Top-of-Rack. W miarę jednak jak przepustowość pojedynczego łącza szeregowo-równoległego SerDes wzrosła z dziesięciu do stu dwunastu, a współcześnie do dwustu dwudziestu czterech gigabitów na sekundę na pojedynczą linię transmisyjną, fizyka przewodnictwa elektrycznego w miedzi osiągnęła swoje absolutne granice technologiczne i termodynamiczne.

Przy częstotliwościach sygnałów zegarowych rzędu kilkudziesięciu gigaherców miedziana ścieżka na płytce drukowanej przestaje zachowywać się jak prosty przewodnik omowy, stając się wysoce stratną linią transmisyjną podlegającą zjawisku naskórkowości skin effect, absorpcji dielektrycznej oraz zniekształceniom intersymbolowym ISI. Aby przesłać sygnał elektryczny o tak potężnej częstotliwości przez zaledwie kilkadziesiąt centymetrów laminatu FR4 lub nawet zaawansowanego megatestu Megtron-7, inżynierowie musieli wdrożyć potężne cyfrowe procesory sygnałowe DSP zintegrowane z blokami SerDes. Układy te dokonują ciągłej korekcji błędów, zaawansowanej korekcji zrównoważenia kanału CTLE oraz filtracji z zejściem decyzyjnym DFE. Skutkiem ubocznym stała się jednak eksplozja zużycia energii elektrycznej. We współczesnych przełącznikach sieciowych o przepustowości pięćdziesięciu jeden i dwóch dziesiątych terabita na sekundę same tylko układy konwersji i wzmacniania sygnałów elektrycznych SerDes i DSP pochłaniają ponad trzydzieści do czterdziestu procent całkowitego budżetu mocy przełącznika, generując potężne ilości ciepła i uniemożliwiając dalsze skalowanie systemów.

Fundamentalnym przełomem, który pozwala na zburzenie miedzianej ściany energetycznej i otwiera drogę do budowy przełączników o przepustowościach stu dwóch i czterech dziesiątych terabita oraz dwustu terabitów na sekundę, jest technologia optyki współpakowanej Co-Packaged Optics CPO w połączeniu z krzemową fotoniką Silicon Photonics. Zamiast przesyłać sygnały elektryczne wysokiej częstotliwości przez długie, stratne ścieżki miedziane do wymiennych modułów optycznych montowanych na przednim panelu obudowy serwera, technologia CPO integruje miniaturowe krzemowe chiplety fotoniczne Optical Engines bezpośrednio na wspólnym podłożu organicznym lub krzemowym interposerze, tuż obok głównego procesora obliczeniowego ASIC. Zamienia to wielocentymetrowe linie miedziane w mikroskopijne połączenia o długości pojedynczych milimetrów, eliminując potrzebę stosowania prądożernych układów DSP i redukując zużycie energii na przesłanie pojedynczego bitu informacji o ponad sześćdziesiąt do siedemdziesięciu procent.

Architektura krzemowej fotoniki: Modulatory Macha-Zehndera i rezonatory pierścieniowe

Istotą fotoniki krzemowej jest wykorzystanie standardowych linii produkcyjnych półprzewodników CMOS do wytwarzania zintegrowanych obwodów optycznych na trzystumilimetrowych waflach krzemowych. Krzem charakteryzuje się bardzo wysokim współczynnikiem załamania światła wynoszącym około trzy przecinek cztery w pasmach podczerwieni telekomunikacyjnej tysiąca trzystu dziesięciu oraz tysiąca pięciuset pięćdziesięciu nanometrów. Gdy mikroskopijny falowód krzemowy o wymiarach rzędu kilkuset nanometrów zostanie otoczony warstwą dwutlenku krzemu SiO2 o współczynniku załamania jeden przecinek czterdzieści cztery, następuje całkowite wewnętrzne odbicie światła z potężnym uwięzieniem fali elektromagnetycznej, co pozwala na formowanie miniaturowych ścieżek optycznych o promieniach zgięcia nieprzekraczających kilku mikrometrów.

Do modulacji strumienia światła i kodowania danych cyfrowych inżynierowie wykorzystują dwie fundamentalne technologie: interferometryczne modulatory Macha-Zehndera MZM oraz rezonatory pierścieniowe micro-ring resonators MRR. Modulator Macha-Zehndera dzieli wiązkę laserową na dwa symetryczne ramiona optyczne. Poprzez wstrzykiwanie nośników ładunku do złącza p-n uformowanego wewnątrz krzemowego falowodu za pomocą efektu dyspersji plazmowej Sorefa, następuje mikroskopijna modulacja współczynnika załamania światła w jednym z ramion. W punkcie ponownego połączenia wiązek fale świetlne interferują konstruktywnie lub destruktywnie, przekształcając modulację fazową w modulację amplitudy sygnału optycznego w formacie PAM4 z prędkościami przekraczającymi sto gigabaudów.

Z kolei rezonatory pierścieniowe MRR reprezentują szczyt miniaturyzacji fotonicznej. Są to zamknięte pętle optyczne o średnicy zaledwie kilkunastu mikrometrów, umieszczone w bezpośredniej bliskości falowodu głównego. Rezonator przepuszcza lub odcina światło tylko o ściśle określonej długości fali rezonansowej, co pozwala na realizację gęstego zwielokrotnienia falowego Dense Wavelength Division Multiplexing DWDM. Dzięki temu przez pojedyncze włókno światłowodowe można przesłać jednocześnie szesnaście lub trzydzieści dwa niezależne kanały optyczne o różnych długościach fali, osiągając łączną przepustowość rzędu kilku terabitów na sekundę z miniaturowego chipletu o powierzchni ułamka milimetra kwadratowego.

Zewnętrzne źródła laserowe ELSFP i detekcja germanowa

Jednym z najbardziej fundamentalnych wyzwań fizycznych krzemowej fotoniki jest fakt, że krzem jest półprzewodnikiem o skośnej przerwie energetycznej indirect bandgap, co oznacza, że rekombinacja elektronu i dziury prowadzi do emisji fononu termicznego zamiast fotonu. Krzem nie może zatem samodzielnie pełnić roli wydajnego lasera półprzewodnikowego. W architekturze Co-Packaged Optics zastosowano genialne rozwiązanie w postaci rozdzielenia źródła światła od struktur modulacyjnych poprzez wdrożenie zewnętrznych modułów laserowych External Laser Small Form-Factor Pluggable ELSFP.

Moduł ELSFP zawiera baterię wysokowydajnych laserów ze sprzężeniem zwrotnym DFB Distributed Feedback lub laserów o zmiennej długości fali, wykonanych z półprzewodników z grupy III-V, głównie fosforku indu InP oraz arsenku galu GaAs. Moduły te są montowane na przednim panelu przełącznika sieciowego w standardowych kasetach wymiennych w trybie hot-plug. Laser generuje stałą, niemodulowaną falę świetlną continuous wave CW o wysokiej mocy, która jest przesyłana elastycznymi włóknami światłowodowymi bezpośrednio do chipletu fotonicznego CPO znajdującego się na wspólnym podłożu procesora. Taka architektura całkowicie izoluje wrażliwe na temperaturę lasery od gigantycznego ciepła wydzielanego przez rdzenie logiczne ASIC, radykalnie zwiększając niezawodność całego systemu oraz umożliwiając błyskawiczną wymianę uszkodzonego źródła laserowego bez konieczności wyłączania całego przełącznika sieciowego.

Z kolei po stronie odbiorczej konwersja fotonów na prąd elektryczny realizowana jest za pomocą ultraszybkich fotodiod wykonanych z epitaksjalnego germanu Ge wyhodowanego bezpośrednio na warstwie krzemu. German charakteryzuje się prostą przerwą energetyczną oraz potężnym współczynnikiem absorpcji w pasmach podczerwieni, co w połączeniu z miniaturowymi wzmacniaczami transimpedancyjnymi TIA pozwala na bezbłędną detekcję sygnałów PAM4 z częstotliwościami próbkowania sięgającymi ponad stu gigaherców przy zachowaniu znikomych szumów termicznych i śrutowych.

Przełom w pakowaniu 3D i mikrooptyczne łączenie włókien

Przejście na technologię CPO stawia bezprecedensowe wyzwania przed inżynierią zaawansowanego pakowania półprzewodników 3D Advanced Packaging. Umieszczenie chipletów optycznych w bezpośrednim sąsiedztwie krzemowego procesora ASIC przełącznika, który posiada powierzchnię rzędu ośmiuset milimetrów kwadratowych i ponad sto tysięcy mikrokulek lutowniczych BGA, wymaga zastosowania wielowarstwowych podłoży organicznych o wysokiej gęstości połączeń High-Density Interconnect HDI lub krzemowych mostków interkonektowych, takich jak Intel EMIB czy TSMC CoWoS.

Najbardziej krytyczną operacją produkcyjną jest jednak wprowadzenie setek mikroskopijnych włókien światłowodowych bezpośrednio na powierzchnię chipletu fotonicznego, czyli proces określany jako fiber-to-chip packaging. W klasycznym złączu światłowodowym tolerancja pozycjonowania wynosi kilka mikrometrów, tymczasem wprowadzenie fali świetlnej do krzemowego falowodu o szerokości zaledwie czterystu nanometrów wymaga pozycjonowania z dokładnością sub-mikrometryczną, poniżej stu nanometrów. Inżynierowie stosują dwa konkurencyjne podejścia: siatki dyfrakcyjne grating couplers, które wprowadzają światło prostopadle do powierzchni wafla, oraz sprzęgacze krawędziowe edge couplers z odwróconymi stożkami krzemowymi, wprowadzające światło horyzontalnie przez wypolerowaną krawędź chipu.

Wdrożenie zautomatyzowanych robotów montażowych wyposażonych w algorytmy aktywnego dopasowania wiązki świetlnej w czasie rzeczywistym oraz zastosowanie precyzyjnych matryc z mikrosoczewkami krzemowymi pozwala na jednoczesne przyklejenie taśmy złożonej z sześćdziesięciu czterech włókien światłowodowych za pomocą utwardzanych promieniami UV klejów optycznych o stabilności termicznej do trzystu stopni Celsjusza. Sprawia to, że moduł CPO opuszcza linię produkcyjną jako monolitowy komponent ze zintegrowanymi wiązkami światłowodowymi wyprowadzonymi bezpośrednio na złącza kasetowe tylnego panelu szafy serwerowej.

Optyczne interkonekty pamięciowe OMI i dekompozycja zasobów AI

Choć technologia Co-Packaged Optics narodziła się z myślą o przełącznikach sieciowych Ethernet i InfiniBand, jej najbardziej rewolucyjne zastosowanie wyłania się w obszarze interkonektów bezpośrednich pomiędzy akceleratorami sztucznej inteligencji a zewnętrzną pamięcią operacyjną. Współczesne modele LLM o bilionowych parametrach wymagają gigantycznej przepustowości pamięci HBM, która w tradycyjnych architekturach musi być fizycznie zlokalizowana w odległości zaledwie ułamków milimetra od jądra GPU na wspólnym interposerze krzemowym ze względu na ograniczenia długości ścieżek elektrycznych.

Zastosowanie optycznych magistral chip-to-chip i pamięciowych interkonektów optycznych Optical Memory Interconnect OMI całkowicie unieważnia te ograniczenia odległościowe. Sygnały pamięciowe magistrali CXL czy NVLink są bezpośrednio modulowane w strumienie fotonów i przesyłane światłowodami na odległości kilkunastu metrów bez jakiejkolwiek degradacji przepustowości czy wzrostu opóźnień. Umożliwia to pełną dekompozycję architektury centrum danych na poziomie sprzętowym disaggregated datacenter.

W takim środowisku akceleratory obliczeniowe TPU i GPU nie posiadają na stałe przypisanych sztywnych pul pamięci; zamiast tego łączą się za pośrednictwem w pełni optycznej matrycy przełączającej Optical Circuit Switch OCS z gigantycznymi zasobnikami pamięci dynamicznej umieszczonymi w odrębnych szafach serwerowych. W zależności od profilu uruchamianego modelu sztucznej inteligencji, procesor może dynamicznie, w czasie nanosekundowym, alokować terabajty pamięci z dowolnego miejsca w klastrze, uzyskując pełną iluzję pracy na lokalnej pamięci operacyjnej bez wąskich gardeł tradycyjnych magistrali PCI Express.

Termostabilizacja rezonatorów pierścieniowych i mikrogrzałki tytanowe

Najbardziej wyrafinowanym wyzwaniem w eksploatacji miniaturowych rezonatorów pierścieniowych MRR w gęstych układach fotonicznych jest ich ekstremalna wrażliwość na fluktuacje temperatury. Krzem charakteryzuje się bardzo wysokim współczynnikiem termooptycznym dn/dT rzędu jeden przecinek osiem razy dziesięć do potęgi minus czwartej na kelwin. W praktyce oznacza to, że zmiana temperatury o zaledwie jeden stopień Celsjusza przesuwa długość fali rezonansowej pierścienia optycznego o jedną dziesiątą nanometra. W systemach gęstego zwielokrotnienia DWDM, gdzie odstęp pomiędzy sąsiednimi kanałami optycznymi wynosi zaledwie kilkadziesiąt pikometrów, taki dryf termiczny skutkowałby natychmiastowym przesłuchem międzykanałowym i całkowitą utratą transmisji danych.

Aby zapobiec temu zjawisku, inżynierowie integrują bezpośrednio nad każdym krzemowym pierścieniem mikrogrzałki rezystancyjne wykonane z cienkich warstw azotku tytanu TiN lub platyny. Mikrogrzałka jest sterowana przez precyzyjną, cyfrową pętlę sprzężenia zwrotnego pracującą na dedykowanym mikrokontrolerze ASIC. Układ ten nieustannie monitoruje moc optyczną i w ułamkach mikrosekundy koryguje prąd grzałki, utrzymując temperaturę rezonatora na stałym poziomie z dokładnością do setnych części stopnia Celsjusza, niezależnie od gwałtownych skoków obciążenia termicznego generowanego przez sąsiadujące rdzenie obliczeniowe GPU.

Nowe materiały elektrooptyczne: Cienkowarstwowy niobian litu LNOI

Choć czysty krzem stanowi doskonałe medium do prowadzenia fal świetlnych, jego właściwości elektrooptyczne bazujące wyłącznie na efekcie dyspersji plazmowej nakładają ograniczenia na maksymalną prędkość modulacji oraz wprowadzają niepożądane straty optyczne wywołane absorpcją przez swobodne nośniki ładunku. Rozwiązaniem, które w ostatnich latach zrewolucjonizowało badania nad fotoniką zintegrowaną, jest heterogeniczna integracja krzemu z cienkowarstwowym niobianem litu na izolatorze Thin-Film Lithium Niobate on Insulator LNOI.

Niobian litu jest materiałem ferroelektrycznym charakteryzującym się potężnym liniowym efektem elektrooptycznym Pockelsa, w którym współczynnik załamania światła zmienia się natychmiastowo pod wpływem zewnętrznego pola elektrycznego bez udziału nośników ładunku. Zastosowanie warstw LNOI o grubości kilkuset nanometrów połączonych z krzemowymi falowodami pozwala na budowę modulatorów Macha-Zehndera o szerokości pasma modulacji przekraczającej sto pięćdziesiąt gigaherców przy jednoczesnym obniżeniu napięcia sterującego poniżej jednego wolta. Umożliwia to bezpośrednie sterowanie modulatorem fotonicznym z wyjść bramek logicznych CMOS bez konieczności stosowania energochłonnych analogowych wzmacniaczy sterujących RF driver.

Standaryzacja przemysłowa OIF i złącza soczewkowe Expanded-Beam

Komercjalizacja technologii Co-Packaged Optics wymagała wypracowania jednolitych, globalnych standardów przemysłowych, które uniezależniłyby operatorów centrów danych od rozwiązań jednego dostawcy. Kluczową rolę w tym procesie odegrało Optical Internetworking Forum OIF, które opublikowało specyfikacje ramowe dla modułów CPO o przepustowościach trzech i dwóch dziesiątych oraz sześciu i czterech dziesiątych terabita na silnik optyczny, definiując ujednolicone interfejsy elektryczne skrajnie krótkiego zasięgu Extra Short Reach XSR.

Równie istotnym przełomem w obszarze okablowania stało się wdrożenie soczewkowych złączy światłowodowych ze zwiększoną wiązką Expanded-Beam. Klasyczne złącza wielowłóknowe MPO ze stykiem fizycznym były skrajnie podatne na zanieczyszczenia kurzem; pojedyncza drobina pyłu mogła zablokować transmisję w kanale światłowodowym. Złącza soczewkowe wykorzystują matryce mikrosoczewek kolimujących wiązkę światła do średnicy kilkudziesięciu mikrometrów, co sprawia, że mikroskopijne zabrudzenia stają się pomijalne, a wpinanie i wypinanie wiązek światłowodowych w szafach serwerowych może być realizowane bez konieczności stosowania rygorystycznych procedur czyszczenia cleanroomowego.

Wpływ na zużycie energii i redukcję śladu węglowego chmury

Skala oszczędności energetycznych wynikająca z wdrożenia optyki współpakowanej CPO i fotoniki krzemowej ma charakter fundamentalny dla zrównoważonego rozwoju globalnego ekosystemu cyfrowego. Współczesne megacentra obliczeniowe zużywają gigawaty energii elektrycznej, z czego ponad dwadzieścia procent jest tracone wyłącznie na pokonywanie oporów omowych miedzianych połączeń wewnątrzsieciowych. Zastąpienie miedzianych magistral SerDes optycznymi silnikami CPO pozwala na obniżenie zużycia energii pojedynczego portu 800G z dwudziestu watów do poniżej siedmiu watów.

W skali całego klastra liczącego sto tysięcy połączonych akceleratorów oznacza to oszczędność dziesiątek megawatów mocy zasilania, co przekłada się na bezpośrednią redukcję emisji setek tysięcy ton dwutlenku węgla rocznie oraz drastyczne obniżenie kosztów operacyjnych OPEX operatorów chmurowych. Co więcej, radykalne zmniejszenie wydzielania ciepła w szafach sieciowych eliminuje konieczność stosowania potężnych wentylatorów chłodzących, ułatwiając przejście na w pełni pasywne systemy bezpośredniego chłodzenia cieczą Direct-to-Chip i podnosząc wskaźnik efektywności energetycznej PUE do wartości bliskich ideałowi jeden przecinek zero pięć.

Geopolityka fotoniki zintegrowanej i suwerenność technologiczna

Opanowanie technologii fotoniki krzemowej i Co-Packaged Optics stało się nowym polem strategicznego wyścigu pomiędzy Stanami Zjednoczonymi, Europą a Azją Wschodnią. W miarę jak tradycyjna litografia krzemowa w skali pojedynczych nanometrów staje się astronomicznie droga i napotyka na bariery fizyczne, fotonika krzemowa oferuje możliwość zwielokrotnienia wydajności systemów obliczeniowych bez konieczności stosowania najbardziej zaawansowanych maszyn EUV. Falowody i modulatory fotoniczne mogą być bowiem precyzyjnie produkowane w dojrzałych węzłach litograficznych czterdziestu pięciu i dwudziestu ośmiu nanometrów, w których barierą wejścia nie jest rozmiar bramki, lecz mistrzostwo w inżynierii materiałowej i montażu optycznym.

Kto kontroluje ekosystem fotoniki zintegrowanej, ten decyduje o przepustowości globalnych autostrad informacyjnych oraz architekturze klastrów sztucznej inteligencji nowej generacji. Fotonika krzemowa i kookablowana optyka współpakowana przestają być jedynie laboratoryjną innowacją, stając się krwiobiegiem cyfrowej cywilizacji dwudziestego pierwszego wieku, na zawsze zacierając granicę pomiędzy elektroniką a optyką w sercu krzemowych mikroprocesorów.

Fotonika krzemowa i architektura Co-Packaged Optics znoszą w ten sposób ostatnią fizyczną barierę na drodze wykładniczego skalowania mocy obliczeniowej, gwarantując, że globalna sieć informacyjna zachowa swoją wydajność w obliczu lawinowo rosnących wymagań ery wszechobecnej sztucznej inteligencji.

Automatyzacja pomiarów na poziomie wafla i rezerwa laserowa

Wdrożenie optyki współpakowanej do masowej produkcji wymagało całkowitego przedefiniowania procedur testowania i kontroli jakości w fabrykach półprzewodników. W tradycyjnej elektronice testowanie układów na poziomie wafla krzemowego wafer sort odbywa się za pomocą mechanicznych kart igłowych kontaktujących się z polami lutowniczymi. W fotonice krzemowej konieczne stało się opracowanie zautomatyzowanych optycznych stacji pomiarowych Optical Probers, w których światłowody pomiarowe są pozycjonowane nad siatkami dyfrakcyjnymi z nanometryczną precyzją w czasie ułamka sekundy.

Stacja testowa weryfikuje widmo transmisyjne falowodów, straty wtrąceniowe modulatorów oraz sprawność kwantową fotodiod na tysiącach struktur zintegrowanych na pojedynczym waflu przed podjęciem decyzji o jego rozcięciu na pojedyncze chiplety. Równie krytycznym elementem jest zapewnienie niezawodności w długim okresie eksploatacji. Ponieważ lasery półprzewodnikowe podlegają powolnej degradacji termicznej, moduły ELSFP wyposaża się w schematy nadmiarowości N plus jeden oraz zintegrowane układy optycznego przełączania awaryjnego, które w przypadku spadku mocy lasera roboczego w czasie poniżej stu mikrosekund przełączają tor optyczny na zapasową diodę laserową, gwarantując bezawaryjną pracę centrum danych przez ponad dekadę.

Ta bezprecedensowa konwergencja fotoniki, mechaniki precyzyjnej i zaawansowanego pakowania chipletowego wyznacza nową erę architektury obliczeniowej, w której to prędkość światła, a nie opór miedzi, definiuje horyzont możliwości współczesnej cywilizacji technicznej.

Przejście ewolucyjne: Linear Pluggable Optics i droga do CPO

W drodze do pełnej komercjalizacji Co-Packaged Optics przemysł sieciowy wypracował architekturę pomostową w postaci liniowej optyki wymiennej Linear Pluggable Optics LPO oraz Linear-Receive Optics LRO. Koncepcja ta zakłada usunięcie cyfrowych procesorów sygnałowych DSP bezpośrednio z wymiennych modułów optycznych i oparcie transmisji wyłącznie na bezpośrednim napędzaniu diod przez sygnały z procesora ASIC przełącznika sieciowego. Rozwiązanie to pozwala na obniżenie zużycia energii o połowę przy zachowaniu elastyczności tradycyjnych kaset wsuwanych na przednim panelu.

Choć technologia LPO zyskała popularność w węzłach ośmiuset gigabitów na sekundę, inżynierowie są zgodni, że przy prędkościach rzędu jednego przecinek sześciu oraz trzech przecinek dwóch terabita na port miedziane ścieżki płyty głównej uniemożliwią zachowanie integralności sygnału bez układów korekcyjnych. Pełna integracja CPO na wspólnym interposerze pozostaje jedynym długofalowym rozwiązaniem zdolnym sprostać wymaganiom nadchodzącej ery eksaskalowych klastrów sztucznej inteligencji, definitywnie przenosząc fotonikę w samo serce mikroprocesorów.

Rozwój krzemowej fotoniki zamyka w ten sposób trwający pół wieku monopol miedzi w mikroelektronice, wprowadzając świat w epokę, w której informacja przemieszcza się z prędkością fotonów bez barier oporowych i ograniczeń termicznych.