Architektura Mixture of Depths MoD i dynamiczny routing warstw w modelach LLM: Jak warunkowe pomijanie obliczeń w transformatorach redefiniuje koszt wnioskowania wielkich modeli bez utraty zdolności kognitywnych

Współczesna rewolucja w dziedzinie generatywnej sztucznej inteligencji, napędzana przez wielkie modele językowe oparte na architekturze transformatora, stanęła w obliczu bezprecedensowego kryzysu ekonomicznego i termodynamicznego. Przez ostatnie lata dominujący paradygmat skalowania modeli koncentrował się na bezwzględnym powiększaniu liczby parametrów, objętości danych treningowych oraz liczby operacji zmiennoprzecinkowych FLOPs. Jednak w fazie masowego wdrażania modeli na poziomie setek milionów zapytań dziennie, to nie koszt wstępnego treningu pre-training, lecz narzut obliczeniowy wnioskowania inference stał się główną barierą blokującą rentowność hiperskalowych systemów AI. Klasyczna, gęsta architektura transformatora narzuca sztywny, symetryczny wydatek obliczeniowy na każdy przetwarzany token tekstu, niezależnie od jego rzeczywistego ładunku semantycznego i złożoności poznawczej.

W standardowym modelu transformatora, od pierwszej do ostatniej warstwy głębokiej sieci neuronowej, trywialny token interpunkcyjny, przedimek czy powtarzalne słowo łączące przechodzi przez dokładnie taki sam zestaw macierzy projekcji wielogłowicowej uwagi Multi-Head Attention oraz wielowarstwowych sieci jednokierunkowych MLP, jak token niosący kluczowy krok dowodu matematycznego, syntaktyczny węzeł kodu źródłowego czy rzadkie pojęcie filozoficzne. To fundamentalne marnotrawstwo zasobów obliczeniowych sprawia, że klastry akceleratorów graficznych i procesorów tensorowych marnują ponad połowę swojej przepustowości termicznej i pamięciowej na wykonywanie operacji o zerowym wpływie na ostateczną jakość generowanej odpowiedzi. Rozwiązaniem tego systemowego problemu stała się rewolucyjna koncepcja Mixture-of-Depths MoD, czyli architektura mieszaniny głębokości wprowadzająca dynamiczne, warunkowe pomijanie warstw na poziomie pojedynczych tokenów.

Anatomia problemu statycznej alokacji obliczeń w gęstych transformatorach

Aby zrozumieć przełomowy charakter architektury Mixture-of-Depths, konieczne jest przeanalizowanie mechaniki przepływu informacji w klasycznym transformatorze autoregresyjnym. Model o architekturze dekodera przetwarza sekwencję tokenów wejściowych w sposób ściśle synchroniczny. W każdej z kilkudziesięciu kolejnych warstw macierze reprezentacji ukrytej przechodzą przez dwa główne bloki obliczeniowe: mechanizm samoobsługi znormalizowanej uwagi na bazie iloczynu skalarnego Scaled Dot-Product Attention oraz blok nieliniowej transformacji cech MLP, zwykle implementowany z aktywacją SwiGLU lub GeLU. Każdy token w sekwencji angażuje dokładnie taką samą liczbę parametrów wagowych i generuje identyczną liczbę operacji mnożenia i akumulacji MAC.

Z perspektywy teorii informacji i lingwistyki kognitywnej podejście to jest rażąco niefektywne. Ludzki mózg nie przetwarza każdego słowa w tekście z jednakowym natężeniem uwagi metabolicznej i neurochemicznej. Rozpoznanie schematycznego słowa posiłkowego zajmuje ułamek czasu reakcji w porównaniu z analizą złożonej relacji przyczynowo-skutkowej. W modelach neuronowych zjawisko to przejawia się w fakcie, że reprezentacje prostych tokenów stabilizują się już w pierwszych kilku warstwach sieci, a ich dalsze przepychanie przez kolejne dziesiątki warstw uwagi i nieliniowych transformacji wprowadza jedynie kosmetyczne zmiany o charakterze szumu numerycznego. Próby prostego usunięcia całych warstw w procesie przycinania wag Layer Pruning prowadziły jednak do katastrofalnej degradacji zdolności rozumowania, ponieważ model tracił zdolność rozwiązywania zadań trudnych, w których głębokie przetwarzanie jest absolutnie niezbędne.

Zasada działania Mixture-of-Depths: Selektywny routing i stały budżet FLOPs

Architektura Mixture-of-Depths, opracowana w laboratoriach badawczych Google DeepMind, rozwiązuje ten dylemat poprzez wprowadzenie mechanizmu dynamicznego trasowania tokenów w wymiarze głębokości sieci. Zamiast zmuszać każdy token do przejścia przez pełen blok obliczeniowy danej warstwy, warstwa MoD wyposażona jest w lekki mechanizm decyzyjny zwany ruterem. Ruter analizuje wektor reprezentacji ukrytej danego tokenu i przypisuje mu skalarną wagę priorytetu obliczeniowego. Następnie w oparciu o algorytm Top-K selekcjonowana jest ściśle określona liczba tokenów o najwyższym priorytecie, które jako jedyne uzyskują dostęp do zasobów obliczeniowych bloku uwagi lub bloku MLP.

Tokeny, które nie zmieściły się w puli Top-K, całkowicie omijają kosztowne operacje macierzowe warstwy. Ich reprezentacje są przesyłane bezpośrednio do kolejnego etapu sieci za pośrednictwem bezkosztowego połączenia rezydualnego Residual Connection, w którym zachodzi jedynie proste sumowanie wektorów. Fundamentalną innowacją architektury MoD jest narzucenie sztywnego, statycznego budżetu pojemności Capacity Factor na każdą warstwę. Oznacza to, że odsetek tokenów dopuszczonych do obliczeń, wynoszący na przykład pięćdziesiąt lub dwadzieścia pięć procent długości sekwencji, jest stałą wartością ustaloną a priori przed rozpoczęciem treningu i wnioskowania.

W ujęciu formalnym ruter warstwy MoD definiowany jest jako funkcja liniowa r(x) = W_r x, gdzie W_r jest wektorem wag mapującym reprezentację d-wymiarową tokenu na pojedynczy skalar. Wartości te są następnie normalizowane, a indeksy tokenów sortowane malejąco w celu wyznaczenia zbioru Top-K o rozmiarze zdefiniowanym przez współczynnik pojemności C. Dla tokenów zakwalifikowanych do przetwarzania równanie wyjściowe warstwy przyjmuje postać y_i = x_i + w_i * f(x_i), gdzie f(x) reprezentuje operację bloku transformatora, natomiast w_i stanowi wagę skalującą. Dla pozostałych tokenów funkcja degeneruje się do tożsamościowego przejścia y_i = x_i. Dzięki temu przepływ gradientów wstecznych zachowuje ciągłość, a sieć uczy się wyznaczać optymalne trajektorie przepływu informacji bez zakłócania stanów bazowych.

Ta cecha ma kardynalne znaczenie dla inżynierii sprzętowej. W przeciwieństwie do wcześniejszych, nieudanych prób dynamicznego wnioskowania opartych na warunkowym przerywaniu obliczeń Early Exit, które wprowadzały zmienne rozmiary tensorów i uniemożliwiały efektywne grupowanie zapytań w paczki Batching na układach scalonych GPU i TPU, statyczny budżet MoD zachowuje niezmienne kształty macierzy Static Tensor Shapes. Dzięki temu kompilatory sprzętowe takie jak XLA czy TensorRT mogą w pełni zoptymalizować alokację pamięci podręcznej SRAM, wyeliminować narzuty dynamicznej alokacji VRAM i utrzymać stuprocentową równoległość wykonania instrukcji SIMD w klastrach akceleratorów.

MoD kontra MoE: Horyzontalna modularyzacja parametrów a wertykalna oszczędność FLOPs

Aby precyzyjnie umiejscowić architekturę Mixture-of-Depths na mapie współczesnych technik optymalizacji, należy zestawić ją z powszechnie stosowaną architekturą Mixture-of-Experts MoE, spopularyzowaną przez modele takie jak Mixtral czy GPT-4. Choć obie metody wykorzystują koncepcję warunkowego routingu, operują one na zupełnie innych osiach przestrzeni obliczeniowej i rozwiązują odmienne wąskie gardła sprzętowe.

Architektura MoE jest techniką horyzontalnego rozszerzania bazy wiedzy modelu. Zastępuje ona pojedynczy blok MLP wieloma równoległymi ekspertami, z których dla każdego tokenu aktywowanych jest jedynie kilku, na przykład dwóch z ośmiu. Pozwala to na dramatyczne zwiększenie łącznej liczby parametrów modelu, a tym samym jego pojemności pamięciowej, przy zachowaniu stałej liczby operacji FLOPs przypadających na token. Jednak cena, jaką system płaci za MoE, jest gigantyczna: drastyczny wzrost zapotrzebowania na pamięć operacyjną VRAM. Wszystkie wagi nieaktywnych ekspertów muszą znajdować się fizycznie w pamięci HBM akceleratora, co wymusza budowę potężnych klastrów złożonych z wielu połączonych magistralami NVLink procesorów graficznych jedynie po to, by zmieścić gigantyczne pliki wag.

Architektura Mixture-of-Depths działa w sposób dokładnie odwrotny. Zamiast mnożyć liczbę parametrów w poziomie, MoD operuje na pojedynczym zestawie wag w pionie, selekcjonując, które tokeny w ogóle mają wchodzić w interakcję z tymi wagami. W rezultacie MoD nie zwiększa rozmiaru modelu w pamięci VRAM ani o jeden bajt. Wręcz przeciwnie: zachowując identyczny rozmiar modelu w pamięci, MoD bezpośrednio redukuje liczbę operacji FLOPs na token o pięćdziesiąt procent lub więcej. Co więcej, podczas fazy autoregresywnego generowania odpowiedzi tokeny pomijające blok uwagi nie wymagają generowania ani zapisu nowych wektorów kluczy i wartości w pamięci podręcznej KV-Cache, co bezpośrednio redukuje największe wąskie gardło przepustowości pamięciowej we współczesnych centrach danych AI.

Matematyka routingu: Gradienty proste, strata pomocnicza i funkcja z-loss

Implementacja mechanizmu warunkowego wyboru w sieciach głębokich natrafia na fundamentalny problem różniczkowalności. Operacja wyboru Top-K jest funkcją nieciągłą i dyskretną, której pochodna po wagach wejściowych wynosi zero w prawie całej dziedzinie, co uniemożliwia bezpośrednie propagowanie gradientów błędu metodą wstecznej propagacji Backpropagation. Aby umożliwić end-to-end trening rutera bez uciekania się do powolnych algorytmów estymacji stochastycznej typu REINFORCE, inżynierowie DeepMind zastosowali elegancki zabieg matematyczny łączący wagi rutera z wyjściem transformatora.

Wektor wag rutera produkuje skalarną wartość wagową dla każdego tokenu za pomocą prostej projekcji liniowej z normalizacją Softmax. Podczas gdy sama decyzja o przejściu tokenu przez blok obliczeniowy opiera się na dyskretnym warunku przynależności do zbioru Top-K, wyjście z bloku obliczeniowego jest mnożone przez ciągłą wagę wygenerowaną przez ruter. W ten sposób gradient funkcji błędu może płynąć bezpośrednio z powrotem do parametrów rutera przez wartość wagową, nagradzając ruter za przypisywanie wysokich wag tokenom, które rzeczywiście odnoszą korzyść z przetworzenia w danej warstwie.

Drugim kluczowym wyzwaniem jest zjawisko zapadania się rutera Router Collapse. Bez odpowiedniej regularyzacji mechanizm uczący wykazuje tendencję do faworyzowania wąskiej grupy tokenów na wczesnym etapie treningu, co prowadzi do sytuacji, w której ruter stale wybiera te same tokeny, głodząc pozostałe i uniemożliwiając modelowi naukę bogatych reprezentacji semantycznych. Aby temu zapobiec, funkcja celu treningu zostaje wzbogacona o straty pomocnicze Auxiliary Loss. Stosuje się karę za nierównomierne obciążenie Load Balancing Loss, która wymusza równomierny rozkład prawdopodobieństw w całej sekwencji, oraz funkcję router z-loss, która zapobiega ucieczce logitów do skrajnych wartości numerycznych, gwarantując krystaliczną stabilność numeryczną w precyzji bfloat16.

Głęboka analiza dynamiki routingu w przekroju całej głębokości modelu ujawniła wysoce zorganizowaną, wyspecjalizowaną strukturę przetwarzania tokenów. W pierwszych kilku warstwach transformatora ruter MoD faworyzuje tokeny o charakterze syntaktycznym i strukturalnym, budując podstawowe drzewo zależności gramatycznych zdania. W warstwach środkowych następuje dramatyczna zmiana: obliczenia są niemal całkowicie zdominowane przez tokeny reprezentujące kluczowe byty semantyczne, relacje wieloargumentowe i pojęcia domenowe. Z kolei w warstwach końcowych, bezpośrednio poprzedzających głowicę językową Language Model Head, ruter kieruje zasoby obliczeniowe wyłącznie na ostatni token sekwencji, optymalizując predykcję rozkładu prawdopodobieństwa kolejnego słowa i eliminując zbędne modyfikacje historii kontekstu.

Architektury hybrydowe: Synergia MoD plus MoE w modelach nowej generacji

Prawdziwa eksplozja wydajności następuje w momencie połączenia obu paradygmatów w zintegrowaną architekturę hybrydową Mixture-of-Depths-and-Experts MoD plus MoE. W takim modelu dwa ortogonalne mechanizmy routingu współpracują w ramach tej samej warstwy sieciowej. W pierwszym kroku ruter głębokości MoD decyduje, czy dany token w ogóle wymaga przetworzenia w danym bloku. Jeśli token zostaje zakwalifikowany do wykonania obliczeń, w drugim kroku ruter ekspertów MoE kieruje go do najbardziej wyspecjalizowanego bloku parametrów spośród kilkunastu dostępnych ekspertów.

Taka kombinacja pozwala na osiągnięcie zjawiska sub-liniowego skalowania kosztu wnioskowania. Model może posiadać setki miliardów parametrów w pamięci klastra, reprezentując gigantyczną encyklopedyczną wiedzę domenową, a jednocześnie dla przeciętnego tokenu angażować zaledwie ułamek procenta całkowitej puli FLOPs. Testy empiryczne wykazały, że hybrydowy model MoD plus MoE trenuje się do zadanego poziomu perplexity nawet trzykrotnie szybciej niż standardowy gęsty transformator o tej samej mocy obliczeniowej, zużywając przy tym ułamek energii elektrycznej na poziomie pojedynczego zapytania inference.

Dodatkowo architektura MoD pozwala na dynamiczną adaptację budżetu obliczeniowego w czasie rzeczywistym. Podczas gdy w fazie treningu pojemność warstw jest zablokowana na stałym poziomie na przykład pięćdziesięciu procent, podczas serwowania modelu na produkcji operator systemu może dynamicznie przesuwać próg odcięcia rutera w zależności od bieżącego obciążenia serwerów. W godzinach szczytowego ruchu próg Top-K może zostać obniżony, zmuszając model do bardziej agresywnego pomijania warstw i podwajając przepustowość klastra kosztem marginalnego spadku precyzji na skomplikowanych zadaniach logicznych, podczas gdy w momentach niskiego ruchu budżet może zostać rozszerzony do maksimum.

Zarządzanie pamięcią KV-Cache i likwidacja wąskiego gardła przepustowości

Wielkoskalowe serwowanie modeli LLM w architekturze autoregresyjnej cierpi na tak zwaną klątwę ograniczenia pamięciowego Memory-Bound Regime. Podczas gdy faza przetwarzania promptu Prefill faza generuje wysokie obciążenie rdzeni tensorowych przy wysokiej arytmetycznej gęstości obliczeń, faza generowania kolejnych słów krok po kroku Token Generation polega na sekwencyjnym odczytywaniu z pamięci HBM gigantycznych tablic wektorów kluczy i wartości Key-Value Cache. Przepustowość magistrali pamięciowej, a nie surowa moc obliczeniowa teraflopsów procesora, decyduje o liczbie tokenów na sekundę generowanych dla użytkownika.

W klasycznym transformatorze każdy wygenerowany token powiększa bufor KV-Cache we wszystkich warstwach sieci. Przy długich kontekstach rzędu stu tysięcy tokenów rozmiar pamięci podręcznej KV potrafi zająć kilkadziesiąt gigabajtów pamięci VRAM dla pojedynczego wątku konwersacji, drastycznie ograniczając liczbę równolegle obsługiwanych użytkowników na jednym węźle serwerowym. W architekturze Mixture-of-Depths dochodzi do przełomu: jeśli ruter danej warstwy uzna, że dany token omija blok samoobsługi uwagi, wektor klucza i wartości dla tego tokenu w tej konkretnej warstwie w ogóle nie jest obliczany ani alokowany w buforze pamięci.

Prowadzi to do powstania rzadkiego bufora pamięci Sparse KV-Cache, którego objętość jest proporcjonalnie mniejsza o współczynnik pomijania warstw. Oszczędność ta ma charakter kaskadowy: redukcja rozmiaru KV-Cache o połowę pozwala na dwukrotne zwiększenie maksymalnego rozmiaru paczki Batch Size na pojedynczym akceleratorze graficznym. Oznacza to, że centrum danych wyposażone w tę samą liczbę serwerów może obsłużyć dwukrotnie większą liczbę jednoczesnych użytkowników bez konieczności dokupowania drogich szaf serwerowych ani ponoszenia gigantycznych kosztów rozbudowy infrastruktury zasilania energetycznego.

Integracja architektury Mixture-of-Depths z nowoczesnymi menedżerami pamięci stronicowanej, takimi jak PagedAttention w silnikach vLLM czy TensorRT-LLM, wprowadza zupełnie nową jakość w zarządzaniu alokacją bloków pamięci wirtualnej. Tradycyjne systemy muszą rezerwować ciągłe tablice pamięci dla każdego strumienia zapytań, co prowadzi do potężnej fragmentacji wewnętrznej i zewnętrznej. W modelu MoD alokator bloków może przydzielać mikroskopijne strony pamięci podręcznej wyłącznie dla tych warstw, w których dany token uzyskał autoryzację od rutera. Ponadto wyeliminowanie konieczności projekcji liniowych macierzy kluczy i wartości W_k oraz W_v drastycznie odciąża jednostki wykonawcze ALU, redukując opóźnienia komunikacyjne na magistralach PCIe i SXM5.

Wyniki empiryczne: Matematyka, kodowanie i testy benchmarkowe

Główną obawą inżynierów badawczych przed wdrożeniem architektury pomijania warstw było ryzyko utraty zdolności głębokiego rozumowania w zadaniach wieloetapowych, takich jak dowodzenie twierdzeń matematycznych, rozwiązywanie problemów algorytmicznych czy synteza złożonego kodu oprogramowania. Krytycy argumentowali, że pominięcie warstw uwagi może przerwać ciągłość łańcucha myśli Chain-of-Thought i doprowadzić do halucynacji w kluczowych punktach dedukcji logicznej.

Rygorystyczne testy ewaluacyjne przeprowadzone na standardowych zestawach danych, takich jak GSM8k, MATH, HumanEval oraz MMLU, przyniosły jednak zdumiewające rezultaty. Modele trenowane w architekturze Mixture-of-Depths przy budżecie obliczeniowym zredukowanym o pięćdziesiąt procent osiągnęły niemal identyczne, a w niektórych przypadkach wręcz wyższe wyniki punktowe w porównaniu z gęstymi modelami bazowymi o identycznej liczbie parametrów. Analiza rozkładu aktywacji rutera ujawniła fascynujące zjawisko: model w sposób całkowicie autonomiczny nauczył się alokować sto procent dostępnego budżetu obliczeniowego na tokenach reprezentujących operatory matematyczne, nazwy zmiennych oraz słowa kluczowe logiki dedukcyjnej, bezlitośnie pomijając słowa pomocnicze i powtórzenia składniowe.

Oznacza to, że gęste transformatory przez lata cierpiały na zjawisko nadmiernej parametryzacji obliczeniowej Over-Computation na prostych fragmentach tekstu, co mogło wręcz wprowadzać szum w reprezentacjach semantycznych. Dzięki selektywnemu skupieniu mocy obliczeniowej tam, gdzie jest ona faktycznie potrzebna, Mixture-of-Depths działa jak precyzyjny filtr wzmacniający sygnał kognitywny i tłumiący redundancję informacyjną.

Warto również zestawić architekturę Mixture-of-Depths z innymi wiodącymi metodami akceleracji inferencji, w szczególności z dekodowaniem spekulatywnym Speculative Decoding oraz modelami przestrzeni stanów State Space Models, takimi jak Mamba czy RWKV. Dekodowanie spekulatywne wymaga równoległego utrzymywania małego modelu pomocniczego draft model, który generuje kandydatów weryfikowanych następnie przez duży model w jednym kroku. Choć metoda ta przyspiesza generację, wprowadza dodatkowy narzut pamięciowy i komplikację infrastruktury. Z kolei architektura MoD nie wymaga żadnego dodatkowego modelu bazowego, integrując selektywność obliczeniową bezpośrednio w natywne wagi transformatora. Ponadto koncepcja warunkowego pomijania warstw może zostać bez przeszkód zaadaptowana do modeli Mamba i architektur rekurencyjnych, wyznaczając uniwersalny paradygmat optymalizacji dla wszystkich współczesnych rodzin głębokich sieci neuronowych.

Transformacja ekonomiki centrów danych i horyzont modeli post-transformatorowych

Wpływ architektury Mixture-of-Depths na globalny ekosystem sztucznej inteligencji wykracza daleko poza czystą teorię uczenia maszynowego. Stoimy w obliczu fundamentalnego przeskalowania bilansu energetycznego chmury obliczeniowej. Przy obecnym tempie adopcji generatywnej AI zapotrzebowanie na energię elektryczną w centrach danych miało wzrosnąć do poziomów zagrażających stabilności regionalnych sieci przesyłowych. Możliwość dwukrotnego obniżenia kosztu energetycznego wnioskowania przy zachowaniu najwyższej klasy rozumowania jest kluczem do zachowania rentowności modeli komercyjnych.

Ponadto Mixture-of-Depths stanowi pierwszy krok w stronę paradygmatu obliczeń adaptacyjnych do problemu Problem-Adaptive Compute. W tradycyjnym programowaniu algorytm wykonuje pętlę obliczeniową tak długo, jak wymaga tego złożoność instrukcji. W transformatorach sieć zawsze wykonywała dokładnie N kroków. Integracja MoD z mechanizmami wnioskowania w czasie testowym Test-Time Compute otwiera drogę do systemów, które na proste pytanie odpowiedzą w ułamku milisekundy przy użyciu zaledwie kilku warstw, a nad skomplikowanym dylematem architektonicznym spędzą setki cykli dynamicznego routingu.

Mixture-of-Depths udowadnia, że era bezmyślnego dorzucania gigawatów energii i setek tysięcy procesorów do statycznych struktur sieciowych dobiega końca. Przyszłość inteligencji maszynowej należy do architektur elastycznych, samoorganizujących się i dynamicznie alokujących zasoby poznawcze zgodnie z rzeczywistą trudnością wyzwania. To nie surowa masa parametrów, lecz elegancja matematycznego trasowania informacji zadecyduje o tym, kto wygra globalny wyścig technologiczny o stworzenie wysoce efektywnej, zrównoważonej i wszechstronnej sztucznej inteligencji ogólnej, zdolnej do ciągłego działania w skali całego globu.