Architektury Mixture-of-Depths MoD i dynamiczny routing warstw: Jak warunkowe pomijanie obliczeń, mechanizmy routerów decyzyjnych i alokacja budżetu FLOPS redefiniują efektywność wnioskowania wielkich modeli językowych

Od zarania rewolucji transformerów zapoczątkowanej w 2017 roku dominujący paradygmat głębokiego uczenia opierał się na założeniu absolutnej statyczności obliczeniowej. Bez względu na to, czy model przetwarzał skomplikowane twierdzenie matematyczne, wielowątkową analizę prawną, czy zaledwie kropkę kończącą zdanie i powszechny spójnik gramatyczny, każdy pojedynczy token w sekwencji musiał przejść przez dokładnie taką samą liczbę warstw wielogłowicowej atencji Multi-Head Attention oraz sieci feed-forward FFN. Z punktu widzenia teorii informacji i efektywności termodynamicznej podejście to stanowi monumentalne marnotrawstwo zasobów obliczeniowych, alokując miliardy operacji zmiennoprzecinkowych na trywialne decyzje leksykalne.

Przełomem w przezwyciężeniu tej nieefektywności stała się koncepcja obliczeń warunkowych Conditional Computation, a w szczególności architektura mieszaniny głębokości Mixture-of-Depths MoD, rozwinięta przez zespół badawczy Google DeepMind. O ile powszechnie stosowana architektura Mixture-of-Experts MoE dynamicznie kieruje tokeny do wyspecjalizowanych podsieci ekspertów wewnątrz danej warstwy, o tyle wciąż zmusza każdy token do pokonania pełnej osi głębokości modelu. Mixture-of-Depths idzie o krok dalej: wprowadza elastyczny mechanizm routingu pionowego, umożliwiając tokenom całkowite ominięcie wybranych bloków transformera za pośrednictwem bezpośrednich połączeń rezydualnych Residual Connections, gdy ich przetworzenie nie wnosi nowej wartości semantycznej.

Wdrożenie architektury MoD w modelach bazowych nowej generacji pozwala na drastyczne obniżenie zapotrzebowania na pamięć podręczną kluczy i wartości KV Cache oraz podwojenie przepustowości serwerów inferencyjnych opartych na akceleratorach graficznych NVIDIA Blackwell i Hopper. Zdolność modelu do dynamicznego decydowania w ułamku nanosekundy, które tokeny zasługują na pełną głębię analityczną sieci, a które mogą zostać przekazane bezpośrednio do kolejnych etapów wnioskowania, otwiera zupełnie nowy rozdział w inżynierii sztucznej inteligencji, przybliżając działanie maszynowych sieci neuronowych do energetycznej elegancji ludzkiego mózgu.

Matematyka routingu pionowego: Logity routera i mechanizm Top-k

Fundamentem architektury Mixture-of-Depths jest wprowadzenie do każdego modyfikowanego bloku transformera wyspecjalizowanego, niskowymiarowego modułu decyzyjnego zwanego routerem. Dla każdej reprezentacji wektorowej tokenu x na wejściu do warstwy router oblicza skalarny logit r będący iloczynem skalarnym wektora wejściowego oraz wyuczalnego wektora wag w. Logit ten reprezentuje wagę priorytetu obliczeniowego, określając, jak bardzo dany token potrzebuje skomplikowanych przekształceń w mechanizmie atencji i warstwie nieliniowej.

Zamiast stosować miękkie bramkowanie ze zmiennym progiem aktywacji, co w środowisku równoległych obliczeń GPU prowadziłoby do nieprzewidywalnych opóźnień i desynchronizacji wątków, architektura MoD narzuca sztywny, deterministyczny budżet pojemności Capacity Budget C. Budżet ten definiuje maksymalny ułamek tokenów w sekwencji, na przykład pięćdziesiąt lub sześćdziesiąt procent, które mogą w danej warstwie skorzystać z pełnego bloku obliczeniowego. Za pomocą operacji Top-k router wybiera k tokenów o najwyższych wartościach logitów, kierując je do modułu atencji i sieci FFN, podczas gdy pozostałe tokeny omijają blok obliczeniowy drogą rezydualną bez wykonywania jakichkolwiek mnożeń macierzowych.

Aby umożliwić stabilny trening modelu metodą wstecznej propagacji błędu przez dyskretną operację wyboru Top-k, inżynierowie DeepMind zastosowali estymator przejścia prostego Straight-Through Estimator STE oraz mechanizm skalowania logitów. W fazie propagacji w przód wybór jest dyskretny i bezwzględny, natomiast gradienty funkcji straty płyną przez ciągłe wartości logitów routera, ucząc sieć optymalnej alokacji budżetu. W efekcie wagi routera uczą się bezbłędnie identyfikować tokeny o kluczowym znaczeniu logicznym, takie jak liczby w równaniach, nazwy własne i terminy techniczne, automatycznie przyznając im pierwszeństwo w dostępie do zasobów obliczeniowych.

Optymalizacja pamięci KV Cache i przełamywanie bariery Memory Bandwidth

Największym wąskim gardłem współczesnych centrów danych serwujących modele językowe nie jest czysta moc obliczeniowa tensorów liczona w TFLOPS, lecz przepustowość magistrali pamięci Memory Bandwidth podczas odczytu i zapisu pamięci podręcznej KV Cache. W procesie generowania tekstu faza dekodowania generuje po jednym tokenie na krok, zmuszając akcelerator do odczytywania gigabajtów wektorów kluczy i wartości z pamięci HBM dla każdego wygenerowanego słowa. Gdy kontekst rozmowy sięga dziesiątek tysięcy tokenów, pamięć KV Cache całkowicie zapycha dostępną przestrzeń RAM procesora graficznego, drastycznie ograniczając maksymalny rozmiar partii Batch Size.

Architektura Mixture-of-Depths przynosi rewolucyjną ulgę dla podsystemu pamięciowego. Dla tokenów, które w danym bloku transformera zostały przekierowane na ścieżkę ominięcia Bypass Path, model nie musi generować ani zapisywać nowych wektorów kluczy i wartości w pamięci KV Cache. Jeśli połowa warstw transformera operuje w reżimie MoD z budżetem pięćdziesięciu procent, całkowity rozmiar pamięci podręcznej KV Cache kurczy się o dwadzieścia pięć do trzydziestu pięciu procent na całej długości sekwencji kontekstowej.

Ta redukcja objętości danych oznacza natychmiastowe skrócenie czasu oczekiwania na transfery z pamięci HBM3e, co przekłada się na dwukrotny wzrost liczby zapytań obsługiwanych jednocześnie przez pojedynczy serwer o statusie klastra obliczeniowego. Co więcej, w przypadku generowania długich odpowiedzi o charakterze analitycznym mniejszy ślad pamięciowy pozwala na utrzymanie wysokich prędkości generowania tokenów na sekundę bez konieczności stosowania agresywnej, stratnej kompresji wektorów za pomocą kwantyzacji INT4 czy usuwania tokenów z historii uwagi Attention Sinks.

Formalizm matematyczny i stabilizacja gradientów w algorytmie MoD

Aby precyzyjnie zrozumieć mechanizm działania architektury Mixture-of-Depths, konieczne jest przeanalizowanie jej formalizmu matematycznego na poziomie pojedynczego bloku obliczeniowego. W standardowym transformerze wektor reprezentacji i-tego tokenu x i na wyjściu z warstwy l jest wyznaczany jako suma wektora wejściowego oraz nieliniowej transformacji f realizowanej przez moduły atencji i sieci feed-forward. W architekturze MoD równanie to zostaje przekształcone w funkcję warunkową sterowaną binarną maską decyzyjną m i.

Wektor wag routera w rzutuje wektor reprezentacji tokenu do przestrzeni jednowymiarowej, generując skalarny wskaźnik priorytetu r i. Wektor wszystkich priorytetów r w sekwencji o długości T podlega operacji sortowania w celu wyznaczenia wartości progowej odpowiadającej k-temu elementowi, gdzie k jest zdefiniowane jako iloczyn długości sekwencji T oraz zadanego współczynnika pojemności Capacity Factor C. Jeśli wskaźnik r i danego tokenu jest większy lub równy progowi k-tego elementu, zmienna decyzyjna m i przyjmuje wartość jeden, kierując token do bloku obliczeniowego f. W przeciwnym razie m i wynosi zero, a token przemieszcza się wyłącznie wzdłuż bezpośredniej ścieżki tożsamościowej Identity Connection.

Niezwykle newralgicznym problemem treningowym jest podatność routerów na zjawisko zapadania decyzji Router Collapse, w którym sieć zaczyna faworyzować stałą grupę tokenów, na przykład zawsze te same pozycje pozycyjne w oknie kontekstowym, ignorując treść semantyczną. Aby temu zapobiec, funkcja straty modelu zostaje wzbogacona o pomocniczy człon regularyzacyjny Auxiliary Load Balancing Loss. Człon ten minimalizuje wariancję rozkładu prawdopodobieństwa przydziału tokenów do ścieżki obliczeniowej, wymuszając na routerze równomierne rozpraszanie budżetu obliczeniowego w całej sekwencji i zapobiegając powstawaniu martwych neuronów decyzyjnych.

Inżynieria kerneli CUDA: Asynchroniczne operacje TMA i pamięć współdzielona

Z punktu widzenia inżynierii niskopoziomowej największą przeszkodą we wdrażaniu obliczeń warunkowych na procesorach graficznych GPU jest zjawisko fragmentacji pamięci i utrata koalescencji odczytów Memory Coalescing. Standardowe kernele macierzowe GEMM w bibliotekach cuBLAS i CUTLASS zakładają, że macierze wejściowe są ciągłe w przestrzeni adresowej pamięci VRAM. Wybór podzbioru tokenów przez operację Top-k tworzy poszarpaną, rzadką strukturę danych, która przy naiwnej implementacji zmuszałaby wątki GPU do nieskoordynowanych, powolnych odczytów z pamięci globalnej.

Rozwiązaniem tego problemu stało się zaprojektowanie wyspecjalizowanych kerneli fuzji Fused MoD Kernels, wykorzystujących zaawansowane instrukcje akceleratorów NVIDIA architektury Hopper i Blackwell. W pierwszym kroku wątki w obrębie każdego warpu wykonują operację szybkiego sumowania prefiksowego Warp-Level Prefix Scan w rejestrach, wyznaczając w ułamku nanosekundy nowe, zwarte indeksy docelowe dla wybranych tokenów. Następnie zoptymalizowany moduł sprzętowy Tensor Memory Accelerator TMA kopiuje wyselekcjonowane wektory bezpośrednio z pamięci HBM do pamięci współdzielonej Shared Memory bloku SM w sposób w pełni asynchroniczny, z pominięciem rejestrów procesora.

Dopiero na tak zagęszczonej, ciągłej macierzy uruchamiane są rdzenie Tensor Core wykonujące operacje w formacie FP8 lub BF16. Po zakończeniu transformacji atencji i warstwy FFN analogiczny asynchroniczny kernel rozpraszający Scatter Kernel nanosi obliczone delty z powrotem do bufora sekwencji wyjściowej za pomocą wektorowych instrukcji atomowych. Zastosowanie tak wyrafinowanego potoku przetwarzania sprawia, że całkowity narzut związany z zarządzaniem pamięcią i selekcją tokenów wynosi mniej niż dwie setne milisekundy, co stanowi zaledwie ułamek procenta całkowitego czasu inferencji warstwy.

Spekulatywne dekodowanie i dynamiczne skalowanie głębokości Test-Time Compute

Architektura Mixture-of-Depths otwiera zupełnie nowe możliwości w dziedzinie przyspieszania generowania sekwencji za pomocą zaawansowanego dekodowania spekulatywnego Speculative Decoding. W klasycznym podejściu spekulatywnym konieczne jest utrzymywanie w pamięci dwóch oddzielnych modeli: małego, szybkiego modelu szkicującego Draft Model oraz wielkiego modelu weryfikującego Target Model. Utrzymanie dwóch modeli rodzi poważne komplikacje w synchronizacji wag i podwaja narzut pamięciowy.

Model oparty na architekturze MoD posiada wbudowaną, natywną zdolność do generowania hipotez spekulatywnych bez konieczności ładowania zewnętrznego modelu pomocniczego. Podczas generowania szkicu tokeny mogą być wymuszone do podróżowania wyłącznie po skróconych ścieżkach omijających, co przekształca wielki model w błyskawiczny generator szkiców działający z prędkością kilkuset tokenów na sekundę. Następnie wygenerowany ciąg tokenów jest weryfikowany równolegle w jednym przejściu przez pełną głębokość sieci, gdzie routery przyznają pełny budżet obliczeniowy, natychmiast zatwierdzając poprawne słowa lub korygując błędy logiczne.

Co więcej, w zaawansowanych systemach rozumowania opartych na skalowaniu obliczeń w czasie testu Test-Time Compute, takich jak architektury o1 czy R1, budżet pojemności Capacity Factor C może być modyfikowany dynamicznie w trakcie generowania odpowiedzi. Gdy model rozwiązuje trudny problem dowodowy lub generuje kod o krytycznym znaczeniu, system automatycznie podnosi parametr C z pięćdziesięciu do dziewięćdziesięciu procent dla fazy planowania, alokując maksymalną moc obliczeniową na wieloetapowe rozumowanie, po czym obniża budżet do trzydziestu procent w fazie syntaktycznego formatowania tekstu wynikowego.

Empiryczna weryfikacja benchmarkowa i integralność wiedzy faktograficznej

Podstawowym pytaniem, jakie stawiali inżynierowie przed wdrożeniem architektury MoD do modeli produkcyjnych, była obawa o potencjalną degradację wiedzy faktograficznej zmagazynowanej w wagach warstw FFN. W klasycznej teorii transformerów to właśnie warstwy perceptronu wielowarstwowego FFN pełnią funkcję asocjacyjnej pamięci trwałej Key-Value Memory, w której zakodowane są encyklopedyczne fakty o świecie. Istniało ryzyko, że pomijanie warstw doprowadzi do utraty zdolności przywoływania rzadkich informacji.

Rygorystyczne testy empiryczne przeprowadzone na zestawach danych MMLU, GSM8K, HumanEval oraz Big-Bench Hard rozwiały te obawy w sposób jednoznaczny. Modele MoD wytrenowane przy budżecie obliczeniowym pięćdziesięciu procent osiągają wyniki identyczne, a w niektórych zadaniach logicznych wręcz wyższe niż modele gęste Dense o dokładnie takim samym budżecie treningowym FLOPS. Kluczem do tego sukcesu jest fakt, że model MoD zamiast marnować parametry na przetwarzanie trywialnych zależności w płytkich strukturach gęstych, może posiadać znacznie większą całkowitą liczbę warstw i parametrów, zachowując ten sam koszt wnioskowania na token.

Routery uczą się precyzyjnie separować funkcje warstw: tokeny wymagające wydobycia faktów historycznych czy technicznych są bezbłędnie kierowane przez wyspecjalizowane bloki FFN, podczas gdy tokeny syntaktyczne omijają te moduły bez zakłócania ich stanów wewnętrznych. W rezultacie model charakteryzuje się wyższą gęstością semantyczną przetwarzania, eliminując redundancję reprezentacji i gwarantując bezprecedensową wierność faktograficzną przy zachowaniu rekordowej efektywności energetycznej.

Symbioza architektoniczna: Integracja Mixture-of-Depths z Mixture-of-Experts

Choć architektura Mixture-of-Depths sama w sobie przynosi bezprecedensowy zysk wydajnościowy, jej prawdziwy potencjał ujawnia się w połączeniu z architekturą rzadkich ekspertów Mixture-of-Experts MoE, tworząc zunifikowany model rzadkości dwuosiowej MoD plus MoE. W takim hybrydowym transformerze routing odbywa się w dwóch ortogonalnych wymiarach: pionowym wzdłuż głębokości sieci oraz poziomym wzdłuż przestrzeni wyspecjalizowanych wag parametrów.

W pierwszej kolejności router głębokości MoD dokonuje selekcji tokenów, odrzucając te, które nie wymagają modyfikacji reprezentacji w danej warstwie. Następnie tokeny zakwalifikowane do wykonania obliczeń trafiają do routera MoE, który przydziela je do ściśle określonych ekspertów domenowych, na przykład ekspertów od analizy kodu źródłowego, składni języka naturalnego czy obliczeń arytmetycznych. Taka kaskada decyzyjna sprawia, że całkowita liczba aktywnych parametrów przypadających na pojedynczy token spada do ułamka procenta całkowitej pojemności wagowej modelu.

Przykładowo model o łącznej liczbie parametrów rzędu trzystu miliardów może w fazie wnioskowania aktywować zaledwie dziesięć do dwunastu miliardów wag na token, zachowując jakość rozumowania równą modelom gęstym Dense o pełnej skali. Rozwiązanie to zostało z powodzeniem zaadaptowane w najnowocześniejszych architekturach komercyjnych i otwartoźródłowych, takich jak Jamba czy DeepSeek-V3, deklasując tradycyjne transformery pod względem kosztu energetycznego przypadającego na milion przetworzonych tokenów.

Alokacja budżetu FLOPS a dynamika semantyczna sekwencji

Niezwykle fascynującym aspektem analizy empirycznej modeli MoD jest obserwacja tego, jak sieć neuronowa samodzielnie uczy się alokować swój budżet obliczeniowy w zależności od natury przetwarzanego tekstu. Badania nad zachowaniem routerów w trakcie inferencji ujawniły wyraźną korelację pomiędzy entropią informacji w danym punkcie tekstu a prawdopodobieństwem skierowania tokenu na pełną ścieżkę obliczeniową.

W przypadku fragmentów tekstu o charakterze wysoce przewidywalnym, takich jak powtarzalne formuły grzecznościowe, standardowe znaczniki składniowe w językach programowania HTML i JSON czy utarte frazy frazeologiczne, routery w początkowych i środkowych warstwach modelu niemal w stu procentach kierują tokeny na skróty omijające. W rezultacie model przemyka przez takie sekwencje z minimalnym zużyciem energii, nie marnując cykli procesora na oczywiste powiązania leksykalne.

Gdy jednak sekwencja dociera do punktu zwrotnego, na przykład do złożonego warunku logicznego w algorytmie, niespodziewanego zwrotu akcji w tekście literackim lub kluczowej zmiennej w równaniu fizycznym, logity routera gwałtownie szybują w górę. Wszystkie dostępne zasoby obliczeniowe warstwy zostają natychmiast zogniskowane na tym pojedynczym punkcie skupienia uwagi, umożliwiając głęboką ekstrakcję relacji kontekstowych. W ten sposób Mixture-of-Depths realizuje w praktyce postulat zmiennej prędkości myślenia maszynowego, przyspieszając na prostych odcinkach i zwalniając tam, gdzie wymagana jest bezwzględna precyzja dedukcji.

Implikacje dla zielonej transformacji AI i zrównoważonego rozwoju centrów danych

Przełom w efektywności energetycznej oferowany przez Mixture-of-Depths nabiera szczególnego znaczenia w kontekście globalnego kryzysu energetycznego wywołanego gwałtowną ekspansją wielkich centrów danych sztucznej inteligencji. Przy prognozowanym wzroście zapotrzebowania na moc obliczeniową osiągającym setki terawatogodzin rocznie dalsze skalowanie gęstych modeli językowych doprowadziłoby do przeciążenia regionalnych sieci elektroenergetycznych i drastycznego wzrostu emisji dwutlenku węgla w ramach raportowania emisyjnego Scope 2.

Wdrożenie architektury MoD pozwala na zredukowanie średniego zużycia energii elektrycznej przypadającego na pojedyncze zapytanie użytkownika z dwunastu dżuli do niespełna czterech dżuli. W skali gigantycznych klastrów chmurowych obsługujących miliardy interakcji dziennie przekłada się to na oszczędności setek megawatów mocy zasilania ciągłego oraz radykalne zmniejszenie zużycia wody w układach chłodzenia wyparnego serwerowni.

Co równie istotne, redukcja śladu pamięciowego i narzutu obliczeniowego otwiera drogę do migracji zaawansowanych modeli wnioskujących ze stacjonarnych centrów danych bezpośrednio na urządzenia brzegowe Edge AI. Zminiaturyzowane modele MoD mogą być z powodzeniem uruchamiane na pokładowych komputerach pojazdów autonomicznych, dronach zwiadowczych oraz robotach przemysłowych dysponujących skromnym budżetem energetycznym poniżej trzydziestu pięciu watów, gwarantując pełną prywatność danych i natychmiastowy czas reakcji bez konieczności łączności ze zdalną chmurą.

Wdrażanie w klastrach inferencyjnych i przyszłość obliczeń adaptacyjnych

Wdrożenie architektury MoD na skalę wielkich komercyjnych platform chmurowych wymagało przezwyciężenia wyzwań związanych z kompilacją grafów obliczeniowych w środowiskach takich jak vLLM, TensorRT-LLM czy HuggingFace TGI. Ponieważ operacja wyboru Top-k narusza jednolitość kształtu tensorów przetwarzanych przez rdzenie Tensor Core, programiści opracowali dedykowane kernele CUDA oparte na operacjach pakowania i rozpakowywania tensorów Pack and Unpack w pamięci współdzielonej Shared Memory procesora graficznego.

Kernele te w czasie poniżej kilkunastu mikrosekund dokonują kompresji aktywnych tokenów do zwartej macierzy, wykonują zoptymalizowane mnożenie GEMM na rdzeniach obliczeniowych, a następnie rozpraszają wyniki z powrotem do pełnej sekwencji za pomocą operacji addytywnej na buforze rezydualnym. Dzięki temu narzut czasowy samego mechanizmu routingu stanowi mniej niż jeden procent całkowitego czasu przejścia przez warstwę, gwarantując, że teoretyczne zyski z pomijania obliczeń przekładają się bezpośrednio na rzeczywiste przyspieszenie zegarowe w środowisku produkcyjnym.

Ewolucja w kierunku architektur o zmiennej głębokości obliczeń stanowi definitywny koniec ery monolitycznych, sztywnych transformerów. Dynamiczny routing warstw, inteligentna alokacja budżetu FLOPS i redukcja pamięci KV Cache wyznaczają nowy standard w projektowaniu modeli sztucznej inteligencji. Maszyny przyszłości nie będą już ślepo liczyć wszystkiego z jednakową intensywnością, lecz zyskają zdolność do elastycznego, oszczędnego gospodarowania własną uwagą obliczeniową, osiągając wyższy poziom inteligencji przy ułamku dotychczasowego zużycia energii elektrycznej.