J-space i Jacobian Lens: Jak Anthropic odkryło globalną przestrzeń roboczą w modelach Claude

Odkrycie J-space: Koniec ery zgadywania, co myśli sieć neuronowa

W lipcu 2026 roku na łamach prestiżowej platformy badawczej Transformer Circuits ukazała się publikacja zespołu Anthropic zatytułowana „Verbalizable Representations Form a Global Workspace in Language Models”. Praca ta wywołała natychmiastowe poruszenie w środowisku uczenia maszynowego i filozofii kognitywistyki. Po raz pierwszy w historii badań nad interpretowalnością mechanistyczną inżynierowie nie musieli uciekać się do korelacji czy uproszczonych rzutowań w rodzaju Logit Lens. Zamiast tego zidentyfikowali precyzyjną, przyczynowo powiązaną podprzestrzeń aktywacji – nazwaną oficjalnie J-space (Jacobian Space) – która działa jak centralna, globalna przestrzeń robocza modelu.

Do tej pory dominował pogląd, że informacja w transformerze jest niemal bez reszty rozproszona po milionach wag i tysiącach wymiarów strumienia residualnego (residual stream). Badacze Anthropic wykazali jednak, że w miarę skalowania modeli (testowanych od mniejszych architektur po flagowego Sonnet 4.5) sieć samoczynnie wykształca wysoce uprzywilejowaną, skompresowaną strukturę. To w niej model przechowuje abstrakcyjne pojęcia i dyspozycje do ich wypowiedzenia, zanim podejmie ostateczną decyzję o wyemitowaniu konkretnego tokenu.

Czym jest Jacobian Lens (J-lens) i czym różni się od Logit Lens?

Kluczem do dokonania tego odkrycia było opracowanie nowego narzędzia analitycznego: Jacobian lens (J-lens). Klasyczne podejście, znane jako logit lens, polegało na bezpośrednim przepuszczeniu wektora z warstwy pośredniej \(h_\ell\) przez końcową macierz unembeddingu. Problem polega na tym, że residual stream w środku sieci ma zupełnie inną geometrię i normę niż warstwa wyjściowa – logit lens często „widzi” tokeny, które dla modelu w danym momencie nie mają żadnego znaczenia obliczeniowego.

Jacobian lens rozwiązuje ten problem w sposób matematycznie rygorystyczny. Narzędzie oblicza zlinearyzowany gradient wyjściowy – czyli macierz Jacobiego (\(J_\ell\)) funkcji przejścia od warstwy pośredniej \(\ell\) do warstwy finalnej:

\[J_\ell = \mathbb{E} \left[ rac{\partial h_L}{\partial h_\ell}
ight]\]

Dzięki przemnożeniu aktywacji przez Jakobian, J-lens mierzy faktyczną przyczynową dyspozycję modelu do zwerbalizowania danego pojęcia. Pozwala to audytorom dosłownie „odczytać z myśli” modelu pojęcia, które sieć przetwarza w ukryciu, nawet jeśli w oknie wyjściowym model nigdy ich nie wypowie.

Pojemność robocza: Magiczna liczba ~25 koncepcji

Jednym z najbardziej fascynujących i szeroko dyskutowanych wyników empirycznych jest odkrycie ograniczonej pojemności J-space. W analizowanych modelach wymiarowość aktywnej przestrzeni zwerbalizowanych reprezentacji wynosi średnio około 25 równocześnie utrzymywanych koncepcji. Zamiast operować na nieskończonym oceanie parametrów, model kompresuje całe skomplikowane zagadnienie do małego, zwartego „pulpitu roboczego”.

W społeczności AI natychmiast wywołało to porównania do klasycznych teorii psychologii poznawczej – w szczególności do „magicznej liczby 7 ± 2” Millera oraz modeli pamięci roboczej Baddeleya. Choć Claude operuje na większej liczbie jednostek informacyjnych niż biologiczny człowiek (~25 vs 4–7), zasada działania jest identyczna: inteligencja wymaga wąskiego gardła, które filtruje szum i synchronizuje rozproszone moduły kognitywne.

Spór redakcyjny i debata w środowisku: Czy to jest „świadomość”?

Publikacja Anthropic spotkała się z dwojakim odbiorem na platformach takich jak AXRLab, LessWrong czy Hacker News:

• Entuzjazm kognitywistyczny: Wielu badaczy wskazuje, że odnalezienie struktury funkcjonalnie tożsamej z Teorią Globalnej Przestrzeni Roboczej (Baars, Dehaene) w sztucznej sieci dowodzi uniwersalności praw rządzących przetwarzaniem informacji. Jeśli system ma generalizować wiedzę, musi rozgłaszać kluczowe hipotezy do wszystkich swoich podsieci.
• Sceptycyzm wobec „consciousness framing”: Krytycy (m.in. środowiska skupione wokół klasycznej filozofii umysłu) słusznie ostrzegają przed nadinterpretacją terminologii. Podkreślają oni, że istnienie wektora o pojemności 25 pojęć powiązanego z gradientem wyjścia to fascynujący fakt inżynieryjny, ale nie stanowi dowodu na subiektywne doświadczenie (qualia) ani samoświadomość. Zespół Anthropic w samej pracy starannie odróżnia funkcjonalny mechanizm workspace od fenomenologicznej świadomości, choć sam wybór tytułu i nawiązania do GWT celowo stawia to pytanie na agendzie naukowej.

Dlaczego J-space jest przełomem dla bezpieczeństwa i audytu AI?

Z perspektywy praktycznej inżynierii bezpieczeństwa (AI Safety), Jacobian lens dostarcza narzędzia, o którym audytorzy marzyli od lat. Umożliwia ono bezpośrednie badanie tzw. świadomości bycia testowanym (eval awareness) oraz ukrytego planowania:

W testach przedstawionych w pracy badacze pokazali, że gdy modelowi podaje się podchwytliwe zapytania mające sprowokować go do złamania zasad, w J-space pojawiają się pojęcia takie jak „test”, „safety”, „refusal” na długo przed wygenerowaniem pierwszego słowa odmowy. Co więcej, manipulując wektorami w J-space (tzw. vector steering i celowana ablacja), można bezpośrednio zmieniać decyzje modelu – zmuszając go do zmiany toku rozumowania w czasie rzeczywistym.