Procesory neuromorficzne i impulsowe sieci SNN: Jak architektura Intel Loihi 2 i macierze memrystorowe przełamują barierę energetyczną von Neumanna

Współczesna rewolucja generatywnej sztucznej inteligencji, napędzana gigantycznymi modelami językowymi i transformatorami wizyjnymi, boryka się z fundamentalną barierą fizyczną, która w najbliższych latach może całkowicie zahamować jej rozwój. Barierą tą jest ściana pamięci von Neumanna Memory Wall oraz dramatyczny koszt energetyczny transferu danych między procesorem a pamięcią operacyjną. We współczesnych akceleratorach graficznych GPU i procesorach wektorowych TPU ponad dziewięćdziesiąt procent całkowitej energii zużywanej podczas inferencji sieci neuronowych nie jest przeznaczane na operacje arytmetyczne mnożenia i akumulacji MAC, lecz na fizyczne przepychanie miliardów bitów przez magistrale danych i stosy pamięci HBM.

W efekcie najnowocześniejsze centra danych zaczynają zużywać energię elektryczną porównywalną z zapotrzebowaniem całych aglomeracji miejskich, a pojedyncze szafy serwerowe wymagają setek kilowatów zasilania i zaawansowanego chłodzenia cieczowego. Tymczasem najbardziej zaawansowany znany układ przetwarzania informacji we wszechświecie, czyli ludzki mózg, realizuje nieporównywalnie bardziej złożone operacje percepcji, planowania i wnioskowania w czasie rzeczywistym przy budżecie energetycznym wynoszącym zaledwie dwadzieścia watów. Różnica w efektywności energetycznej między współczesnym superkomputerem krzemowym a strukturą biologiczną wynosi od pięciu do sześciu rzędów wielkości.

Aby zasypać tę termodynamiczną przepaść, inżynierowie mikroelektroniki zwrócili się ku paradygmatowi obliczeń neuromorficznych Neuromorphic Computing. Zamiast budować coraz większe, taktowane jednolitym zegarem układy von Neumanna, projektanci tworzą asynchroniczne, silnie równoległe systemy scalone naśladujące biologiczne neurony i synapsy. Na czele tej rewolucji stoi druga generacja procesora neuromorficznego Intel Loihi 2 oraz rozwój technologii memrystorowych realizujących analogowe obliczenia in-memory w macierzach krzyżowych crossbar.

Od synchronicznego zegara do asynchronicznych impulsów: Fizyka sieci SNN

Fundamentalną różnicą między klasycznymi sztucznymi sieciami neuronowymi ANN a biologicznym układem nerwowym jest sposób reprezentacji informacji w domenie czasu. W konwencjonalnych sieciach głębokich aktywacje neuronów są ciągłymi wartościami liczbowymi reprezentowanymi w formatach zmiennoprzecinkowych FP32, FP16 lub skwantowanych FP8 i INT4. Wszystkie neurony w danej warstwie wykonują obliczenia jednocześnie w każdym cyklu zegarowym, bez względu na to, czy przetwarzana klatka obrazu uległa jakiejkolwiek zmianie w stosunku do poprzedniej.

W impulsowych sieciach neuronowych Spiking Neural Networks SNN, określanych mianem trzeciej generacji sztucznej inteligencji, neurony komunikują się za pomocą ultrakrótkich impulsów binarnych, tak zwanych spikepów. Każdy neuron w sieci SNN posiada wewnętrzny stan potencjału membranowego, który integruje napływające sygnały synaptyczne w czasie. Dopiero gdy potencjał przekroczy określony próg pobudzenia, neuron generuje pojedynczy spikep o czasie trwania rzędu mikrosekundy i natychmiast resetuje swój stan. Informacja nie jest kodowana w amplitudzie sygnału, lecz w jego dynamice czasowej: częstotliwości wyładowań Rate Coding, precyzyjnym czasie pojawienia się pierwszego impulsu Time-to-First-Spike lub w różnicach fazowych między neuronami Phase Coding.

Taka architektura zapewnia naturalną, skrajną rzadkość obliczeniową Event-Based Sparsity dochodzącą do ponad dziewięćdziesięciu dziewięciu procent. W stanie spoczynku lub w przypadku braku zmian w otoczeniu neurony nie emitują impulsów, a odpowiadające im obwody krzemowe nie pobierają energii dynamicznej. Pobór mocy następuje wyłącznie w momencie pojawienia się istotnego zdarzenia w danych wejściowych, co pozwala na drastyczną redukcję zużycia energii elektrycznej w porównaniu z ciągle pracującymi procesorami GPU.

Modele matematyczne neuronów impulsowych: Od Hodgkina-Huxleya do Izhikevicha

Zrozumienie działania procesorów neuromorficznych wymaga przyjrzenia się ewolucji modeli matematycznych opisujących zjawiska elektrofizjologiczne w błonie komórkowej neuronu. Klasyczny model Alana Hodgkina i Andrew Huxleya z 1952 roku opiera się na układzie czterech nieliniowych równań różniczkowych zwyczajnych, które precyzyjnie modelują dynamikę kanałów jonowych sodu, potasu oraz prądu upływu. Choć model ten oferuje niemal idealną wierność biologiczną, jego złożoność obliczeniowa uniemożliwia bezpośrednią implementację na dużą skalę w cyfrowym krzemie, gdzie pojedynczy układ musi symulować miliony jednostek w czasie rzeczywistym.

Z tego względu inżynierowie sięgają po modele uproszczone, z których najbardziej rozpowszechniony jest model nieszczelnego integratora z progiem Leaky Integrate-and-Fire LIF. W modelu LIF potencjał membranowy jest traktowany jak obwód RC złożony z rezystora i kondensatora. Potencjał integruje prąd synaptyczny, powoli tracąc ładunek w wyniku nieszczelności rezystancyjnej. Choć model LIF jest niezwykle prosty w implementacji sprzętowej za pomocą prostych sumatorów i rejestrów przesuwających, nie jest w stanie odtworzyć bogatej dynamiki wyładowań, takiej jak salwy impulsów Bursting czy adaptacja częstotliwościowa.

Genialnym kompromisem okazał się dwurównaniowy model Eugene'a Izhikevicha, łączący biologiczną różnorodność modelu Hodgkina-Huxleya z efektywnością obliczeniową zbliżoną do LIF. Model Izhikevicha operuje na zmiennej potencjału błonowego oraz zmiennej powrotu opisującej wolniejszą dynamikę aktywacji prądów potasowych. Poprzez modyfikację zaledwie czterech stałych parametrów model potrafi symulować ponad dwadzieścia odmiennych wzorców behawioralnych neuronów kory mózgowej, w tym neurony regularnie wyładowujące się, neurony generujące przyspieszone serie spikepów oraz neurony wykazujące zjawisko post-inhibitorycznego odbicia. Współczesne procesory, takie jak Loihi 2, umożliwiają bezpośrednie ładowanie mikrokodu implementującego równania Izhikevicha w każdym rdzeniu.

Architektura krzemowa Intel Loihi 2: Milion neuronów w procesie Intel 4

Najbardziej zaawansowanym seryjnym ucieleśnieniem cyfrowej neuromorfiki jest procesor Intel Loihi 2, wytwarzany w litografii Intel 4 z wykorzystaniem ekstremalnego ultrafioletu EUV. Pojedynczy układ scalony integruje w sobie milion w pełni programowalnych neuronów oraz do stu dwudziestu milionów synaps na powierzchni zaledwie trzydziestu jeden milimetrów kwadratowych, osiągając gęstość upakowania struktur obliczeniowych ośmiokrotnie wyższą niż jego poprzednik pierwszej generacji.

Sercem układu Loihi 2 jest sieć asynchronicznych rdzeni neuromorficznych połączonych wieloosiową magistralą Network-on-Chip NoC, pozbawioną globalnego sygnału zegarowego. Komunikacja między rdzeniami odbywa się w oparciu o protokół Address-Event Representation AER, w którym pakiety danych zawierają jedynie adres nadawcy i znaczniki czasowe wygenerowanego spika. Dzięki temu poszczególne obszary procesora pracują z niezależną dynamiką czasową, aktywując się natychmiast po nadejściu impulsu z sąsiedniego węzła.

Kluczowym przełomem technologicznym w Loihi 2 jest wprowadzenie w pełni programowalnych modeli neuronów za pośrednictwem otwartego środowiska programistycznego Lava. Podczas gdy starsze procesory neuromorficzne były na sztywno ograniczone do prostego modelu nieszczelnego integratora z progiem Leaky Integrate-and-Fire LIF, Loihi 2 pozwala programistom na implementację niestandardowych równań różniczkowych dynamiki membranowej. Umożliwia to modelowanie neuronów rezonansowych, adaptacji progowej, a także przesyłanie wraz ze spikiem zminiaturyzowanego ładunku informacyjnego w postaci zintegrowanej liczby całkowitej Graded Spikes, co pozwala na bezstratną hybrydyzację algorytmów SNN z klasycznymi warstwami konwolucyjnymi i uwagowymi.

Algorytmy treningowe SNN: Metoda surogatu gradientowego i konwersja ANN-to-SNN

Przez dekady największą barierą stojącą na drodze rozwoju sieci impulsowych był brak efektywnych metod ich trenowania. Klasyczny algorytm wstecznej propagacji błędu Backpropagation wymaga obliczania pochodnych cząstkowych funkcji aktywacji. Tymczasem funkcja generowania spika jest matematyczną funkcją schodkową Heaviside'a, której pochodna w punkcie progowym jest nieskończona, a wszędzie indziej wynosi zero. Zjawisko to uniemożliwiało bezpośrednie stosowanie standardowych optymalizatorów spadku wzdłuż gradientu typu Adam czy SGD.

Przełom przyniosła koncepcja uczenia za pomocą surogatu gradientowego Surrogate Gradient Learning. W fazie propagacji w przód sieć SNN generuje rzeczywiste, dyskretne impulsy binarne. Natomiast w fazie propagacji błędu wstecz nieciągła funkcja schodkowa jest zastępowana gładką funkcją różniczkowalną, taką jak pochodna funkcji logistycznej, funkcja arcus tangens lub funkcja trójkątna. Pozwala to na zastosowanie metody wstecznej propagacji w czasie BPTT Backpropagation Through Time znanej z rekurencyjnych sieci RNN i trenowanie głębokich sieci impulsowych bezpośrednio z surowych danych sensorycznych.

Równolegle rozwijana jest metoda konwersji ANN-to-SNN. W tym podejściu głęboka sieć konwolucyjna lub transformator jest najpierw trenowany przy użyciu konwencjonalnych bibliotek PyTorch lub TensorFlow z wykorzystaniem funkcji aktywacji ReLU. Następnie wagi modelu są poddawane precyzyjnemu skalowaniu progów napięciowych i transferowane do sieci impulsowej, w której częstotliwość generowania spikepów odpowiada wielkości aktywacji ciągłej. Technika ta pozwala na osiągnięcie dokładności klasyfikacji obrazów ImageNet na poziomie powyżej osiemdziesięciu procent przy jednoczesnej redukcji zużycia energii o czynnik dziesięć do dwudziestu podczas inferencji na procesorze neuromorficznym.

Pamięć memrystorowa i obliczenia in-memory w macierzach krzyżowych crossbar

Chociaż cyfrowe procesory neuromorficzne, takie jak Loihi 2 czy TrueNorth firmy IBM, osiągają wybitną efektywność energetyczną, ostateczną granicą miniaturyzacji neuromorfiki są układy analogowe bazujące na memrystorach Memristive Crossbar Arrays. Memrystor, czyli rezystor z pamięcią, którego istnienie teoretyczne przewidział Leon Chua w 1971 roku, a pierwszy fizyczny prototyp stworzyło Hewlett-Packard w 2008 roku, to element dwukońcówkowy, którego przewodność elektryczna zależy od całki ładunku, jaki przez niego przepłynął.

Współczesna mikroelektronika wykorzystuje technologie pamięci rezystancyjnych ReRAM, pamięci z mostkiem przewodzącym CBRAM Conductive-Bridging RAM oraz pamięci ze zmianą fazy PCM Phase-Change Memory do budowy dwuwymiarowych macierzy krzyżowych. W takiej macierzy linie bitowe i linie słowne krzyżują się pod kątem prostym, a w każdym punkcie przecięcia znajduje się pojedynczy memrystor pełniący rolę biologicznej synapsy. Zamiast odczytywać wagi sieci z zewnętrznej pamięci DRAM i przesyłać je do jednostki arytmetycznej ALU, wagi synaptyczne są bezpośrednio zakodowane w wartości przewodności elektrycznej G każdego memrystora.

Gdy na linie wejściowe macierzy podane zostaną napięcia elektryczne V reprezentujące sygnały wejściowe neuronów, prąd przepływający przez każdy memrystor jest automatycznie iloczynem napięcia i przewodności zgodnie z prawem Ohma. Następnie, zgodnie z pierwszym prawem Kirchhoffa, prądy z poszczególnych komórek sumują się wzdłuż wspólnej linii kolumny. W ten sposób macierz memrystorowa wykonuje operację mnożenia macierzy przez wektor Matrix-Vector Multiplication MVM w jednym kroku fizycznym o zerowym opóźnieniu algorytmicznym i przy zużyciu energii mniejszym niż jeden femtodżul na operację.

Plastyczność synaptyczna STDP i lokalne uczenie maszynowe na krawędzi

Jednym z najpotężniejszych atutów systemów neuromorficznych jest zdolność do ciągłego uczenia się w czasie rzeczywistym bezpośrednio na urządzeniu brzegowym. Tradycyjne sieci głębokie wymagają procesu wstecznej propagacji błędu Backpropagation, który jest operacją globalną, skrajnie obciążającą obliczeniowo i wymagającą zatrzymania inferencji na czas aktualizacji wag. Ponadto konwencjonalne sieci poddane nowym danym cierpią na zjawisko katastrofalnego zapominania Catastrophic Forgetting, w którym nowa wiedza bezpowrotnie niszczy wagi wyuczone na wcześniejszych zbiorach treningowych.

Układy neuromorficzne implementują lokalne reguły biologicznej plastyczności synaptycznej, z których najważniejszą jest plastyczność zależna od czasu impulsu Spike-Timing-Dependent Plasticity STDP. Reguła ta opiera się na słynnym postulacie Donalda Hebba: jeżeli neuron presynaptyczny emituje impuls tuż przed neuronem postsynaptycznym, przewodność łączącej ich synapsy ulega wzmocnieniu w procesie długotrwałego pobudzenia LTP. Jeżeli sekwencja czasowa jest odwrotna, synapsa ulega osłabieniu w procesie długotrwałego tłumienia LTD.

Modyfikacja wagi synaptycznej zależy wyłącznie od stanów dwóch bezpośrednio połączonych neuronów i nie wymaga żadnej globalnej koordynacji ani dostępu do pamięci zewnętrznej. Umożliwia to procesorom neuromorficznym uczenie się nienadzorowane w locie On-Chip Learning. Autonomiczny robot wyposażony w układ Loihi 2 potrafi zaadaptować się do uszkodzenia jednego z kół lub zmiany warunków przyczepności podłoża w ciągu zaledwie kilkunastu sekund bez konieczności ponownego trenowania modelu w chmurze obliczeniowej.

Kamery neuromorficzne DVS i asynchroniczne sensory zdarzeniowe

Pełen potencjał obliczeń neuromorficznych ujawnia się dopiero wtedy, gdy procesor zostanie połączony z sensorami pracującymi w tym samym asynchronicznym paradygmacie. Tradycyjne kamery wideo rejestrują świat w postaci serii statycznych klatek z częstotliwością trzydziestu, sześćdziesięciu lub stu dwudziestu herców. Powoduje to generowanie gigantycznych potoków zbędnych danych, w których niezmienne tło sceny jest przesyłane i przetwarzane klatka po klatce, podczas gdy szybkie obiekty poruszające się między klatkami ulegają rozmyciu ruchowemu Motion Blur.

Rewolucją w widzeniu maszynowym stały się kamery oparte na zdarzeniach Event-Based Dynamic Vision Sensors DVS, naśladujące architekturę ludzkiej siatkówki oka. W sensorze DVS każdy piksel działa całkowicie niezależnie od pozostałych i posiada własny obwód analogowy monitorujący zmiany natężenia światła w skali logarytmicznej. Piksel emituje asynchroniczny pakiet zdarzenia tylko wtedy, gdy zmiana jasności w jego punkcie przekroczy zadany próg, informując o swoich współrzędnych X i Y, znaku polaryzacji jasności oraz precyzyjnym znaczniku czasowym z rozdzielczością mikrosekundową.

Kamery neuromorficzne charakteryzują się dynamiką oświetlenia przekraczającą 120 decybeli, co pozwala im na bezbłędną rejestrację obiektów jednocześnie w głębokim cieniu i przy bezpośrednim świetle słonecznym, całkowicie eliminując zjawisko oślepienia. W połączeniu z procesorem neuromorficznym strumień zdarzeń z kamery DVS jest przetwarzany z opóźnieniem poniżej jednej milisekundy, zużywając przy tym ułamek mocy pobieranej przez tradycyjny system wizyjny oparty na GPU.

Przemysłowe ekosystemy badawcze: SpiNNaker 2, BrainScaleS i SynSense

Rozwój neuromorfiki przestał być domeną wyłącznie gigantów z Doliny Krzemowej, takich jak Intel i IBM. W Europie w ramach wieloletniego programu Human Brain Project powstały unikalne platformy obliczeniowe o niespotykanej skali. W Dreźnie uruchomiono system SpiNNaker 2 Spiking Neural Network Architecture, integrujący miliony rdzeni obliczeniowych ARM połączonych zaawansowaną siecią asynchroniczną, zoptymalizowaną pod kątem symulacji wielkoskalowych struktur mózgowych oraz sterowania robotami humanoidami w czasie rzeczywistym.

Równolegle na Uniwersytecie w Heidelbergu rozwinięto system BrainScaleS, reprezentujący zupełnie inne podejście: fizyczną emulację analogową w technologii waflowej Wafer-Scale Integration. Obwody scalone BrainScaleS emulują procesy elektrochemiczne neuronów za pomocą analogowych układów CMOS, osiągając przyspieszenie czasowe rzędu dziesięciu tysięcy razy względem biologii. Oznacza to, że proces uczenia się mózgu trwający w naturze cały dzień może zostać zasymulowany w urządzeniu BrainScaleS w czasie niespełna dziesięciu sekund.

Na rynku komercyjnym dynamicznie rozwijają się start-upy takie jak szwajcarski SynSense ze swoją rodziną procesorów Xylo i Speck. Układy te, zaprojektowane specjalnie do przetwarzania sygnałów audio, wibracji przemysłowych oraz obrazów z kamer DVS, charakteryzują się ciągłym poborem mocy poniżej stu mikrowatów. Umożliwia to ich integrację w inteligentnych aparatach słuchowych, bezprzewodowych czujnikach drgań turbin wiatrowych oraz autonomicznych systemach wykrywania strzałów i dronów działających latami na pojedynczej baterii guzikowej.

Zastosowania taktyczne, wojskowe i kosmiczne systemów neuromorficznych

Unikalne połączenie mikrowatowego poboru energii, mikrosekundowych opóźnień decyzyjnych oraz odporności na trudne warunki środowiskowe sprawia, że neuromorfika stała się przedmiotem najwyższego zainteresowania agencji obronnych, w tym amerykańskiej agencji DARPA, która finansowała pionierskie programy SyNAPSE oraz UPSIDE. W zastosowaniach wojskowych kluczowym polem wdrożenia są miniaturowe bezzałogowe statki powietrzne klasy nano i micro, w których masa baterii wyklucza zastosowanie ciężkich akceleratorów graficznych.

Dron zwiadowczy wyposażony w kamerę eventową i procesor neuromorficzny jest w stanie wykonywać loty z prędkościami rzędu kilkudziesięciu kilometrów na godzinę wewnątrz gęstego lasu lub zrujnowanych budynków, realizując autonomiczne omijanie przeszkód i śledzenie celów przy poborze mocy rzędu kilkuset miliwatów. W przypadku pocisków przeciwlotniczych i przechwytujących broń hipersoniczną neuromorficzne układy naprowadzania oferują częstotliwość odświeżania pętli sterowania aerodynamicznego na poziomie dziesięciu tysięcy herców, umożliwiając precyzyjną korektę toru lotu w fazie bezpośredniego uderzenia Hit-to-Kill.

Kolejnym strategicznym obszarem jest sektor kosmiczny. Na pokładach mikrosatelitów na niskiej orbicie okołoziemskiej LEO bilans energetyczny z paneli słonecznych jest skrajnie ograniczony. Zastosowanie neuromorficznych koprocesorów pozwala na analizę multispektralnych danych radarowych SAR i optycznych bezpośrednio na orbicie, przesyłając na Ziemię jedynie wykryte anomalie i koordynaty celów zamiast surowych terabajtów danych telemetrycznych. Dodatkowo asynchroniczne struktury memrystorowe wykazują znacznie wyższą naturalną odporność na promieniowanie jonizujące i zjawiska Single Event Upset SEU niż podatne na błędy komórki pamięci SRAM.

Perspektywy skalowania, hybrydyzacja i przyszłość architektury obliczeniowej

Mimo rewolucyjnych parametrów efektywności energetycznej obliczenia neuromorficzne nie zastąpią całkowicie klasycznych procesorów ogólnego przeznaczenia ani akceleratorów macierzowych w najbliższej przyszłości. Zamiast totalnej substytucji obserwujemy proces głębokiej integracji heterogenicznej. Przyszłe platformy obliczeniowe będą łączyć w ramach jednej zaawansowanej obudowy 3D rdzenie procesorów wielordzeniowych RISC-V odpowiedzialne za logikę systemową, wektorowe jednostki NPU do przetwarzania ustrukturyzowanych tensorów oraz bloki neuromorficzne SNN dedykowane do asynchronicznej fuzji danych sensorycznych i adaptacji w czasie rzeczywistym.

Kluczowym wyzwaniem hamującym masową komercjalizację memrystorowych układów analogowych pozostaje niejednorodność technologiczna urządzeń ReRAM Device-to-Device Variability oraz dryf przewodności w funkcji temperatury. Inżynierowie materiałowi intensywnie rozwijają nowe kompozycje tlenków hafnu HfOx oraz tlenków tantalu TaOx domieszkowanych azotem, które oferują stabilność retencji stanów rezystancyjnych przekraczającą dziesięć lat.

Neuromorfika to coś więcej niż tylko kolejna technologia krzemowa; to fundamentalna zmiana filozofii pojmowania obliczeń. Przejście od statycznych liczb do dynamicznych wzorców czasowych, od centralnej pamięci do rozproszonych synaps i od sztywnego zegara do asynchronicznej biologii pozwala na przełamanie barier, które przez dekady ograniczały rozwój mikroelektroniki. W erze autonomicznych maszyn i wszechobecnej sztucznej inteligencji krawędziowej, procesory myślące tak jak żywe organizmy staną się fundamentem kolejnej wielkiej fali rewolucji technologicznej.