Wissensaustausch • 3 Min. Lesezeit •
ATLAS – Eine neue Lösung für lange Kontextfenster
Mit ATLAS stellt Google einen neuen Ansatz für extrem lange Kontexte vor. Dank eines adaptiven Speichermoduls lernt das Modell sogar während der Inferenz weiter und verarbeitet stabil Sequenzen mit bis zu 10 Millionen Token. Damit könnten ganze Bücher, riesige Codebasen oder sogar stundenlange Videos realistisch analysiert werden.
Moderne Large Language Models wie GPT oder Gemini können beeindruckende Textmengen verarbeiten, stoßen jedoch an eine grundlegende Grenze: die Größe ihres Kontextfensters. Dieses bestimmt, wie viele Informationen das Modell gleichzeitig berücksichtigen kann. Zwar verarbeiten aktuelle Systeme bereits mehrere Hunderttausend oder sogar Millionen Token, doch mit wachsender Kontextlänge nimmt ihre Leistung deutlich ab. Der Hauptgrund liegt in der Transformer-Architektur selbst: Jeder Token wird mit jedem anderen Token verglichen, wodurch der Rechenaufwand quadratisch mit der Länge der Eingabe wächst.
Um dieses Problem zu lösen, wurden verschiedene Ansätze entwickelt. Windowed Attention und Sparse Attention berücksichtigen nur benachbarte oder ausgewählte Token und reduzieren so den Rechenaufwand. Moderne Recurrent Neural Networks (RNNs) sowie State Space Models (SSMs) verfolgen einen anderen Ansatz und aktualisieren kontinuierlich einen internen Zustand. Diese Verfahren verbessern zwar die Effizienz, reichen jedoch bislang nicht aus, um Kontexte mit mehreren Millionen Token zuverlässig zu verarbeiten.
Hier setzt ATLAS an, das 2025 von Forschenden bei Google vorgestellt wurde. ATLAS ist das erste Modell einer neuen Architekturfamilie namens Deep Transformers. Seine wichtigste Innovation ist ein Speichermodul, das nicht nur während des Trainings, sondern auch während der Inferenz weiterlernen kann. Bei jedem neuen Token versucht das Modell zunächst vorherzusagen, welche Informationen relevant sind. Liegt es daneben, aktualisiert das Speichermodul seine internen Informationen unmittelbar. Dadurch passt sich das Modell kontinuierlich an den aktuellen Text an, ohne die eigentlichen Modellparameter zu verändern.
Die Ergebnisse sind beeindruckend. Im BABILong-Benchmark erreichte ATLAS selbst bei Kontexten von 10 Millionen Token noch rund 80 % Genauigkeit und übertraf bisherige Modelle deutlich. Das ist ein erheblicher Fortschritt, da die praktische Grenze bislang bei etwa zwei Millionen Token lag. Zwar wurde ATLAS bisher nur in vergleichsweise kleinen Modellgrößen untersucht, sodass offen bleibt, wie sich die Architektur mit mehreren zehn Milliarden Parametern verhält, doch das Potenzial ist bereits deutlich erkennbar.
Die zentrale Idee von ATLAS besteht darin, dass Sprachmodelle nicht nur größere Kontexte berücksichtigen, sondern während der Bearbeitung einer Aufgabe aktiv lernen und Informationen speichern. Dadurch werden Anwendungen möglich, die bislang kaum realisierbar waren – etwa die Analyse kompletter Bücher, riesiger Softwareprojekte oder sogar mehrstündiger Videos.
Quellen:
