DeepSeek – Wie schafft es ein LLM in die Nachrichten?

Zunächst einige Hintergrundinformationen. DeepSeek wurde 2023 in China gegründet und ist damit zwar ein relativ neuer Akteur auf diesem Markt, R1 ist jedoch nicht das erste öffentlich zugängliche Modell des Unternehmens. Im November 2023 veröffentlichte DeepSeek sein erstes eigenes Large Language Model namens DeepSeek Coder, das im Wesentlichen eine Kopie des von Meta veröffentlichten Llama-Modells war. Anschließend brachte das Unternehmen eine Reihe von LLMs auf den Markt, die auf unterschiedliche Aufgaben spezialisiert waren. Ein größerer Durchbruch gelang jedoch erst mit der Veröffentlichung von R1.

DeepSeek R1: Der Champion

Das DeepSeek-R1-Modell ist im Wesentlichen eine weitertrainierte Version von DeepSeek V3. Diese neue Version wurde speziell für logisches Schlussfolgern, Coding und die Lösung mathematischer Probleme optimiert und nutzt die sogenannte Chain-of-Thought-Technik. Das bedeutet, dass das R1-Modell die einzelnen Schritte gewissermaßen mit sich selbst diskutiert und sich selbst Feedback dazu gibt. Dadurch steigt die Wahrscheinlichkeit, bei einem bestimmten Problem zu korrekten Schlussfolgerungen zu gelangen.

Dies allein erklärt jedoch noch nicht den kometenhaften Aufstieg von DeepSeek R1. Sehen wir uns die Gründe genauer an:

• China unterliegt derzeit US-amerikanischen Beschränkungen für den Export von GPUs, wodurch die Möglichkeiten zur Beschaffung und Nutzung entsprechender Hardware erheblich eingeschränkt sind. Um diese Einschränkungen zu überwinden, setzten die Forscher von DeepSeek verschiedene Optimierungstechniken ein. Dadurch konnten sie mit zehnmal weniger Trainingsressourcen bessere Ergebnisse erzielen als die Llama-Modelle, die zuvor zu den führenden frei zugänglichen Modellen gehörten.

• DeepSeek R1 kann mit den neuesten vergleichbaren Modellen von OpenAI konkurrieren und übertrifft sie bei bestimmten Benchmarks sogar. (Der Wettbewerb ist allerdings eng, und der Leistungszuwachs ist nicht besonders spektakulär.)

• R1 ist ein offenes Modell, das von jedem heruntergeladen und genutzt werden kann. Darüber hinaus stehen mehrere vom Unternehmen entwickelte, kleinere und weniger leistungs- beziehungsweise hardwareintensive sogenannte Distilled Models zur Verfügung. Zudem bietet DeepSeek den API-basierten Zugriff auf seine Modelle deutlich günstiger an als OpenAI.

Technologische Innovationen

DeepSeek V3 und R1 unterscheiden sich hinsichtlich ihrer Architektur nicht wesentlich von den bisher dominierenden Modellen, die allesamt auf der sogenannten Transformer-Architektur basieren. Die eingesetzten strukturellen Innovationen dienen vor allem dazu, die Geschwindigkeit der Textgenerierung zu erhöhen und den Ressourcenverbrauch zu reduzieren.

Der eigentliche Durchbruch liegt in den beim Training der Modelle eingesetzten Methoden, durch die die erforderliche Rechenkapazität auf einen Bruchteil reduziert werden konnte. Dabei kamen sowohl Low-Level-Anpassungen am direkt auf der Hardware ausgeführten Code als auch Techniken zum Einsatz, die es den Modellen ermöglichten, mit deutlich weniger Beispieldaten effizient zu lernen.

Darüber hinaus wurde das fertige R1-Modell als eine Art Lehrer-LLM eingesetzt, um eine Reihe kleinerer Modelle zu erstellen. Diese basieren auf bereits existierenden offenen Modellen und wurden zusätzlich für Schlussfolgerungs-, Mathematik- und Coding-Aufgaben trainiert.

Aus rein technischer Sicht wurden folgende Methoden eingesetzt:

• Multi-Headed Latent Attention: eine Variante des Attention-Mechanismus, die in einem Vektorraum mit geringerer Dimensionalität arbeitet und dadurch die Größe des Modells reduziert.

• DeepSeekMoE: eine Mixture-of-Experts-Methode, die es ermöglicht, bei der Textgenerierung nur einen kleinen Teil der Gewichte des Modells zu aktivieren.

• Multi-Token Prediction: Das Modell generiert mehrere Tokens gleichzeitig. Dies verbessert die Trainingsleistung und ermöglicht zudem spekulative Generierung.

• FP8 Mixed-Precision Training: Bestimmte Teile des Modells verwenden Parameter mit geringerer Präzision. Dadurch wird die Modellgröße reduziert und das Training beschleunigt.

• Near Full Computation-Communication Overlap: Für die beim Training eingesetzten GPUs wurde in einer Sprache auf einer niedrigeren Ebene als CUDA ein optimiertes Framework entwickelt, das das verteilte Training auf mehreren GPUs erheblich effizienter macht.

• Large-Scale Reinforcement Learning und Supervised Fine-Tuning: Beim Training von R1 wurde eine Kombination aus vorgegebenen Schlussfolgerungsketten und Methoden eingesetzt, bei denen lediglich das Endergebnis vorgegeben und der generierte Output auf Grundlage einer Bewertung belohnt wurde. Dadurch waren deutlich weniger Daten erforderlich als bei früheren Methoden.

Nutzung von DeepSeek R1

Für die Nutzung des vollständigen R1-Modells ist Hardware erforderlich, die alle 671 Billionen Parameter des Modells im Speicher halten kann. Dies entspricht etwa 1.543 GB RAM/VRAM – beziehungsweise ungefähr 16 NVIDIA-A100-GPUs. Quantized Models, also Modelle mit reduzierter Genauigkeit, können mit weniger Speicher betrieben werden, weisen allerdings auch eine geringere Leistung auf. Dasselbe gilt für die bereits erwähnten Distilled Models: Sie bieten innerhalb ihrer jeweiligen Kategorie eine herausragende Performance, können jedoch mit den größeren Modellen nicht konkurrieren.

Steht uns nicht genügend Speicher zur Verfügung, können wir alternativ die API von DeepSeek nutzen. Dies ist allerdings mit Datenschutz- und Datensicherheitsrisiken verbunden, da DeepSeek sich das Recht vorbehält, die in das System hochgeladenen Daten zu verwenden. Eine Registrierung ist über einen Google Account oder eine chinesische E-Mail-Adresse beziehungsweise Telefonnummer möglich. Anschließend können sowohl V3 als auch R1 kostenlos manuell getestet werden.

Die Preise für die Nutzung über die API sind im Vergleich zu OpenAI äußerst günstig:

Eine Einladung zum Tanz – Erfahrungen aus erster Hand

• Ungarischkenntnisse: Mit beiden getesteten Modellen kann auf Ungarisch kommuniziert werden. Sowohl V3 als auch R1 antworten praktisch ohne Rechtschreibfehler und in einer differenzierten Sprache – ähnlich wie ChatGPT 4o.

• Mathematik: Bei mathematischen Aufgaben sind die Modelle in der Lage, komplexere Beweise zu führen. Allerdings widersprechen sie dem Nutzer nur ungern und versuchen daher unter Umständen auch, falsche Aussagen zu beweisen, anstatt sie zu widerlegen.

• Komplexe Coding-Aufgaben: Komplexere Coding-Probleme können die Modelle bereits an ihre Grenzen bringen. In unseren Tests kam es vor, dass fehlerhafter Code generiert wurde oder bestimmte Funktionen spezifischer Bibliotheken nicht bekannt waren.

• Zensur: Bei bestimmten sensiblen Themen werden die ausgegebenen Informationen zensiert.

Auswirkungen

DeepSeek R1 wird den Titel des „besten LLM“ vermutlich nur für kurze Zeit für sich beanspruchen können, da bereits mehrere Unternehmen behaupten, dass ihre Lösungen eine bessere Performance als R1 bieten. Die Bedeutung des Modells liegt jedoch nicht in einer langfristigen Führungsposition und auch nicht unbedingt darin, dass ein offen verfügbares Modell mit kostenpflichtigen Services konkurrieren kann – obwohl auch dies ein wichtiger Aspekt ist. Dadurch rückt der Open-Source-Bereich wieder stärker in den Fokus, und künftig könnten auch andere Unternehmen Schritte in diese Richtung unternehmen, was langfristig zur Demokratisierung von AI beitragen könnte. Der eigentliche Wert des R1-Modells liegt in den Ergebnissen, die bei der Optimierung des Trainingsprozesses erzielt wurden.

Bislang konnten es sich fast ausschließlich Großkonzerne wie Google, OpenAI, Meta oder Anthropic leisten, eigene LLMs zu trainieren. Die von DeepSeek vorgestellte Technologie öffnet jedoch auch Akteuren mit deutlich geringerer Rechenkapazität die Tür – beispielsweise kleineren Unternehmen und Universitäten. Die Kombination aus geringerem Ressourcenbedarf und niedrigeren Kosten, mit der optimierte Modelle betrieben werden können, deutet darauf hin, dass schon bald eine neue Kategorie entstehen könnte: Unternehmen und Start-ups, die bisher nicht mit großen AI-Modellen arbeiten konnten, könnten nun eigene Entwicklungen vorantreiben und in den Wettbewerb der Branche einsteigen.

Obwohl wir nach wie vor von Kosten in Millionenhöhe sprechen, zeigen Entwicklungen dieser Art, dass weiterhin ungenutzte Optimierungsmöglichkeiten existieren, die die Position von LLMs innerhalb der Branche und die geltenden Marktstandards grundlegend verändern könnten.

Und obwohl sich der AI-Bereich bereits bisher kontinuierlich weiterentwickelt hat, könnten in den kommenden Jahren noch größere Sprünge bevorstehen, wenn sich die Branchentrends in diese Richtung entwickeln und die Entwicklungskosten weiterhin in diesem Tempo sinken. AI-Anwendungen könnten dadurch zu einem noch selbstverständlicheren Bestandteil des alltäglichen Unternehmensbetriebs werden.

Effizienz vs. Komfort

Im Zusammenhang mit der Entwicklung von AI sollte auch ein weiterer, zunehmend wichtiger Aspekt erwähnt werden: der Unterschied zwischen der östlichen und der westlichen Welt im technologischen Wettbewerb. Während in der westlichen Welt häufig Wohlbefinden und Komfort im Vordergrund stehen – beispielsweise durch betriebliche Wellbeing-Programme wie die Vier-Tage-Woche –, ist man in China und anderen östlichen Ländern bereit, für Effizienz und eine schnelle Entwicklung erhebliche Opfer zu bringen. Der Wettbewerb verschiebt sich damit eindeutig in Richtung Effizienz und Ergebnisorientierung – und genau dies könnte langfristig die Entwicklung des globalen AI-Marktes bestimmen.

Was bedeutet all das für den ungarischen Markt?

Bislang war das Training eigener, speziell für die ungarische Sprache entwickelter LLMs für heimische Akteure nur unter sehr eingeschränkten Rahmenbedingungen denkbar. Die von DeepSeek vorgestellten Innovationen könnten dies ändern und auch ungarischen Unternehmen neue Möglichkeiten für solche und ähnliche Entwicklungen eröffnen. Die große mediale Aufmerksamkeit rund um DeepSeek könnte zudem das Interesse größerer Akteure wecken, die bisher nicht auf dem LLM-Markt aktiv waren, sich aufgrund dieser Entwicklungen jedoch dazu entscheiden könnten, in entsprechende Technologien zu investieren.