Wissensaustausch • 2 Min. Lesezeit •
Die Illusion des Denkens: Bewertung von Large Reasoning Models anhand der Problemkomplexität
Künstliche Intelligenz, die „denkt“, denkt möglicherweise nicht so, wie wir es annehmen. Apples aktuelle Studie zeigt, dass moderne Large Reasoning Models (LRMs) bei steigender Problemkomplexität an ihre Grenzen stoßen. Die Ergebnisse lösten sofort eine kontroverse Debatte aus: Andere Forschende sehen die Ursache nicht in den Modellen selbst, sondern im Versuchsaufbau. Erleben wir echte Intelligenz – oder nur die Illusion davon?
Mit der neuesten Generation leistungsfähiger Sprachmodelle sind auch sogenannte Large Reasoning Models (LRMs) entstanden. Im Gegensatz zu herkömmlichen Large Language Models (LLMs) erzeugen sie vor der eigentlichen Antwort ausführliche Gedankengänge bzw. Reasoning-Traces. Obwohl sie bei Schlussfolgerungs-Benchmarks regelmäßig bessere Ergebnisse erzielen als klassische Sprachmodelle, sind ihre grundlegenden Fähigkeiten, Skalierungseigenschaften und Grenzen bislang nur unzureichend erforscht. Aktuelle Evaluierungen stützen sich überwiegend auf etablierte Mathematik- und Programmier-Benchmarks und bewerten dabei fast ausschließlich die Korrektheit der endgültigen Antwort. Dieser Bewertungsansatz leidet jedoch häufig unter Datenkontamination und liefert nur wenig Einblick in die Struktur und Qualität des eigentlichen Denkprozesses.
Die vielbeachtete Studie von Apple (Shojaee et al., 2025) begegnet diesen Schwächen mit kontrollierbaren Rätselumgebungen, in denen sich die kompositionelle Komplexität präzise variieren lässt, während die zugrunde liegende logische Struktur konstant bleibt. Dadurch können nicht nur die Endergebnisse bewertet, sondern auch die internen Reasoning-Prozesse der Modelle untersucht werden – ein seltener Einblick darin, wie LRMs tatsächlich „denken“. Umfangreiche Experimente mit verschiedenen Rätseltypen zeigen, dass moderne LRMs ab einer bestimmten Komplexitätsstufe einen vollständigen Einbruch der Genauigkeit erleiden. Darüber hinaus beobachteten die Forschenden ein widersprüchliches Skalierungsverhalten: Der Reasoning-Aufwand steigt zunächst mit der Problemkomplexität an, nimmt anschließend jedoch wieder ab – obwohl den Modellen weiterhin ausreichend Token zur Verfügung stehen.
Beim Vergleich von LRMs mit klassischen LLMs unter identischem Inferenzbudget identifizierten die Forschenden drei unterschiedliche Leistungsbereiche: (1) Aufgaben mit geringer Komplexität, bei denen herkömmliche Sprachmodelle LRMs überraschenderweise übertreffen; (2) Aufgaben mittlerer Komplexität, bei denen zusätzliches Reasoning einen messbaren Vorteil bietet; und (3) Aufgaben hoher Komplexität, bei denen beide Modellklassen vollständig zusammenbrechen. Die Studie kommt zu dem Schluss, dass LRMs grundlegende Einschränkungen bei präzisen Berechnungen aufweisen: Sie können explizite Algorithmen nicht zuverlässig ausführen und zeigen zwischen verschiedenen Rätseltypen inkonsistentes Schlussfolgerungsverhalten.
Nach der Veröffentlichung der Apple-Studie veröffentlichten Forschende von Anthropic und Open Philanthropy eine Erwiderung, in der sie erhebliche Kritik an der experimentellen Methodik äußerten (Opus & Lawsen, 2025). Ihr Kommentar mit dem Titel The Illusion of the Illusion of Thinking argumentiert, dass ein Großteil des beobachteten Zusammenbruchs der Schlussfolgerungsleistung auf Mängel im Versuchsdesign und nicht auf grundlegende Grenzen des Reasonings zurückzuführen sei. Den Autorinnen und Autoren zufolge erkennen die Modelle bei den Türme-von-Hanoi-Experimenten die Token-Beschränkungen und verkürzen ihre Ausgaben bewusst, anstatt tatsächlich beim Schlussfolgern zu scheitern. Darüber hinaus weisen sie darauf hin, dass eine Variante des Flussüberquerungsrätsels unter bestimmten Bedingungen mathematisch unlösbar ist, die Modelle jedoch trotzdem als fehlerhaft bewertet wurden, weil sie diese unmöglichen Aufgaben nicht lösen konnten. Als die Forschenden stattdessen eine alternative Ausgabeform verwendeten – beispielsweise die Generierung einer Lua-Funktion anstelle einer vollständigen Zugfolge –, erreichten die Modelle selbst bei den zuvor als „Zusammenbruch“ eingestuften Türme-von-Hanoi-Aufgaben eine hohe Genauigkeit. Dies deutet darauf hin, dass die beobachteten Einschränkungen eher vom Ausgabeformat als von grundlegenden Defiziten im Reasoning abhängen.
Wenn Sie die Originalstudie lesen möchten: Illusion of Thinking,
Wenn Sie sich auch für die Gegenposition interessieren: Commentary.
