Tudásmegosztás • 2 perc olvasás •
A gondolkodás illúziója: Az LRM-ek értékelése problémakomplexitáson keresztül
A „gondolkodó AI” talán mégsem gondolkodik úgy, ahogy hisszük. Az Apple friss kutatása szerint a legújabb nagy érvelő modellek (LRM-ek) bizonyos komplexitási szint felett látványosan összeomlanak, és még a „gondolkodási folyamatuk” is ellentmondásosan skálázódik. A tanulmány azonban azonnal heves szakmai vitát robbantott ki: más kutatók szerint a probléma nem az AI érvelésében, hanem a hibás tesztkörnyezetben keresendő. Vajon valódi intelligenciát látunk, vagy csak annak meggyőző illúzióját?
A legújabb generációs élvonalbeli nyelvi modellekkel együtt a piacra kerültek a nagy érvelő modellek (LRM-eket) is, amelyek részletes gondolkodási folyamatokat generálnak a válaszadás előtt. Bár ezek a modellek jobb teljesítményt mutatnak a következtetési benchmarkokban, alapvető képességeik, skálázási tulajdonságaik és korlátaik még nincsenek kellőképpen feltárva. A jelenlegi értékelések elsősorban a bevett matematikai és programozási benchmarkokra összpontosítanak, kiemelve a végső válasz pontosságát. Ezt az értékelési paradigmát azonban gyakran sújtja az adatkontamináció, és nem nyújt rálátást az következtetési folyamat szerkezetére és minőségére.
Az Apple nagy hullámokat vető tanulmánya (Shojaee et al., 2025) szisztematikusan vizsgálja ezeket a hiányosságokat kontrollálható rejtvénykörnyezetek segítségével, melyek lehetővé teszik a kompozicionális komplexitás pontos manipulálását, miközben következetes logikai struktúrákat tartanak fenn. Ez a beállítás nemcsak a végső válaszok elemzését teszi lehetővé, hanem a belső következtetési váz vizsgálatát is, betekintést nyújtva abba, hogyan "gondolkodnak" az LRM-ek. Különböző rejtvényeken végzett kiterjedt kísérletezés révén megmutatták, hogy az élvonalbeli LRM-ek teljes mértékű pontossági összeomlást szenvednek bizonyos komplexitásokon túl. A modellek továbbá ellentmondásos skálázási korlátokat mutattak: következtetési erőfeszítésük egy pontig növekedett a probléma komplexitásával, majd csökkent annak ellenére, hogy megfelelő token-költségvetéssel rendelkeztek.
Az LRM-eket standard LLM társaikkal összehasonlítva egyenértékű következtetési számítás alatt a kutatók három teljesítménytartományt azonosítottak: (1) alacsony komplexitású feladatok, ahol a standard modellek meglepő módon felülmúlják az LRM-eket, (2) közepes komplexitású feladatok, ahol az LRM-ekben a további gondolkodás előnyt mutat, és (3) magas komplexitású feladatok, ahol mindkét fajta modell teljes összeomlást produkál. A tanulmány megállapítja, hogy az LRM-eknek korlátaik vannak a pontos számításban: nem tudnak explicit algoritmusokat használni és következetlenül érvelnek a különböző rejtvények között.
Az eredeti tanulmány megjelenése után azonban Anthropic és Open Philanthropy kutatói válaszcikkben jelentős kritikákat fogalmaztak meg a kísérleti elrendezéssel kapcsolatban (Opus & Lawsen, 2025). A "gondolkodás illúziójának illúziója" címet viselő kommentár azt állítja, hogy a látszólagos következtetési összeomlás nagy része kísérlettervezési hibákból fakad, nem pedig alapvető érvelési korlátokból. A kritikusok szerint az egyik rejtvény (Hanoi tornyai) esetében a modellek valójában felismerik a token-limitációkat, és tudatosan rövidítik a kimenetet, nem pedig érvelési kudarcot szenvednek el. Továbbá egy másik rejtvény (folyami átkelés) bizonyos feltétel esetében matematikailag megoldhatatlan, mégis a modelleket hibásnak minősítették ezen lehetetlen problémák miatt. Amikor alternatív reprezentációt használtak (például Lua függvény generálása teljes lépéslista helyett), a modellek magas pontosságot értek el a korábban "összeomlásnak" minősített Hanoi-torony problémákon is, ami arra utal, hogy a korlátok inkább formátum-specifikusak, mint alapvetően érvelési jellegűek.
Ha kíváncsi vagy az eredeti tanulmányra: Illusion-of-thinking ,
és ha az ellen véleményt is elolvasnád: Kommentár.
