Tudásmegosztás • 1 perc olvasás •
AI hatása szoftverfejlesztés sebességére
Az AI használat meggyorsítja a szoftverfejlesztési folyamatokat? Ismerd meg METR dolgozói által végzett kutatás eredményeit és tanulságos.
A szakértők és a fejlesztők véleménye egybevág azzal kapcsolatban, hogy az LLM-ek (Large Language Model - nagy nyelvi modell, pl. ChatGPT) használata meggyorsítja a szoftverfejlesztési folyamatokat. Erre cáfol rá METR dolgozói által végzett kutatás, ahol 16 veterán szoftverfejlesztőnek adtak ki 246 különböző, való életből vett feladatot olyan projekteken, amelyeken átlagosan 5 évet dolgoztak korábban (azaz ismerték a kódbázist). A feladataik előtt a korábban LLM-et nem használó résztvevők megismerkedtek a Cursor nevű eszközzel egy tréning során. A feladataiknál véletlenszerűen lett eldöntve, hogy használhatnak-e LLM-et, vagy sem.
A feladatok előtt és után is meg kellett becsülniük, hogy mennyivel lesznek lassabbak vagy gyorsabbak AI használatával, és ugyanezt a kérdést szakértőknek is feltették. Mindenki azt jósolta, hogy az LLM-ek használata gyorsítani fog a feladatok megoldásán, de a valóságban nem ez történt.
A mérések azt mutatták, hogy a fejlesztők átlagosan 19%-al lassabban végeztek a feladataikkal, ha használhattak LLM-et. Ennek különböző okai lehettek, többek között az, hogy az LLM-ek nehezen látnak át nagy projekteket, az általuk generált kód megbízhatatlan, és a válaszok generálása is nem elhanyagolható időt vesz igénybe.
Ezek az eredmények nem azt jelentik, hogy az LLM-ek nem gyorsíthatnak a szoftverfejlesztők feladatainak megoldásán, csupán annyit, hogy vannak körülmények (nagy kódbázis, szenior fejlesztők), ahol a hatásuk nem egyértelműen pozitív.
Részletek: https://arxiv.org/pdf/2507.09089
