Wissensaustausch • 1 Min. Lesezeit •
Der Einfluss von KI auf die Geschwindigkeit der Softwareentwicklung
Beschleunigt KI die Softwareentwicklung wirklich? Eine aktuelle Studie von Forschenden bei METR stellt diese weit verbreitete Annahme infrage. Unter bestimmten Bedingungen erledigten erfahrene Entwickler ihre Aufgaben mit LLM-Unterstützung sogar langsamer als ohne KI.
Sowohl Expertinnen und Experten als auch Softwareentwickler gehen allgemein davon aus, dass Large Language Models (LLMs) wie ChatGPT die Softwareentwicklung beschleunigen. Eine aktuelle Studie von METR zeichnet jedoch ein differenzierteres Bild.
Für die Untersuchung bearbeiteten 16 erfahrene Softwareentwickler insgesamt 246 reale Entwicklungsaufgaben in Projekten, an denen sie zuvor durchschnittlich fünf Jahre gearbeitet hatten. Die Teilnehmenden kannten die jeweiligen Codebasen also bereits sehr gut. Entwicklerinnen und Entwickler ohne vorherige Erfahrung mit LLMs erhielten vor Beginn eine Schulung im Umgang mit Cursor, einer KI-gestützten Entwicklungsumgebung. Für jede Aufgabe wurde anschließend zufällig festgelegt, ob sie mit oder ohne LLM-Unterstützung bearbeitet werden durfte.
Vor und nach den Aufgaben schätzten die Teilnehmenden ein, wie stark KI ihre Arbeitsgeschwindigkeit beeinflussen würde. Dieselbe Frage wurde auch externen Fachleuten gestellt. Nahezu alle erwarteten, dass LLMs die Bearbeitung beschleunigen würden – die Messergebnisse zeigten jedoch das Gegenteil.
Im Durchschnitt benötigten die Entwicklerinnen und Entwickler 19 % mehr Zeit, wenn sie ein LLM einsetzen durften. Dafür gibt es mehrere mögliche Ursachen: Große Sprachmodelle haben Schwierigkeiten, umfangreiche Codebasen vollständig zu erfassen, der erzeugte Code muss häufig überprüft oder korrigiert werden, und auch die Generierung der Antworten kostet Zeit.
Die Ergebnisse bedeuten jedoch nicht, dass LLMs die Softwareentwicklung grundsätzlich nicht beschleunigen können. Vielmehr zeigen sie, dass ihr Nutzen stark vom jeweiligen Einsatzszenario abhängt. Insbesondere bei großen Codebasen und sehr erfahrenen Entwicklerinnen und Entwicklern fällt der Produktivitätsgewinn möglicherweise geringer aus als erwartet – oder bleibt sogar ganz aus.
Details: https://arxiv.org/pdf/2507.09089
