Ein Programm kann funktionieren, ohne dass die Person, die es erstellt hat, es wirklich erklären kann. Bei Entwicklungsassistenten wird dieser Unterschied ebenso zu einer Frage der Ausbildung wie der Produktivität. Eine von Anthropic veröffentlichte Studie zum Erlernen einer Python-Bibliothek veranschaulicht das Problem: Im Experiment erzielte die Gruppe mit KI beim Verständnisfragebogen schlechtere Ergebnisse.
Das Ergebnis bedeutet nicht, dass jede Nutzung von KI zu Kompetenzverlust führt. Es wirft vielmehr eine präzisere Frage auf: Hilft ein Assistent beim Erlernen eines neuen Werkzeugs dabei, es zu verstehen, oder ermöglicht er vor allem, Aufgaben abzuschließen, ohne die einzelnen Schritte zu beherrschen? Die in der Studie beobachteten Nutzungsweisen führten nicht alle zum selben Ergebnis.
Ein Experiment zum Erlernen eines neuen Werkzeugs
Die Forschenden rekrutierten 52 Entwicklerinnen und Entwickler, die meisten davon Junior-Entwickler. Alle nutzten seit mehr als einem Jahr mindestens einmal pro Woche Python und waren zumindest ein wenig mit KI-gestützter Programmierung vertraut. Trio hingegen, die für die Übungen ausgewählte Bibliothek für asynchrone Programmierung, kannten sie nicht.
Die Teilnehmenden sollten anhand einer Problemstellung, eines Ausgangscodes und einer kurzen Einführung in die erforderlichen Konzepte zwei Funktionen implementieren. Ein Teil hatte in der Arbeitsumgebung einen Assistenten zur Verfügung; der andere musste ohne diese Hilfe programmieren. Im Anschluss an die Übung folgte ein zuvor angekündigter Fragebogen.
Die Fragen deckten mehrere Bereiche ab: einen Fehler erkennen und erklären, Code lesen, eine Schreibweise auswählen und die Grundsätze der Bibliothek verstehen. Dadurch erhält der Test eine besondere Aussagekraft. Er maß nicht nur, ob das eingereichte Programm das erwartete Ergebnis liefern konnte, sondern auch, was die Entwicklerinnen und Entwickler davon behalten hatten.
Siebzehn Prozentpunkte Unterschied beim Fragebogen
Die Gruppe mit KI erzielte im Fragebogen durchschnittlich 50 %, die Gruppe ohne KI 67 %. Der Unterschied beträgt siebzehn Prozentpunkte. Die Veröffentlichung bezeichnet ihn als statistisch signifikant; besonders ausgeprägt war er bei den Fragen zum Debugging.
Die unterstützten Teilnehmenden schlossen die Übung im Durchschnitt etwa zwei Minuten schneller ab. In diesem Experiment erreichte der Zeitunterschied jedoch nicht die Schwelle statistischer Signifikanz. Die Ergebnisse lassen sich daher nicht als nachgewiesener Produktivitätsgewinn zusammenfassen, der lediglich mit einem geringeren Verständnis erkauft worden wäre.
Der Rahmen ist begrenzt: Es geht um ein neues Werkzeug, das während einer Übung erlernt und anschließend unmittelbar bewertet wurde. Die Studie zeigt nicht, was dieselben Entwicklerinnen und Entwickler mehrere Wochen später noch behalten hätten, und ebenso wenig, wie sie mit einer bereits vertrauten Technologie arbeiten. Sie erfasst auch nicht alle möglichen Einsatzweisen von Claude Code oder anderen Programmieragenten.
Die Fragen an den Assistenten spielen eine Rolle
Die Analyse der Interaktionen liefert eine hilfreiche Differenzierung. Einige Teilnehmende überließen dem Assistenten direkt das Schreiben oder Korrigieren. Andere baten um generierten Code mit Erklärungen, griffen einen Vorschlag wieder auf, um ihn zu verstehen, oder stellten vor allem Grundsatzfragen, bevor sie selbst programmierten.
Die Gruppen mit einem höheren Verständnis verbanden die KI-Unterstützung häufiger mit dem Bemühen, Erklärungen nachzuvollziehen. Die schwächsten Teilnehmenden delegierten dagegen einen großen Teil der Problemlösung. Die Untergruppen waren jedoch sehr klein: Die Analyse beschreibt Zusammenhänge zwischen bestimmten Nutzungsweisen und Ergebnissen, belegt aber nicht, dass jede Art der Fragestellung für sich genommen ein bestimmtes Kompetenzniveau verursacht.
Eine weitere Beobachtung: Einige Entwicklerinnen und Entwickler verbrachten bis zu elf Minuten damit, ihre Anfragen an den Assistenten zu formulieren. Die Hilfe beseitigt also nicht jede Arbeit, sondern kann einen Teil davon auf die Formulierung der Anweisungen, das Lesen und den Austausch verlagern. Das hilft zu erklären, warum der durchschnittliche Zeitvorsprung der KI-Gruppe gering war; statistisch signifikant war er nicht.
Aufsicht erfordert Kompetenzen, die man weiterhin trainiert
Das Thema knüpft an die von Clubic verbreitete Warnung von Addy Osmani aus dem Claude-Code-Team an: Eine gut formulierte Antwort zu akzeptieren bedeutet nicht, sie überprüft zu haben. Der Artikel unterscheidet zwischen der Delegation einer Aufgabe und dem Verzicht auf ein eigenes Urteil über das Ergebnis. Es handelt sich um eine Überlegung aus der Praxis, die das Trio-Experiment ergänzt, und nicht um eine zweite unabhängige Bestätigung der Zahlen aus der Studie.
Der Zusammenhang mit dem Debugging ist konkret. Um ein Programm zu überprüfen, muss man erklären können, was eine Funktion erwartet, was sie zurückgibt und unter welchen Bedingungen sie fehlschlagen kann. Erfolgreiche Tests liefern Informationen zu den getesteten Situationen; sie erklären nicht automatisch die gesamte Logik des Systems.
In der Ausbildung lässt sich dieser Unterschied mit einfachen Überprüfungen sichtbar machen: Man kann Entwicklerinnen und Entwickler bitten, einen Codeabschnitt zu erklären, einen möglichen Fehlerfall vorzuschlagen oder eine Bedingung zu ändern, ohne den Assistenten das Problem sofort lösen zu lassen. Das sind Ansätze, um Verständnis sichtbar zu machen, keine Verfahren, deren Wirksamkeit durch diese Studie allein nachgewiesen wäre.
Ein Ergebnis, das im Kontext seiner Methode und seines Urhebers zu lesen ist
Anthropic ist sowohl Anbieter von KI-Werkzeugen als auch Urheber dieser Forschungsarbeit. Die Ergebnisse sind ein Beitrag zur Debatte und sollten im Licht des Versuchsprotokolls, der Stichprobengröße und der von Anthropic eingeräumten Grenzen gelesen werden. Eine Wiederholung mit anderen Aufgaben und über einen längeren Zeitraum würde weitere Erkenntnisse liefern.
Die entscheidende Frage ist nicht, ob man alles allein erledigen oder alles delegieren sollte. Es geht darum, den Zweck der Arbeit zu unterscheiden: mit bereits erworbenen Kompetenzen schnell etwas zu produzieren oder diese Kompetenzen beim Entdecken eines Werkzeugs aufzubauen. Im zweiten Fall kann ein korrektes Ergebnis unzureichendes Lernen verdecken. Erklärungs-, Übungs- und eigenständige Korrekturphasen beizubehalten, ermöglicht zumindest zu überprüfen, was der Assistent nicht anstelle der Nutzerin oder des Nutzers gelernt hat.
Quellen
- How AI assistance impacts the formation of coding skills — Anthropic
- An KI delegieren und die eigenen Kompetenzen bewahren — Clubic
Code auf dem Bildschirm eines Laptops. Symbolfoto; es zeigt nicht die Teilnehmenden der Studie.
