E Programm kann funktionéieren, ouni datt déi Persoun, déi en erstallt huet, en och wierklech erkläre kann. Bei Entwécklungsassistenten ass dësen Ënnerscheed souwuel fir d’Formatioun wéi och fir d’Produktivitéit relevant. Eng Etüd vun Anthropic iwwer d’Léiere vun enger Python-Bibliothéik illustréiert de Problem: Am Experiment huet d’Grupp mat KI am Verständnis-Questionnaire méi schlecht ofgeschnidden.
D’Resultat heescht net, datt all KI-Asaz dozou féiert, Fäegkeeten ze verléieren. Et werft eng méi prezis Fro op: Wann een en neit Outil léiert, hëlleft den Assistent engem ze verstoen, oder erlaabt en et virun allem, fäerdeg ze ginn, ouni d’Schrëtt ze beherrschen? Déi observéiert Notzungsweisen an der Etüd hunn net alleguer dat selwecht Resultat erginn.
En Experiment iwwer en neit Léierfeld
D’Fuerscher hunn 52 Entwéckler rekrutéiert, déi meescht dovu Juniors. Si hunn alleguer zanter méi wéi engem Joer op d’mannst eemol d’Woch Python benotzt a kannten d’KI-Assistenz beim Programméiere zumindest e bëssen. Trio, d’Bibliothéik fir asynchron Programméierung, déi fir d’Übunge gewielt gouf, kannten se dogéint net.
D’Participante sollten op Basis vun engem Problem, engem Ausgangscode an enger kuerzer Aféierung an déi néideg Konzepter zwou Funktionalitéiten ëmsetzen. En Deel hat en Assistent an der Aarbechtsëmfeld zur Verfügung; deen aneren Deel sollt ouni dës Hëllef programméieren. No der Übung koum e Questionnaire, deen am Viraus ugekënnegt gi war.
D’Froe betraffë verschidden Aspekter: e Feeler erkennen an erklären, de Code liesen, eng Schreifweis auswielen an d’Grondprinzipie vun der Bibliothéik verstoen. Doduerch huet den Test eng besonnesch Bedeitung. E mooss net nëmmen, ob de virgeluechte Programm dat erwaart Resultat konnt liwweren, mee och, wat den Entwéckler dovu behalen hat.
Siwwenzéng Prozentpunkten Ënnerscheed am Questionnaire
D’Grupp mat KI huet am Questionnaire am Duerchschnëtt 50 % kritt, géintiwwer 67 % bei der Grupp ouni KI. Den Ënnerscheed läit bei siwwenzéng Prozentpunkten. An der Publikatioun gëtt en als statistesch signifikant bezeechent; besonnesch däitlech war en bei de Froen zum Debugging.
Déi assistéiert Participanten hunn d’Übung am Duerchschnëtt ronn zwou Minutte méi séier ofgeschloss. An dësem Experiment huet den Zäitënnerscheed awer net de Seuil fir statistesch Signifikanz erreecht. D’Resultater kann een also net als nogewisene Produktivitéitsgewënn zesummefaassen, dee just géint e méi schwaacht Verständnis agehandelt gi wier.
De Kader ass limitéiert: Et geet ëm en neit Outil, dat während enger Übung geléiert gouf, gefollegt vun enger direkter Bewäertung. D’Etüd weist net, wat déi selwecht Entwéckler e puer Woche méi spéit nach behalen hätten, nach wéi si mat enger Technologie schaffen, déi hinne scho vertraut ass. Si moosst och net déi ganz Bandbreet vun de méiglechen Asätz vu Claude Code oder anere Programméierungsagenten.
D’Froen un den Assistent spillen eng Roll
D’Analyse vun den Interaktioune bréngt eng nëtzlech Nuance mat sech. E puer Participanten hunn d’Schreiwen oder d’Korrigéiere direkt dem Assistent iwwerlooss. Anerer hunn de Code zesumme mat Erklärunge generéiere gelooss, sinn op e Virschlag zeréckkomm, fir en ze verstoen, oder hunn haaptsächlech no de Prinzipie gefrot, ier si selwer geschriwwen hunn.
D’Gruppen, déi e méi héije Verständnis gewisen hunn, hunn d’Hëllef vun der KI méi dacks mat engem Effort verbonnen, sech eppes erkläre ze loossen. Am Géigesaz dozou hunn déi manner performante Profiller d’Léisung gréisstendeels delegéiert. D’Ënnergruppe waren awer ganz kleng: D’Analyse beschreift Zesummenhäng tëscht Notzungsweisen a Resultater, ouni ze beweisen, datt all eenzel Froemethod fir sech eleng e bestëmmte Kompetenzniveau verursaacht.
Eng aner Observatioun: Verschidden Entwéckler hu bis zu eelef Minutte gebraucht, fir hir Ufroe fir den Assistent ze formuléieren. D’Hëllef mécht also net all Aarbecht iwwerflësseg; si kann en Deel dovun op d’Formuléiere vun den Uweisungen, d’Liesen an den Austausch verleeën. Dat hëlleft ze verstoen, firwat de Virsprong vun der KI-Grupp am Duerchschnëtt bescheide war; e war statistesch net signifikant.
Fir ze iwwerwaachen, muss een déi Fäegkeeten och weider üben
Dëst Thema hänkt mat der Warnung zesummen, déi Clubic am Zesummenhang mat Addy Osmani aus dem Claude-Code-Team opgegraff huet: Eng gutt presentéiert Äntwert unzehuelen ass net datselwecht, wéi se iwwerpréift ze hunn. Den Artikel ënnerscheet tëscht enger Aufgab ze delegéieren an drop ze verzichten, d’Resultat selwer ze beurteelen. Et ass eng Iwwerleeung aus der Praxis, déi d’Experiment iwwer Trio ergänzt, an net eng zweet onofhängeg Bestätegung vun den Zuele vun der Etüd.
De Lien mam Debugging ass konkret. Fir e Programm ze kontrolléieren, muss ee kënne soen, wat eng Funktioun erwaart, wat si zeréckgëtt a bei wéi enge Bedéngunge si ka feelen. Erfollegräich Tester liwweren Informatiounen iwwer déi getest Situatiounen; si erklären net automatesch déi ganz Logik vum System.
An enger Formatioun kann dësen Ënnerscheed sech an einfache Kontrollmoossnamen erëmspigelen: Den Entwéckler froen, e Code-Abschnitt z’erklären, e Fall ze nennen, an deem e feeleschloe kéint, oder eng Bedéngung z’änneren, ouni den Assistent de Problem direkt léisen ze loossen. Dat si Méiglechkeeten, fir d’Verständnis siichtbar ze maachen, an net Prozeduren, deenen hir Wierksamkeet duerch dës eenzel Etüd nogewise gi wier.
E Resultat, dat een am Liicht vu senger Method a sengem Auteur liese muss
Anthropic ass souwuel Fournisseur vu KI-Tools wéi och Auteur vun dëser Fuerschungspublikatioun. D’Resultater sinn e Bäitrag zur Debatt, deen een zesumme mam Protokoll, der Gréisst vun der Stéchprouf an de Limite liese soll, déi d’Firma selwer unerkennt. Eng Widderhuelung mat aneren Aufgaben an iwwer eng méi laang Zäit géif weider Erkenntnesser bréngen.
Déi sënnvoll Fro ass net, ob een alles eleng maache soll oder alles delegéiere soll. Et geet drëm, d’Zil vun der Aarbecht z’ënnerscheeden: séier eppes produzéieren, andeems ee schonn erwuerwe Fäegkeete benotzt, oder dës Fäegkeeten opbauen, andeems een en Outil entdeckt. Am zweete Fall kann e korrekt Resultat eng net genuch déif Léiererfarung verstoppen. Wann een Zäit fir Erklärungen, Ausprobéieren an autonomt Korrigéiere reservéiert, kann een op d’mannst iwwerpréiwen, wat den Assistent dem Benotzer net bäibruecht huet.
Quellen
- How AI assistance impacts the formation of coding skills — Anthropic
- Delegéieren un d’KI an d’eegen Fäegkeete behalen — Clubic
Code um Bildschierm vun engem Laptop. Illustratiounsfoto; si weist net d’Participanten un der Etüd.
