Un programma può funzionare senza che la persona che lo ha realizzato sappia davvero spiegarlo. Con gli assistenti di sviluppo, questa distinzione diventa una questione di formazione tanto quanto di produttività. Uno studio pubblicato da Anthropic sull’apprendimento di una libreria Python illustra il problema: nell’esperimento, il gruppo che disponeva di un’IA ha ottenuto risultati più bassi nel questionario sulla comprensione.
Il risultato non significa che ogni uso dell’IA faccia perdere competenze. Invita a porsi una domanda più precisa: quando si impara a usare un nuovo strumento, l’assistente aiuta a capire oppure permette soprattutto di finire senza padroneggiare i passaggi? Gli usi osservati nello studio non hanno portato tutti allo stesso risultato.
Un esperimento su un nuovo apprendimento
I ricercatori hanno reclutato 52 sviluppatori, per la maggior parte junior. Tutti usavano Python almeno una volta alla settimana da più di un anno e avevano una certa familiarità con l’assistenza alla programmazione tramite IA. Non conoscevano invece Trio, la libreria di programmazione asincrona scelta per gli esercizi.
I partecipanti dovevano realizzare due funzionalità partendo da un problema, da un codice iniziale e da una breve presentazione dei concetti necessari. Una parte disponeva di un assistente nell’interfaccia di lavoro; l’altra doveva programmare senza aiuto. Al termine dell’esercizio era previsto un questionario, annunciato in anticipo.
Le domande riguardavano diverse dimensioni: individuare e spiegare un errore, leggere il codice, scegliere un modo di scriverlo e comprendere i principi della libreria. Questa impostazione conferisce al test una portata particolare. Non misurava soltanto se il programma consegnato fosse in grado di produrre il risultato atteso, ma anche che cosa lo sviluppatore avesse appreso.
Diciassette punti di differenza nel questionario
Il gruppo con l’IA ha ottenuto una media del 50% nel questionario, contro il 67% del gruppo senza IA. La differenza è di diciassette punti percentuali. La pubblicazione la definisce statisticamente significativa; era particolarmente marcata nelle domande sul debugging.
I partecipanti assistiti hanno terminato l’esercizio in media circa due minuti prima. Ma, in questo esperimento, la differenza nei tempi non raggiungeva la soglia di significatività statistica. Non si possono quindi riassumere questi risultati parlando di un guadagno di produttività dimostrato, semplicemente scambiato con una minore comprensione.
Il contesto resta circoscritto: si tratta di un nuovo strumento appreso durante un esercizio, seguito da una valutazione immediata. Lo studio non dimostra che cosa gli stessi sviluppatori avrebbero ricordato alcune settimane dopo, né come avrebbero lavorato con una tecnologia già familiare. Inoltre, non misura tutti i possibili usi di Claude Code o di altri agenti di programmazione.
Le domande poste all’assistente contano
L’analisi delle interazioni offre un’utile sfumatura. Alcuni partecipanti affidavano direttamente all’assistente la scrittura o la correzione del codice. Altri chiedevano di generare codice accompagnandolo con spiegazioni, tornavano su una proposta per capirla oppure ponevano soprattutto domande sui principi prima di scrivere da soli.
I gruppi che mostravano una comprensione maggiore combinavano più spesso l’aiuto dell’IA con uno sforzo di spiegazione. Al contrario, i profili con i risultati più bassi delegavano in larga misura la risoluzione del problema. Ma i sottogruppi erano molto piccoli: l’analisi descrive associazioni tra determinati usi e risultati, senza stabilire che ogni metodo di formulazione delle domande, da solo, causi un certo livello di padronanza.
Un’altra osservazione: alcuni sviluppatori hanno dedicato fino a undici minuti a formulare le richieste all’assistente. L’aiuto non elimina quindi ogni lavoro; può spostarne una parte sulla formulazione delle istruzioni, sulla lettura e sugli scambi. Questo aiuta a capire perché il vantaggio medio del gruppo con l’IA fosse modesto e non statisticamente significativo.
La supervisione richiede competenze che bisogna continuare a esercitare
Il tema si collega all’allarme rilanciato da Clubic a proposito di Addy Osmani, del team di Claude Code: accettare una risposta ben presentata non equivale ad averla verificata. L’articolo distingue la delega di un compito dalla rinuncia a giudicarne il risultato. Si tratta di una riflessione da parte di un professionista, complementare all’esperimento su Trio, non di una seconda conferma indipendente dei dati dello studio.
Il legame con il debugging è concreto. Per verificare un programma, bisogna saper dire che cosa si aspetta una funzione, che cosa restituisce e in quali condizioni può fallire. I test superati forniscono informazioni sugli scenari verificati; non spiegano automaticamente tutta la logica del sistema.
In un percorso di formazione, questa distinzione può tradursi in verifiche semplici: chiedere allo sviluppatore di spiegare una porzione di codice, di proporre un caso in cui potrebbe fallire o di modificare un vincolo senza lasciare che l’assistente risolva subito il problema. Sono spunti di lavoro per rendere visibile la comprensione, non protocolli la cui efficacia sia stata dimostrata da questo solo studio.
Un risultato da leggere alla luce del metodo e dell’autore
Anthropic è sia il fornitore di strumenti di IA sia l’autore di questa pubblicazione di ricerca. I suoi risultati sono un elemento del dibattito, da leggere tenendo conto del protocollo, delle dimensioni del campione e dei limiti riconosciuti dall’azienda. Una replica su altri compiti e per un periodo più lungo fornirebbe ulteriori elementi.
La domanda utile non è se scegliere di fare tutto da soli o delegare tutto. Si tratta di distinguere lo scopo del lavoro: produrre rapidamente usando competenze già acquisite oppure svilupparle imparando a usare uno strumento. Nel secondo caso, un risultato corretto può nascondere un apprendimento insufficiente. Prevedere momenti di spiegazione, sperimentazione e correzione autonoma permette almeno di verificare che cosa l’assistente non ha imparato al posto dell’utente.
Fonti
- How AI assistance impacts the formation of coding skills — Anthropic
- Delegare all’IA e preservare le proprie competenze — Clubic
Codice sullo schermo di un computer portatile. Fotografia illustrativa; non mostra i partecipanti allo studio.
Fotografia: Negative Space — Wikimedia Commons — CC0 1.0.
