Um programa pode funcionar sem que a pessoa que o criou saiba realmente explicá-lo. Com os assistentes de desenvolvimento, esta distinção torna-se uma questão tanto de formação como de produtividade. Um estudo publicado pela Anthropic sobre a aprendizagem de uma biblioteca Python ilustra o problema: na experiência, o grupo que tinha acesso a IA obteve resultados mais baixos no questionário de compreensão.
O resultado não significa que qualquer utilização de IA faça perder competências. Convida a colocar uma questão mais precisa: quando se aprende uma ferramenta nova, o assistente ajuda a compreender ou permite sobretudo terminar sem dominar as etapas? As utilizações observadas no estudo não conduzem todas ao mesmo resultado.
Uma experiência sobre uma nova aprendizagem
Os investigadores recrutaram 52 programadores, na sua maioria juniores. Todos utilizavam Python pelo menos uma vez por semana há mais de um ano e conheciam, pelo menos um pouco, a assistência à programação por IA. No entanto, não conheciam o Trio, a biblioteca de programação assíncrona escolhida para os exercícios.
Os participantes tinham de implementar duas funcionalidades com base num problema, num código inicial e numa breve apresentação dos conceitos necessários. Uma parte tinha um assistente na interface de trabalho; a outra tinha de programar sem essa ajuda. Após o exercício, os participantes responderam a um questionário anunciado previamente.
As perguntas incidiam sobre várias dimensões: identificar e explicar um erro, ler o código, escolher uma forma de o escrever e compreender os princípios da biblioteca. Esta conceção confere ao teste um alcance particular. Não media apenas se o programa entregue conseguia produzir o resultado esperado, mas também o que o programador tinha retido.
Dezassete pontos de diferença no questionário
O grupo com IA obteve, em média, 50 % no questionário, contra 67 % no grupo sem IA. A diferença é de dezassete pontos percentuais. A publicação apresenta-a como estatisticamente significativa; era particularmente acentuada nas perguntas de depuração.
Os participantes com assistência terminaram o exercício, em média, cerca de dois minutos mais depressa. Mas, nesta experiência, a diferença de tempo não atingiu o limiar de significância estatística. Por isso, não se pode resumir estes resultados a um ganho de produtividade comprovado que teria sido simplesmente trocado por uma compreensão inferior.
O âmbito continua a ser limitado: trata-se de uma ferramenta nova aprendida durante um exercício, seguida de uma avaliação imediata. O estudo não demonstra o que estes mesmos programadores teriam retido várias semanas depois, nem a forma como trabalhariam com uma tecnologia que já lhes fosse familiar. Também não avalia todas as utilizações possíveis do Claude Code ou de outros agentes de programação.
As perguntas feitas ao assistente são importantes
A análise das interações acrescenta uma nuance útil. Alguns participantes confiavam diretamente ao assistente a escrita ou a correção do código. Outros pediam a geração de código acompanhada de explicações, voltavam a uma proposta para a compreender ou faziam sobretudo perguntas sobre princípios antes de escreverem eles próprios.
Os grupos que demonstraram uma compreensão mais elevada combinavam mais frequentemente a ajuda da IA com um esforço de explicação. Em contrapartida, os perfis com piores resultados delegavam amplamente a resolução. Mas os subgrupos eram muito pequenos: a análise descreve associações entre utilizações e resultados, sem estabelecer que cada método de questionamento, por si só, causa determinado nível de domínio.
Outra observação: alguns programadores dedicaram até onze minutos a redigir os pedidos ao assistente. A ajuda não elimina, portanto, todo o trabalho; pode transferir parte dele para a formulação das instruções, a leitura e as interações. Isso ajuda a compreender por que razão a vantagem média do grupo com IA foi modesta; não foi estatisticamente significativa.
Supervisionar exige competências que é preciso continuar a exercitar
O tema relaciona-se com o alerta divulgado pela Clubic a propósito de Addy Osmani, da equipa do Claude Code: aceitar uma resposta bem apresentada não equivale a verificá-la. O artigo distingue a delegação de uma tarefa do abandono do juízo sobre o resultado. Trata-se de uma reflexão de um profissional, complementar da experiência com o Trio, e não de uma segunda confirmação independente dos números do estudo.
A relação com a depuração é concreta. Para verificar um programa, é preciso conseguir dizer o que uma função espera, o que devolve e em que condições pode falhar. Testes bem-sucedidos fornecem informações sobre as situações testadas; não explicam automaticamente toda a lógica do sistema.
Num percurso de formação, esta diferença pode traduzir-se em verificações simples: pedir ao programador que explique uma parte do código, proponha um caso em que falharia ou altere uma condição sem deixar que o assistente resolva imediatamente o problema. São pistas de trabalho para tornar a compreensão visível, não protocolos cuja eficácia tenha sido demonstrada apenas por este estudo.
Um resultado a ler tendo em conta o método e o autor
A Anthropic é simultaneamente fornecedora de ferramentas de IA e autora desta publicação de investigação. Os seus resultados são uma peça do debate, que deve ser lida tendo em conta o protocolo, a dimensão da amostra e as limitações que a própria empresa reconhece. Uma replicação com outras tarefas e ao longo de um período mais longo forneceria outros elementos.
A questão útil não é escolher entre fazer tudo sozinho e delegar tudo. Consiste em distinguir o objetivo do trabalho: produzir rapidamente com competências já adquiridas ou desenvolver essas competências ao descobrir uma ferramenta. No segundo caso, um resultado correto pode ocultar uma aprendizagem insuficiente. Reservar momentos para explicar, experimentar e corrigir de forma autónoma permite, pelo menos, verificar o que o assistente não aprendeu em vez do utilizador.
Fontes
- How AI assistance impacts the formation of coding skills — Anthropic
- Delegar na IA e preservar as competências — Clubic
Código no ecrã de um computador portátil. Fotografia ilustrativa; não mostra os participantes no estudo.
Fotografia: Negative Space — Wikimedia Commons — CC0 1.0.
