Um experimento randomizado comparou o feedback de um professor ao do ChatGPT em dois formatos de comando para a revisão de textos argumentativos. Embora a inteligência artificial generativa (IA generativa) tenha alcançado maior qualidade estrutural quando guiada por raciocínio passo a passo, os ganhos de escrita foram semelhantes entre os grupos; o resultado aponta para modelos híbridos, nos quais a escala da IA seja combinada à mediação pedagógica docente.
O QUE HÁ DE NOVO: Realizado no ano letivo de 2024–2025 em uma universidade pública de país persófono, o estudo reuniu 70 estudantes de graduação em Ciências da Educação, todos no quinto semestre. Eles foram distribuídos aleatoriamente entre três condições: retorno escrito de um docente experiente (24 participantes), retorno do ChatGPT com comando Zero-shot, isto é, uma instrução direta sem demonstração de raciocínio (24), e retorno do mesmo sistema com comando Chain of Thought, ou CoT, que induz uma avaliação em etapas (22).
COMO FUNCIONA: Os participantes escreveram, em persa, uma redação argumentativa sobre o uso de ferramentas de IA generativa na educação. Após uma semana, receberam os comentários pelo ambiente virtual de aprendizagem e tiveram mais uma semana para revisar o texto; não sabiam qual era a origem do feedback até o encerramento. Nas duas condições automatizadas, foi usado o GPT-4o e uma rubrica ancorada no modelo de argumentação de Toulmin; no CoT, o sistema era levado a examinar sequencialmente os critérios e recebia um exemplo elaborado, enquanto o Zero-shot apenas recebia a instrução de comentar segundo a rubrica.
Dois avaliadores independentes, sem informação sobre a identidade dos estudantes ou os grupos, analisaram os rascunhos e os comentários. A escala verificou elementos como introdução, posição defendida, argumentos, evidências, contra-argumentos e conclusão, com pontuação total de zero a 14. O desenho permitiu separar a qualidade formal do retorno da sua incorporação efetiva nas revisões, uma distinção central para avaliar IA na escrita acadêmica.
PRINCIPAIS RESULTADOS: O feedback produzido com CoT obteve média de 12,90 pontos, acima do Zero-shot (11,25) e do professor (11,20); estes dois últimos não apresentaram diferença estatisticamente relevante entre si. Todos os grupos melhoraram seus textos entre a primeira e a segunda versão. Porém, ao controlar a qualidade inicial das redações, não houve diferença significativa no resultado final por fonte de feedback: as médias das versões revisadas foram 10,66 no grupo do professor, 10,08 no Zero-shot e 9,81 no CoT.
O nível do rascunho inicial foi o fator mais consistente para prever a qualidade da versão final. Além disso, nos grupos de IA, a qualidade dos comentários se associou moderadamente à qualidade do texto de partida, com correlações de 0,53 no Zero-shot e 0,42 no CoT; entre os estudantes que receberam retorno docente, essa associação não foi significativa. Só na condição do professor a qualidade do feedback também previu de forma significativa a qualidade da revisão.
POR QUE ISSO IMPORTA PARA A EDUCAÇÃO: O estudo relativiza a ideia de que um comentário mais completo, por si só, melhora a aprendizagem. Para a sala de aula, a evidência desloca o foco da simples geração de sugestões para a chamada alfabetização em feedback: estudantes precisam aprender a selecionar, compreender, questionar e transformar recomendações em mudanças substantivas no texto. Para docentes e instituições, a IA pode ampliar a rapidez e a cobertura de devolutivas baseadas em critérios, sobretudo diante de turmas numerosas, sem tornar dispensável o julgamento humano sobre prioridades, trajetória de aprendizagem e dificuldades individuais.
A associação entre a qualidade do texto inicial e a do feedback automatizado também traz uma questão de equidade. Se sistemas respondem melhor a produções já mais organizadas ou densas, estudantes com domínio menor da escrita podem receber orientações menos úteis justamente quando mais necessitam de apoio. O problema é particularmente relevante em idiomas menos representados nos dados de treinamento dos grandes modelos de linguagem, como o persa, e recomenda testar se esse padrão se repete em diferentes línguas, disciplinas e redes de ensino.
LIMITES E PRÓXIMOS PASSOS: A pesquisa se concentrou em uma única universidade, um grupo homogêneo e uma única redação revisada em curto prazo, o que limita a generalização para outras áreas, etapas educacionais e ciclos reais de escrita. A rubrica privilegiou a estrutura argumentativa e pode não captar dimensões como tom, utilidade percebida e vínculo emocional do feedback. Estudos futuros deverão acompanhar múltiplas versões e tarefas, observar como os alunos aceitam ou rejeitam cada sugestão e testar comandos que ofereçam apoio mais acionável a rascunhos frágeis. Na implementação, a direção indicada é um arranjo híbrido: IA para devolutivas imediatas e consistentes, professores para contextualizar, priorizar e mediar seu uso, com formação em elaboração de comandos, protocolos claros de colaboração e proteção de dados.
