Um estudo com especialistas em avaliação educacional e 89 avaliadores investigou se o GPT-4 pode gerar textos em alemão para provas de compreensão leitora no contexto multilíngue de Luxemburgo. A pesquisa comparou textos humanos e gerados por IA em dimensões como legibilidade, correção, coerência, engajamento e adequação, encontrando desempenho geralmente alto, com vantagens diferentes conforme o tipo de texto e o método de prompt.
O QUE HÁ DE NOVO: Pesquisadores analisaram o uso do GPT-4 como ferramenta de apoio à criação de passagens de leitura para o Épreuves Standardisées, programa nacional de monitoramento escolar de Luxemburgo. O trabalho combinou um grupo focal com seis especialistas em desenvolvimento de testes do Luxembourg Centre for Educational Testing e uma avaliação cega online com 89 participantes, que compararam seis textos em alemão destinados ao 5º ano: dois escritos por especialistas humanos e quatro gerados por IA, divididos entre textos narrativos e informativos, com prompts zero-shot e one-shot.
COMO FUNCIONA: A geração dos textos foi organizada a partir de um modelo cognitivo de análise textual, usado como molde para transformar critérios educacionais em instruções ao GPT-4. Esse modelo definiu o objetivo da tarefa de leitura, o tipo de texto, a ideia central, a estrutura esperada, elementos linguísticos, faixa etária, nível escolar, limite de palavras e recursos como conectivos, fala direta, parágrafos ou títulos, dependendo do gênero textual. A abordagem buscou aproximar a IA do processo tradicional de desenvolvimento de itens, em que especialistas explicitam o que se pretende medir antes de criar o material da prova.
Foram criados quatro modelos personalizados no ChatGPT, separados por gênero textual e estratégia de prompt. No formato zero-shot, o sistema recebia apenas instruções e restrições; no one-shot, também recebia um texto de referência para imitar estilo e estrutura. Um especialista selecionou os textos gerados que melhor atendiam aos critérios, mas não os revisou antes da avaliação, permitindo observar erros ou limitações originais. Os avaliadores julgaram os textos em escala de cinco pontos e, ao final, tentaram dizer se cada passagem havia sido escrita por uma pessoa ou por IA.
PRINCIPAIS RESULTADOS: Todos os textos receberam avaliações médias acima de 4 em uma escala de 1 a 5, sinalizando qualidade considerada satisfatória. Entre os informativos, o texto gerado por IA com prompt one-shot teve a maior média geral, 4,45, acima do texto humano, com 4,28, e do zero-shot, com 4,21. Entre os narrativos, o texto humano liderou, com 4,41, seguido pelo zero-shot, com 4,20, e pelo one-shot, com 4,11. A IA teve desempenho linguístico forte em correção gramatical e ortográfica, mas os textos narrativos humanos foram melhor avaliados em aspectos como legibilidade, coerência, engajamento e adequação. Já nos textos informativos, o one-shot se destacou em legibilidade, coerência e adequação. Nenhum texto teve autoria corretamente identificada por maioria absoluta dos avaliadores, e não houve diferença significativa entre participantes com experiência em ensino ou desenvolvimento de testes e os demais.
POR QUE ISSO IMPORTA PARA A EDUCAÇÃO: A criação de materiais para avaliações em larga escala é cara, demorada e altamente dependente de especialistas, especialmente em compreensão leitora, área em que a qualidade do texto-base influencia diretamente o que a prova mede. Em sistemas multilíngues, como o de Luxemburgo, o desafio é maior porque estudantes podem ser avaliados em línguas que não são sua primeira língua, o que exige controle fino de vocabulário, sintaxe, tema e complexidade. Nesse cenário, a IA pode acelerar rascunhos, sugerir adaptações de dificuldade, ampliar bancos de textos e viabilizar versões paralelas de provas com características mais consistentes.
O impacto potencial não se limita à eficiência administrativa. Avaliações mais bem calibradas ajudam escolas e redes a interpretar aprendizagens com mais precisão, orientar intervenções e monitorar políticas públicas. Para professores e equipes técnicas, o estudo sugere um uso da IA como apoio à produção e revisão, não como substituição da autoria pedagógica. A diferença entre textos narrativos e informativos também é relevante: enquanto estruturas factuais parecem mais fáceis de padronizar por IA, textos literários exigem nuances de coerência, criatividade e envolvimento emocional que ainda favorecem a escrita humana ou, no mínimo, uma revisão especializada mais intensa.
LIMITES E CUIDADOS: Os resultados devem ser lidos com cautela. A amostra quantitativa foi limitada, apenas seis textos foram avaliados, a seleção de participantes ocorreu por amostragem em rede e as notas altas em quase todos os casos podem ter reduzido a capacidade de diferenciar qualidade real entre materiais. O próprio estudo aponta questões legais e éticas ainda abertas, como autoria, direitos autorais, possível plágio, transparência dos dados de treinamento e vieses culturais ou pragmáticos em contextos multilíngues. Em avaliações de alto impacto, o caminho mais seguro continua sendo o modelo de “humano no ciclo”: especialistas definem critérios, orientam prompts, verificam precisão, revisam adequação curricular e assumem responsabilidade final pelo conteúdo. Próximas pesquisas precisarão testar mais línguas, gêneros textuais, modelos recentes e propriedades psicométricas em aplicações reais de avaliação.
