O uso de inteligência artificial generativa na correção de provas pode aliviar uma tarefa intensiva para docentes, mas sua confiabilidade depende menos de uma resposta automática pronta e mais do desenho da avaliação, da precisão da rubrica e da supervisão humana. Ao comparar o GPT-4 com avaliadores treinados em questões de Farmácia, a pesquisa encontrou desempenho promissor sobretudo em itens objetivos, ao mesmo tempo que identificou falhas que impedem a adoção autônoma do modelo.
O QUE HÁ DE NOVO: Pesquisadores aplicaram o GPT-4 à correção de respostas textuais de uma graduação de Farmácia de quatro anos, em uma universidade na Malásia, e confrontaram as notas do sistema com as atribuídas e conferidas por corretores qualificados. O teste abrangeu quatro questões de áreas científicas, clínicas e regulatórias, com 125 a 132 respostas por item, incluindo análise comparativa, julgamento de afirmações, cálculo de doses e apreciação crítica de um produto farmacêutico. A novidade central foi testar, antes da aplicação completa, instruções ajustadas especificamente a cada tipo de questão e diferentes modos de enviar lotes de respostas ao modelo.
COMO FUNCIONA: As respostas de provas anteriores foram anonimizadas e embaralhadas antes de serem submetidas ao GPT-4, entre abril e setembro de 2024. Para cada questão, os pesquisadores construíram versões sucessivas de um comando que definia o papel do sistema, apresentava o enunciado e explicitava os critérios de pontuação; 16 respostas, entre elas duas respostas-controle que deveriam receber zero, serviram para esse ajuste inicial. Em seguida, compararam três rotinas de envio e adotaram aquela que reapresentava as instruções a cada bloco de 15 respostas, por combinar melhor concordância e menor frequência de erros. As notas da IA foram confrontadas com as humanas e repetidas em até três tentativas para medir estabilidade.
PRINCIPAIS RESULTADOS: A concordância entre GPT-4 e avaliadores humanos, medida pelo coeficiente de correlação intraclasse, ficou entre 0,617 e 0,933 conforme a questão e o comando utilizado: moderada nas duas primeiras questões, boa na análise regulatória e excelente no cálculo de dose. Repetir a correção e usar a média de duas ou três tentativas elevou ligeiramente a aderência em parte dos casos, embora sem padrão uniforme entre as faixas de nota. O desempenho piorou na correção de respostas com pontuação alta, nas quais todas as questões apresentaram diferenças significativas em relação ao julgamento humano. No método de envio escolhido, a primeira questão teve índice de erros de 8,8%; considerando os itens completos, falhas de soma chegaram a 34,07%, em média, no exercício de cálculo.
LIMITAÇÕES E CUIDADOS: A ferramenta por vezes concedeu pontos fora da rubrica, premiou ideias repetidas, deixou de reconhecer acertos, ignorou trechos da resposta ou interpretou a linguagem de modo incorreto. Critérios vagos ou complexos ampliaram essa instabilidade, e o esforço necessário para criar comandos próprios para cada item reduz parte do ganho de tempo prometido pela automação. O estudo também aponta obstáculos de escala: a conta utilizada processava cerca de 30 respostas a cada quatro horas, além de enfrentar dificuldade maior em respostas longas ou com muitas partes. Como as notas humanas também podem variar e os testes se concentraram em poucos itens de um curso e em uma versão do modelo que evolui rapidamente, os resultados não devem ser generalizados sem validação local.
POR QUE ISSO IMPORTA PARA A EDUCAÇÃO: Para cursos que usam respostas curtas e rubricas bem estruturadas, a IA pode funcionar como uma segunda leitura, ajudando docentes a verificar consistência, identificar discrepâncias e concentrar tempo em feedback pedagógico e casos mais ambíguos. Isso não equivale a transferir a responsabilidade avaliativa: justamente entre estudantes de melhor desempenho, uma diferença pequena de interpretação pode afetar notas, progressão e percepção de justiça. A implementação responsável exige critérios transparentes, proteção de dados estudantis, testes por disciplina e revisão humana das decisões. A evidência sugere um caminho de colaboração, inclusive com bancos compartilhados de comandos validados,, não de substituição do professor, enquanto novas pesquisas com outros modelos e formatos de avaliação verificam se a confiabilidade se mantém em maior escala.
Fonte: Journal of Educational Evaluation for Health Professions
