Pesquisadores testaram o ChatGPT-4 como ferramenta de apoio à avaliação educacional, usando o modelo para analisar 54 respostas abertas de estudantes de mestrado e gerar feedback escrito individualizado. O estudo é relevante porque aborda uma das tarefas mais importantes e mais custosas do trabalho docente, oferecer devolutivas úteis, e mostra tanto ganhos de sistematização quanto limites de confiabilidade no uso de IA generativa na educação.
O QUE HÁ DE NOVO: O estudo examinou o desempenho do ChatGPT-4 na produção de feedback para respostas discursivas em um contexto universitário simulado. A experiência envolveu estudantes adultos de mestrado, materiais de leitura em inglês e três rodadas de teste, nas quais seis estudantes por rodada responderam a três perguntas relacionadas a textos acadêmicos. Ao todo, foram avaliadas 54 respostas, com extensão variável, antes de o modelo gerar comentários personalizados para cada uma delas.
COMO FUNCIONA: O ChatGPT-4 recebeu instruções para atuar de modo semelhante a um avaliador universitário, considerando materiais de leitura, perguntas do exame, critérios de avaliação e respostas dos estudantes. O processo foi organizado em três etapas: preparação, com prompts detalhados e acesso ao conteúdo de referência; avaliação, com atribuição de notas em uma escala de 0 a 5; e pós-avaliação, com geração de feedback individual. As respostas foram analisadas a partir de cinco critérios com o mesmo peso: relevância ao contexto, precisão factual, completude, consistência lógica e gramática/ortografia. O desenho também incorporou estratégias de prompting para induzir raciocínio passo a passo e verificação, além de uma lógica próxima à geração aumentada por recuperação, para manter a avaliação ancorada nos materiais do curso.
PRINCIPAIS RESULTADOS: O modelo produziu feedbacks relativamente consistentes em extensão, com média próxima de 64 palavras, sem relação direta entre tamanho do comentário e nota atribuída. Em 70,4% dos casos, as devolutivas trouxeram sugestões de melhoria, sobretudo para respostas com desempenho mais baixo: os textos que receberam recomendações tinham nota média de 2,7, enquanto aqueles sem sugestões alcançaram média de 3,8. Quando convidado a reconstruir a nota apenas a partir do feedback que havia gerado, sem ver novamente a resposta original, o ChatGPT-4 acertou exatamente em 53,7% dos casos e ficou a no máximo um ponto de distância em 96,3% deles. Na reconstrução dos critérios individuais, a correspondência exata foi de 60%, com 94,1% dentro de uma diferença de um ponto.
A IDEIA CENTRAL: O avanço não está apenas em automatizar a correção, mas em tentar transformar a avaliação em uma devolutiva mais acionável para o estudante. Em vez de oferecer apenas uma nota numérica ou comentários genéricos, o modelo foi orientado a relacionar desempenho, critérios e recomendações específicas. Essa abordagem busca enfrentar um problema recorrente na educação superior e em redes de ensino: professores sabem que feedback detalhado melhora a aprendizagem, mas raramente dispõem de tempo para produzi-lo em escala com regularidade.
LIMITES E CUIDADOS: O estudo também identificou uma fragilidade importante: a variabilidade. Em um caso, a mesma resposta de estudante recebeu notas diferentes em três avaliações feitas pelo próprio ChatGPT-4, variando de satisfatória a muito boa, com mudanças correspondentes no conteúdo do feedback. Esse comportamento reforça que modelos generativos não devem ser tratados como avaliadores autônomos em decisões educacionais sensíveis. A pesquisa aponta a necessidade de múltiplas verificações, prompts mais bem calibrados, revisão docente e regras claras sobre privacidade, já que respostas de estudantes e materiais de curso não podem ser expostos a usos indevidos ou incorporados a treinamentos de modelos sem controle institucional.
POR QUE ISSO IMPORTA PARA A EDUCAÇÃO: Para estudantes, a promessa está em receber devolutivas mais rápidas, frequentes e específicas, capazes de indicar lacunas de compreensão, problemas de argumentação e próximos passos de estudo. Para professores, a IA pode reduzir parte da carga de trabalho associada à correção discursiva e liberar tempo para intervenções pedagógicas de maior valor, como discutir dificuldades recorrentes com a turma ou apoiar casos individuais. Para instituições, a experiência sugere caminhos para sistemas de avaliação mais consistentes, mas também impõe a criação de protocolos: quem valida a nota, como os critérios são definidos, que dados entram no sistema e em que situações a recomendação da IA pode ou não influenciar decisões acadêmicas.
O QUE OBSERVAR DAQUI EM DIANTE: A próxima etapa para pesquisas desse tipo é sair de ambientes simulados e testar o impacto do feedback gerado por IA sobre aprendizagem real, revisão de textos, engajamento e confiança de estudantes e professores. Também será necessário comparar modelos diferentes, áreas do conhecimento, níveis de ensino e idiomas, além de investigar se a devolutiva da IA pode ser ajustada ao estilo avaliativo de cada docente sem reforçar vieses ou reduzir a autonomia pedagógica. A conclusão mais prudente é que o ChatGPT-4 aparece como uma ferramenta promissora de apoio ao feedback educacional, mas ainda dependente de desenho cuidadoso, supervisão humana e governança institucional.
