Métodos de Avaliação

Um estudo com especialistas em avaliação educacional e 89 avaliadores investigou se o GPT-4 pode gerar textos em alemão para provas de compreensão leitora no contexto multilíngue de Luxemburgo. A pesquisa comparou textos humanos e gerados por IA em dimensões como legibilidade, correção, coerência, engajamento e adequação, encontrando desempenho geralmente alto, com vantagens diferentes conforme o tipo de texto e o método de prompt.

Um estudo de métodos mistos avaliou como o ChatGPT pode apoiar estudantes universitários de mandarim como língua estrangeira em tarefas padronizadas de escrita semelhantes às do exame AP Chinese Language and Culture. Os resultados mostram aumento consistente nas notas quando a IA foi usada como apoio limitado, sobretudo para vocabulário e tradução de frases,, reforçando o potencial da IA generativa no ensino de línguas, mas também a necessidade de regras claras, formação docente e cuidado com dependência e validade avaliativa.

Um estudo com 35 professores e 35 alunos do International Baccalaureate testou o AIvaluate, um agente conversacional apoiado por LLM e indicadores emocionais, para conduzir avaliações orais do tipo performance-based assessment (PBA). Os resultados sugerem pequena elevação nas notas atribuídas no formato virtual e boa aceitação de usabilidade, ao mesmo tempo em que levantam questões sobre vieses, privacidade e o que, de fato, significa “reduzir carga docente” em contextos avaliativos de alta exigência.

Um estudo da Universidade do Colorado avaliou três extensões de navegador com inteligência artificial em 24 provas online de um curso de Farmácia e mostrou que esses sistemas conseguem atingir notas de aprovação em grande parte dos exames, muitas vezes igualando ou superando o desempenho médio dos estudantes, o que expõe fragilidades dos modelos atuais de avaliação remota e pressiona por mudanças no desenho das provas e nas estratégias de integridade acadêmica.