Um estudo sobre IA na educação comparou modelos de recomendação de quizzes de matemática em um contexto de avaliação formativa e encontrou uma tensão concreta entre precisão preditiva e explicabilidade. A pesquisa sugere que sistemas híbridos, que combinam conceitos matemáticos legíveis com técnicas de aprendizado de máquina, podem oferecer um caminho intermediário para personalizar a prática dos estudantes sem tornar as decisões da IA opacas demais para uso educacional.

O QUE HÁ DE NOVO: Pesquisadores no Japão avaliaram três abordagens para recomendar atividades de matemática a estudantes do ensino médio: um modelo baseado em conceitos explícitos, um modelo de fatoração de matrizes tratado como caixa-preta e uma versão integrada que combina os dois. A análise usou dados reais de uma plataforma educacional, com 27.431 tentativas de resolução feitas por 270 alunos do primeiro ano do ensino médio em 1.919 quizzes, além de um questionário semi-interativo para examinar como usuários percebiam as explicações dadas pelo sistema.

COMO FUNCIONA: No modelo mais explicável, chamado Naïve CE, a IA estima o domínio do aluno sobre conceitos matemáticos identificáveis, como inequações ou parábolas, a partir de seu histórico de acertos em questões relacionadas. Com isso, calcula a probabilidade de sucesso em novos quizzes e recomenda atividades consideradas desafiadoras. Já a fatoração de matrizes, ou MF, aprende padrões ocultos nas interações entre alunos e questões, aproximando-se de métodos usados em recomendadores comerciais, mas seus “fatores” internos não têm significado pedagógico facilmente interpretável.

O modelo híbrido, CE+MF, tenta preservar a linguagem educacional do Naïve CE enquanto usa a capacidade estatística da fatoração de matrizes para melhorar estimativas quando há poucos dados sobre determinados alunos, conceitos ou questões. Para medir precisão, os pesquisadores separaram parte dos registros como teste e avaliaram a capacidade dos modelos de prever acertos em quizzes não vistos. Para medir explicabilidade, participantes visualizaram sequências graduais de explicações sobre uma recomendação e avaliaram compreensão, utilidade para aprender matemática e intenção de usar o sistema.

PRINCIPAIS RESULTADOS: O modelo de caixa-preta foi o mais preciso: a versão MF com ajuste de viés chegou a AUC de 0,799 e RMSE de 0,381, enquanto o Naïve CE ficou em AUC de 0,639 e RMSE de 0,508. O modelo híbrido ocupou uma posição intermediária, com AUC de 0,688 e RMSE de 0,478, melhorando a precisão do modelo explicável, mas sem alcançar o desempenho da fatoração de matrizes. Na avaliação de explicabilidade, porém, o padrão foi menos linear: o Naïve CE foi percebido como menos compreensível em alguns aspectos, mas mais útil para aprender matemática e mais motivador para uso do que o modelo MF; o CE+MF apresentou o equilíbrio mais consistente entre os critérios.

A IDEIA CENTRAL: O achado mais relevante não é apenas que há uma troca entre acurácia e explicabilidade, mas que “explicar” um sistema educacional não significa simplesmente revelar seu funcionamento técnico. Em aprendizagem, uma explicação pode ser valiosa quando ajuda o estudante a entender por que uma atividade foi indicada, quais conceitos estão envolvidos e como isso se conecta ao seu progresso. Um modelo matematicamente mais transparente para desenvolvedores pode não ser o mais útil para alunos se suas justificativas não forem pedagogicamente acionáveis.

POR QUE ISSO IMPORTA PARA A EDUCAÇÃO: Sistemas recomendadores de matemática prometem apoiar avaliação formativa ao direcionar cada estudante para exercícios compatíveis com seu nível de domínio, mas sua adoção em escolas depende de confiança, clareza e valor pedagógico. Para alunos, explicações baseadas em conceitos podem estimular metacognição, ajudando-os a reconhecer lacunas específicas em vez de apenas receber uma nova lista de questões. Para professores, modelos desse tipo podem oferecer pistas sobre dificuldades conceituais da turma e reduzir parte do trabalho de seleção de atividades, desde que não substituam o julgamento docente nem simplifiquem excessivamente o diagnóstico de aprendizagem.

Em redes escolares e plataformas educacionais, o estudo reforça que métricas de desempenho algorítmico não bastam para decidir qual IA implementar. Um sistema que prevê melhor pode ser menos adequado se não permite compreender os critérios das recomendações, auditar possíveis erros ou explicar decisões a estudantes e famílias. A questão também toca equidade: escolas com menos infraestrutura, menos dados ou menor formação docente podem ter mais dificuldade para usar ferramentas complexas de modo crítico, o que torna a explicabilidade um requisito prático, não apenas técnico.

LIMITES E CUIDADOS: A pesquisa ainda é preliminar em pontos importantes. A avaliação de explicabilidade contou com apenas 12 respostas válidas e foi feita em um cenário simulado, não durante o uso real por estudantes resolvendo exercícios ao longo do tempo. Além disso, os dados vieram de um contexto específico, com quizzes em japonês e alunos de uma escola de ensino médio, o que limita generalizações para outros países, currículos, etapas de ensino ou populações com diferentes níveis de proficiência matemática.

O QUE FICA EM ABERTO: Os próximos passos incluem testar os modelos em ambientes autênticos, com estudantes usando recomendações ao longo de atividades reais, e medir não apenas a previsão de acertos, mas a qualidade educacional das recomendações e seus efeitos na aprendizagem. Também será necessário investigar formas melhores de construir mapas de conceitos matemáticos, aprimorar modelos híbridos e definir quando vale priorizar precisão, explicabilidade ou uma combinação das duas. Para gestores e desenvolvedores de IA educacional, a mensagem é clara: personalização só ganha valor escolar quando seus critérios podem ser compreendidos, questionados e transformados em ação pedagógica.

Fonte: What’s more important when developing math recommender systems: accuracy, explainability, or both?