Pesquisadores testaram três modelos de recomendação de quizzes de matemática em um cenário de avaliação formativa no ensino médio japonês e observaram que o modelo mais preciso não foi necessariamente o mais útil do ponto de vista pedagógico. A principal contribuição do estudo é mostrar que, em IA educacional, explicar uma recomendação pode ter valor próprio para a aprendizagem, mas precisa ser equilibrado com a qualidade da previsão.

O QUE HÁ DE NOVO: O estudo analisou sistemas recomendadores de matemática voltados a estudantes da educação básica, com foco em dois critérios que costumam entrar em tensão em aplicações de IA: precisão preditiva e explicabilidade. A pesquisa usou dados reais de uma plataforma de aprendizagem utilizada por alunos do primeiro ano do ensino médio no Japão, reunindo 27.431 tentativas de resolução de 1.919 quizzes por 270 estudantes entre abril de 2021 e março de 2022. Além da avaliação quantitativa dos modelos, os pesquisadores aplicaram um questionário semi-interativo para investigar como participantes percebiam as explicações geradas pelo sistema.

COMO FUNCIONA: A comparação envolveu três abordagens. A primeira, chamada Naïve CE, é um modelo explicável por desenho: recomenda exercícios com base em conceitos matemáticos legíveis, como “inequação” ou “parábola”, extraídos dos enunciados e soluções dos quizzes, e estima o domínio do aluno a partir de seu histórico em questões relacionadas. A segunda, baseada em fatoração de matrizes, representa uma lógica mais próxima de caixa-preta: aprende padrões latentes nas interações entre estudantes e questões para prever respostas futuras, mas esses fatores não têm interpretação pedagógica direta. A terceira, CE+MF, combina as duas estratégias, mantendo conceitos matemáticos explícitos enquanto usa fatoração de matrizes para melhorar estimativas quando há poucos dados observados.

PRINCIPAIS RESULTADOS: Na avaliação de precisão, o modelo de fatoração de matrizes com parâmetros de viés teve o melhor desempenho, com AUC de 0,799 e RMSE de 0,381, enquanto o Naïve CE ficou em 0,639 e 0,508, respectivamente. O modelo híbrido ficou no meio do caminho: CE+MF alcançou AUC de 0,688 e RMSE de 0,478, com leve melhora na versão com viés. Isso confirma, nesse contexto específico, que o modelo menos transparente conseguiu prever melhor se um estudante acertaria ou erraria uma questão, enquanto a abordagem explicitamente conceitual foi menos precisa.

O PULO DO GATO: A parte mais relevante do estudo não está apenas na disputa entre um modelo simples e um modelo complexo, mas na tentativa de preservar informação pedagógica dentro de um sistema mais robusto. Em vez de explicar depois uma caixa-preta com justificativas possivelmente desconectadas do processo real de recomendação, o modelo híbrido parte de conceitos matemáticos compreensíveis e usa a técnica mais opaca apenas para preencher lacunas de estimativa. Essa escolha muda o foco da explicabilidade como “tradução” de um algoritmo para a explicabilidade como parte da própria arquitetura educacional.

POR QUE ISSO IMPORTA PARA A EDUCAÇÃO: Em plataformas de avaliação formativa, a recomendação de exercícios não deve apenas prever desempenho; ela também precisa ajudar o estudante a entender por que determinada atividade faz sentido para sua trajetória. Uma explicação baseada em conceitos pode apoiar metacognição, orientar estudo autônomo e dar ao professor pistas sobre dificuldades específicas, enquanto uma previsão mais precisa pode evitar recomendações inadequadas ou frustrantes. Para redes e escolas, o resultado sugere que métricas técnicas isoladas são insuficientes: sistemas de IA educacional devem ser avaliados também por sua utilidade pedagógica, clareza para o usuário e impacto sobre decisões de ensino.

LIMITAÇÕES E CUIDADOS: A evidência sobre explicabilidade ainda é preliminar. Embora o conjunto de dados de uso da plataforma seja amplo, a avaliação das explicações foi feita com apenas 12 respostas válidas, em uma simulação na qual os participantes não estavam de fato resolvendo os quizzes no sistema. Além disso, os próprios resultados mostram que “entender o algoritmo” não é o mesmo que “achar a recomendação útil”: o modelo Naïve CE foi percebido como menos compreensível em alguns aspectos, mas mais útil para aprender matemática e mais motivador do que o modelo de fatoração de matrizes. Isso reforça a necessidade de desenhar explicações para objetivos educacionais reais, não apenas para satisfazer critérios técnicos de transparência.

O QUE VEM A SEGUIR: O estudo aponta para novas etapas importantes antes de adoção em larga escala: testar os modelos com estudantes em ambientes autênticos, medir não só a previsão de acerto, mas a qualidade efetiva das recomendações, e investigar efeitos de longo prazo sobre aprendizagem. Também há espaço para melhorar os mapas conceituais usados pelo sistema, já que a extração automática de conceitos a partir do texto dos exercícios pode deixar de captar habilidades matemáticas relevantes. A conclusão mais prudente é que a IA explicável na educação não depende de escolher entre precisão e transparência, mas de projetar sistemas em que ambas sirvam a uma finalidade pedagógica clara.

Fonte: What’s more important when developing math recommender systems: accuracy, explainability, or both?