Um novo estudo apresenta um protocolo para professores de línguas testarem chatbots de IA generativa em atividades típicas de ensino, como resumir textos, criar diálogos, explicar gramática e oferecer feedback. O piloto, realizado com 46 docentes universitários de 26 idiomas no Microsoft Copilot, indica que a IA funciona melhor em línguas com mais dados disponíveis, mas pode ser útil também em línguas de baixo recurso, desde que o professor revise, adapte e contextualize o material antes de levá-lo à sala de aula.

O QUE HÁ DE NOVO: A pesquisa propõe uma forma replicável de avaliar chatbots de IA em línguas menos presentes nos grandes conjuntos de dados usados no treinamento de modelos. Em vez de medir apenas desempenho em testes automatizados, o protocolo coloca professores como avaliadores diretos da qualidade linguística, do cumprimento da tarefa e da utilidade pedagógica das respostas. O piloto envolveu docentes de 26 línguas, incluindo idiomas de alta presença digital, como espanhol, francês, alemão, mandarim, japonês e português; línguas de menor presença, como turco, vietnamita, coreano, árabe, catalão e tailandês; e línguas extremamente pouco representadas, como hausa, zulu, iídiche, tibetano, igbo e dholuo.

COMO FUNCIONA: O protocolo reúne nove tarefas relacionadas ao ensino de línguas, organizadas em ordem crescente de complexidade linguística e pedagógica: gerar perguntas de compreensão, resumir um texto, simplificar um texto, criar lista de vocabulário, produzir diálogo, gerar narração avançada, explicar ponto gramatical, dar feedback sobre escrita e criar texto de nível superior. Os professores copiaram prompts padronizados em inglês no Microsoft Copilot, fizeram pequenas adaptações para indicar o idioma-alvo e avaliaram as respostas em escala de quatro pontos. As sessões ocorreram remotamente, duraram de 60 a 90 minutos e incluíram comentários abertos sobre as falhas e qualidades percebidas.

A IDEIA CENTRAL: O estudo parte de um problema prático: professores de línguas com poucos materiais didáticos não têm como saber, apenas por benchmarks técnicos de IA, se um chatbot é confiável para sua disciplina. Modelos de linguagem costumam ter mais dados em inglês e em idiomas de alta presença na internet, enquanto línguas menos documentadas ficam sujeitas a erros de fluência, gramática, adequação cultural e nível de proficiência. A proposta, portanto, não é declarar que a IA serve ou não serve para determinado idioma, mas oferecer um instrumento para que cada professor teste a ferramenta em tarefas reais do seu curso.

PRINCIPAIS RESULTADOS: No conjunto das avaliações, o Copilot foi percebido como bom ou muito bom em todas as nove tarefas, com médias acima de 3 em uma escala de 1 a 4. As melhores avaliações apareceram em tarefas como resumo de texto, perguntas de compreensão e geração de texto avançado; as piores, embora ainda positivas em média, apareceram em explicações gramaticais, diálogos, simplificação textual e narração avançada. A disponibilidade de recursos linguísticos fez diferença: docentes de línguas de alta presença digital deram mais notas “muito bom”, enquanto o grupo de línguas extremamente pouco representadas registrou mais avaliações “ruins”, especialmente nas tarefas mais abertas e criativas.

O RESULTADO MAIS RELEVANTE: A queda de desempenho nas línguas menos representadas não se traduziu automaticamente em menor percepção de utilidade. A análise estatística encontrou associação significativa entre nível de recurso do idioma e desempenho percebido, mas não encontrou relação significativa entre nível de recurso e utilidade pedagógica. Isso sugere que professores de línguas com menos materiais disponíveis podem aceitar investir mais tempo na revisão das respostas da IA, porque mesmo um rascunho imperfeito pode ajudar em contextos nos quais há escassez de livros, atividades, exemplos autênticos e recursos curriculares.

POR QUE ISSO IMPORTA PARA A EDUCAÇÃO: Para a sala de aula, o achado reforça que a IA generativa pode apoiar a produção inicial de materiais, mas não substitui o julgamento linguístico, pedagógico e cultural do professor. Para o trabalho docente, o protocolo ajuda a transformar uma decisão genérica, usar ou não usar IA, em uma avaliação situada: em quais tarefas a ferramenta economiza tempo, em quais exige retrabalho e em quais pode induzir erro. Em termos de equidade, o estudo chama atenção para um paradoxo importante: justamente as línguas que mais poderiam se beneficiar de apoio na criação de materiais são também aquelas nas quais os modelos tendem a ter desempenho mais frágil.

LIMITAÇÕES E CUIDADOS: Os comentários dos professores revelaram problemas que médias numéricas podem esconder. As críticas se concentraram em autenticidade linguística, adequação ao nível dos estudantes, clareza, especificidade, exemplos gramaticais e referências culturais. Em alguns casos, a IA produziu textos com aparência correta, mas pouco naturais, excessivamente influenciados por padrões do inglês ou por perspectivas culturais ocidentais. O estudo também tem limitações metodológicas: a maioria das línguas foi avaliada por apenas um docente, os prompts foram padronizados em inglês e não houve ciclos de refinamento, o que pode ter reduzido o desempenho que usuários mais experientes conseguiriam obter.

O QUE AINDA FALTA SABER: As próximas etapas passam por testar o protocolo com mais professores por idioma, em diferentes níveis de ensino e com tarefas mais próximas de usos reais, como prompts no próprio idioma-alvo, exemplos fornecidos pelo docente e interações em múltiplas rodadas. Também será importante investigar efeitos de longo prazo: se materiais gerados por IA, após revisão do professor, melhoram aprendizagem, ampliam acesso a recursos em línguas menos ensinadas ou apenas deslocam a carga de trabalho para uma nova etapa de checagem. A principal implicação é clara: em IA educacional, especialmente no ensino de línguas de baixo recurso, a pergunta mais útil não é se o modelo é universalmente bom, mas quando, para quem e sob quais condições ele pode ser usado com segurança pedagógica.

Fonte: A protocol for evaluating AI chatbots’ capabilities for low-resource language teachers