Modelos de linguagem de grande porte das famílias GPT, Claude e Gemini foram testados em 304 questões de múltipla escolha de um simulado do Thai National Licensing Examination Step 1, exame de licenciamento médico da Tailândia. Todos superaram os cortes históricos de aprovação, com melhor desempenho do GPT-4o, mas a variação entre especialidades, o desempenho irregular em itens com imagem e as limitações do desenho do estudo mostram que a IA pode ser uma ferramenta promissora de preparação, não uma substituta de currículo, tutoria docente ou avaliação clínica.

O QUE HÁ DE NOVO: Pesquisadores na Tailândia avaliaram modelos multimodais de IA generativa em um contexto educacional sensível: a preparação para o exame nacional de licenciamento médico, etapa em que estudantes enfrentam falta de materiais públicos, padronizados e validados por especialistas. O teste usou um simulado de 304 perguntas em inglês, com 10,2% de itens acompanhados de imagens, organizado em 20 áreas de conhecimento médico e conferido por 19 médicos certificados; os resultados foram comparados com os cortes de aprovação e médias nacionais registrados entre 2019 e 2024.

COMO FUNCIONA: O estudo submeteu cada questão individualmente às APIs oficiais de diferentes versões de GPT, Claude e Gemini, configuradas para produzir respostas determinísticas e sem ajuste fino específico para medicina tailandesa. O comando dado aos modelos era deliberadamente simples: escolher apenas a alternativa correta entre A, B, C, D ou E, sem explicação adicional, simulando um uso direto de perguntas de treino por estudantes.

O desempenho foi medido por acurácia geral e por média balanceada entre tópicos, o que permite observar tanto o resultado agregado quanto a consistência em áreas com quantidades diferentes de questões. Cada modelo respondeu ao conjunto completo cinco vezes, e os pesquisadores calcularam intervalos de confiança para estimar a estabilidade das respostas; nas perguntas com imagem, os modelos receberam conteúdo visual integrado ao enunciado, permitindo comparar sua capacidade multimodal com o desempenho em itens apenas textuais.

PRINCIPAIS RESULTADOS: Todos os modelos ficaram acima dos patamares históricos de aprovação, cuja média foi de 52,3% entre 2019 e 2024, enquanto a média nacional no período foi de 56,1%. O GPT-4o liderou com 88,9% de acurácia geral e 89,1% na média por tópicos, seguido por GPT-4, Claude 3.5 Sonnet, Claude 3 Opus, Gemini 1.5 Pro e Gemini 1.0 Pro; as diferenças entre o GPT-4o e os demais foram estatisticamente significativas. O desempenho também variou por domínio: os modelos foram mais fortes em grande parte dos temas, mas apresentaram fragilidades em áreas como genética, raciocínio quantitativo, cardiovascular e musculoesquelético, dependendo da versão avaliada.

POR QUE ISSO IMPORTA PARA A EDUCAÇÃO: O achado é relevante porque toca em uma desigualdade concreta da formação médica: quando materiais oficiais de preparação são escassos, estudantes com redes informais mais fortes, maior acesso a cursinhos ou instituições centrais tendem a levar vantagem. Se bem validados, sistemas de IA poderiam ampliar o acesso a exercícios, feedback formativo e revisão personalizada, especialmente para estudantes de faculdades rurais ou com menos recursos, ajudando a transformar preparação para exames em uma prática mais estruturada e disponível.

Para professores e instituições, a evidência sugere um caminho de uso mais produtivo do que simplesmente perguntar se a IA “passa” em provas: modelos podem apoiar a criação de bancos de itens, identificar tópicos difíceis, gerar explicações preliminares e orientar estudo individual, desde que permaneçam sob supervisão acadêmica. Para gestores e reguladores, o ponto central é equilibrar ganho de escala com qualidade: uma ferramenta que acerta muito em média ainda pode errar de forma concentrada em domínios críticos, o que exige governança, curadoria médica e transparência sobre limites.

LIMITES E CUIDADOS: O estudo não prova que esses modelos estejam prontos para orientar decisões clínicas nem que melhorem, por si só, a aprendizagem de estudantes em situações reais. A base usada tinha 304 questões, apenas 31 com imagem, e era composta por múltipla escolha, formato que não captura plenamente raciocínio clínico aberto, comunicação, julgamento ético ou nuances culturais da prática médica. Também não houve teste com estudantes usando a ferramenta ao longo do tempo, nem comparação com tutoria humana, materiais tradicionais ou modelos ajustados especificamente ao currículo local.

O QUE VEM DEPOIS: A próxima etapa apontada pelos resultados é investigar modelos adaptados a domínios específicos, com otimização multilíngue e validação em ambientes reais de ensino, não apenas em benchmarks. Para que a IA cumpra uma função de equidade na educação médica, será necessário avaliar custo, acesso à internet, privacidade dos dados, integração com docentes e impacto por perfil de estudante; sem esses cuidados, a mesma tecnologia que promete reduzir desigualdades pode acabar favorecendo quem já tem melhor infraestrutura e orientação institucional.

Fonte: Journal of Educational Evaluation for Health Professions