Uma revisão sistemática e meta-análise avaliou o desempenho de grandes modelos de linguagem em exames de licenciamento médico de diferentes países, idiomas e formatos, encontrando acurácia média de 72% e liderança do GPT-4, com 81%. O achado é relevante para a educação médica porque mostra que a IA generativa já pode apoiar estudo, simulação e feedback, mas ainda apresenta variabilidade suficiente para impedir seu uso como substituta de professores, avaliações formais ou julgamento clínico.
O QUE HÁ DE NOVO: O estudo reuniu evidências de 36 pesquisas revisadas por pares publicadas em 2023 e 2024, selecionadas a partir de 2.404 registros encontrados em bases como MEDLINE, Scopus e Web of Science até 1º de fevereiro de 2025. Ao todo, a análise considerou 63 avaliações de modelos como GPT-4, GPT-3.5, Bing, Claude e Gemini/Bard em questões de exames médicos de países como Estados Unidos, Alemanha, Japão, China, Polônia, Peru, Arábia Saudita e Brasil, abrangendo perguntas em inglês, chinês, japonês, espanhol, alemão, polonês, português e outros idiomas.
COMO FUNCIONA: A pesquisa tratou os exames de licenciamento médico como um teste padronizado de conhecimento e raciocínio clínico para modelos de IA generativa. Em cada estudo incluído, os modelos respondiam a questões de múltipla escolha ou de escolha única, em formato apenas textual ou combinando texto e imagem; a acurácia foi calculada pela proporção de respostas corretas sobre o total de perguntas. A revisão seguiu diretrizes PRISMA, foi registrada em PROSPERO, usou modelo estatístico de efeitos aleatórios para estimar a acurácia combinada e examinou subgrupos por tipo de modelo, idioma, formato da pergunta, tipo de questão e origem do banco de itens.
PRINCIPAIS RESULTADOS: A acurácia combinada de todos os modelos foi de 72%, com intervalo de confiança de 70% a 75%, mas o desempenho variou bastante conforme a tecnologia usada. O GPT-4 teve o melhor resultado agregado, com 81%, seguido por Bing, com 79%, Claude, com 74%, Gemini/Bard, com 70%, e GPT-3.5, com 60%; a diferença entre modelos foi estatisticamente significativa. Questões que combinavam texto e imagem tiveram desempenho médio superior ao de perguntas apenas textuais, 78% contra 71%, enquanto as diferenças por idioma não foram estatisticamente significativas, apesar da variação observada entre 62% em polonês e 77% em alemão.
LIMITES E CUIDADOS: A principal ressalva é a alta heterogeneidade entre os estudos, superior a 99%, o que indica forte variação em desenho de pesquisa, dificuldade das questões, versões dos modelos, origem dos bancos de itens e critérios de avaliação. A maior parte das evidências também se concentra em modelos da OpenAI, o que limita comparações mais amplas entre fornecedores. Outro ponto sensível é a possibilidade de contaminação de dados: como muitos exames ou bancos de questões são públicos, alguns itens podem ter aparecido nos dados de treinamento dos modelos, ainda que a análise tenha encontrado diferença pequena entre perguntas públicas e exames internos. Além disso, erros por alucinação, vieses, respostas convincentes porém incorretas e falta de transparência continuam especialmente críticos em educação médica.
POR QUE ISSO IMPORTA PARA A EDUCAÇÃO: Para estudantes de medicina e cursos da área da saúde, os resultados sugerem que LLMs podem funcionar como ferramentas de estudo, geração de explicações, prática de questões e simulação de raciocínio clínico, sobretudo onde há escassez de tutores ou tempo docente para feedback individualizado. Para professores e gestores de cursos, a evidência aponta um caminho de integração como apoio formativo, não como mecanismo autônomo de avaliação: a IA pode ajudar a ampliar oportunidades de treino e revisão, mas precisa ser supervisionada, contextualizada e comparada a referências curriculares confiáveis. Em políticas educacionais, o estudo reforça a necessidade de protocolos padronizados para avaliar modelos, regras de transparência sobre uso em provas e formação docente para lidar com limitações técnicas e éticas.
O QUE AINDA FALTA SABER: As próximas etapas indicadas pela evidência passam por testar esses modelos em ambientes reais de ensino, acompanhar efeitos de longo prazo na aprendizagem e avaliar se o bom desempenho em questões objetivas se traduz em melhor raciocínio clínico, tomada de decisão e segurança do paciente. Também será necessário investigar aplicações multimodais em imagens médicas, simulações e avaliações formativas, além de medir impactos em diferentes contextos linguísticos, institucionais e socioeconômicos. A conclusão prática é que a IA generativa já alcançou um nível que não pode ser ignorado pela educação médica, mas sua adoção responsável depende de validação contínua, governança clara e preservação do julgamento humano especializado.
Fonte: Journal of Educational Evaluation for Health Professions
