Dois modelos de linguagem da OpenAI obtiveram 88,8% e 93,0% de acerto em um conjunto de questões que reproduzem o formato do UK Medical Licensing Assessment (UKMLA), exame obrigatório para a graduação em medicina no Reino Unido. A distância para a nota de corte estimada, de 57,5%, sugere utilidade para estudos e revisão; ao mesmo tempo, o desempenho desigual entre áreas e o desenho restrito do teste recomendam que a IA seja tratada como complemento, não como substituta de formação, julgamento clínico ou avaliação profissional.

O QUE HÁ DE NOVO: A pesquisa comparou, pela primeira vez nesse contexto, as versões GPT-4o e o1-Pro em 374 itens textuais de múltipla escolha de melhor resposta, alinhados ao conteúdo do UKMLA. As perguntas, obtidas com autorização de um banco de itens educacionais, abrangiam especialidades clínicas e temas profissionais; outras 20 questões com imagens clínicas foram analisadas separadamente.

COMO FUNCIONA: Dois médicos selecionaram questões com enunciado completo, cinco alternativas e uma única resposta mais adequada. Cada item foi submetido integralmente e de forma isolada a cada modelo, em uma nova conversa, com instrução para devolver somente a letra escolhida. Não houve acesso à web, memória entre perguntas, explicações adicionais ou retorno sobre acertos, uma estratégia destinada a reduzir contaminação entre respostas. Os pesquisadores então confrontaram as escolhas com o gabarito e compararam os modelos tanto no conjunto total quanto por especialidade; nas questões visuais, foram incluídas fotografias clínicas, radiografias, tomografias, ressonâncias, eletrocardiogramas e lâminas de histopatologia.

PRINCIPAIS RESULTADOS: O GPT-4o acertou 332 das 374 questões textuais, ou 88,8%, e o o1-Pro acertou 348, ou 93,0%. A vantagem de 4,2 pontos percentuais do o1-Pro foi estatisticamente significativa: ele resolveu 20 itens errados pelo GPT-4o, enquanto o movimento inverso ocorreu em quatro casos. Em imagens, os índices foram de 75% e 90%, respectivamente, mas a amostra de 20 itens foi pequena demais para demonstrar diferença estatística. Ambos tiveram resultados muito altos em áreas como cirurgia, psiquiatria e doenças infecciosas, enquanto a atenção primária concentrou desempenhos relativamente mais baixos; o GPT-4o acertou 71,4% das 14 questões de clínica geral.

POR QUE ISSO IMPORTA PARA A EDUCAÇÃO: Para estudantes, um sistema que responde com alta precisão pode ampliar o acesso a simulados, explicações sob demanda e revisão individualizada, sobretudo para quem não dispõe de tutoria intensiva. Para docentes, porém, o achado pressiona as escolas médicas a distinguir conhecimento recuperável por modelos de linguagem de competências que exigem observação direta: comunicação com pacientes, exame físico, tomada de decisão diante de incerteza, ética aplicada e execução técnica. Também reforça a necessidade de desenhar avaliações menos vulneráveis à simples recuperação de respostas e mais capazes de examinar raciocínio verificável e desempenho em situações reais.

LIMITES E CUIDADOS: O conjunto testado era um simulado de banco de questões, e não a prova oficial; portanto, não mede integralmente seu conteúdo, sua padronização nem as condições enfrentadas por candidatos. Não houve comparação direta com estudantes, e diferenças percentuais entre especialidades devem ser lidas com cautela porque algumas categorias tinham poucas perguntas. Além disso, uma resposta correta não assegura que a justificativa do modelo seja confiável em todos os casos, nem valida seu uso em decisões assistenciais. Erros em áreas generalistas e em cenários que combinam aspectos clínicos, sociais e de encaminhamento mostram por que respostas de IA precisam de checagem em fontes atualizadas e supervisão qualificada.

PRÓXIMOS PASSOS: Estudos futuros podem ampliar a amostra de itens visuais, incluir outros modelos e testar estudantes usando a ferramenta em rotinas reais de preparação, medindo não apenas acertos imediatos, mas retenção, capacidade de explicar decisões e efeitos sobre equidade. Para cursos e reguladores, a implicação prática é dupla: estabelecer orientações claras para o uso responsável da IA na revisão e atualizar métodos de avaliação sem presumir que bom desempenho em questões objetivas equivale, por si só, à competência para exercer a medicina.

Fonte: Journal of Educational Evaluation for Health Professions