RESUMO: O ChatGPT-4 atingiu o padrão mínimo de aprovação na edição de 2024 do exame francês de cirurgia plástica, reconstrutiva e estética, ao responder corretamente a 165 das 213 questões avaliadas. A experiência aponta espaço para a inteligência artificial (IA) generativa em revisão de conteúdos e preparação de provas na residência médica, mas também expõe fragilidades em itens visuais e em respostas que deixam de considerar informações decisivas do enunciado.

O QUE HÁ DE NOVO: Uma equipe ligada ao Hospital Universitário de Nantes avaliou a versão gratuita, acessada pela web, do ChatGPT-4 diante de todo o conjunto de itens da prova escrita aplicada em outubro de 2024 para a certificação francesa na especialidade. O teste reuniu 213 questões distribuídas por 10 módulos, entre eles anatomia, pediatria, oncologia, cirurgia estética e aspectos médico-legais, em um contexto de formação avançada de médicos residentes.

COMO FUNCIONA: Os pesquisadores enviaram cada enunciado e suas alternativas ao modelo preservando a redação original em francês. Para evitar que uma resposta influenciasse outra, os itens foram submetidos em conversas novas; a exceção foram casos clínicos cujas perguntas dependiam de uma sequência anterior. Dois avaliadores compararam as respostas ao gabarito oficial, com um terceiro revisor para resolver divergências, e classificaram o uso de raciocínio lógico, de dados presentes no enunciado e de conhecimento externo.

Nas perguntas com imagens, foi preciso adaptar a entrada porque os elementos gráficos, como setas de anotação, demandavam descrição adicional e reformulação. A análise também separou os erros entre falhas de lógica, omissão de informação relevante da própria questão e ausência explícita de raciocínio ou de aproveitamento do enunciado. Esse desenho mede o desempenho em uma prova específica, e não a competência clínica do sistema para aconselhar pacientes ou tomar decisões cirúrgicas.

PRINCIPAIS RESULTADOS: O modelo acertou 165 itens, equivalente a 77,5%, e obteve 58,72 pontos em 100 na escala oficial. Embora suficiente para a nota de corte, o resultado o colocaria em 36º lugar entre 38 candidatos humanos. Em todas as respostas corretas, os revisores identificaram raciocínio lógico e uso de informações internas e externas; entre os 48 erros, essas proporções caíram para 91,7%, 75% e 60,4%, respectivamente. A omissão de dados-chave do enunciado foi frequente entre as respostas equivocadas.

LIMITES E CUIDADOS: A diferença mais marcante surgiu nos quatro itens que continham imagens: houve um acerto, ou 25%, contra 78,4% nas 209 questões apenas textuais. Como a amostra visual é muito pequena, o dado exige cautela, mas é particularmente relevante para uma área em que avaliação de fotografias, anatomia e resultados operatórios é central. O estudo também registrou uma única resposta por questão, usou uma edição do exame e refletiu o modelo disponível no fim de 2024, cujo conhecimento público ia até setembro de 2023; portanto, não permite estimar estabilidade ao longo do tempo nem comparar outros modelos.

POR QUE ISSO IMPORTA PARA A EDUCAÇÃO: Para residentes, uma ferramenta com esse nível de acerto pode ampliar o acesso a exercícios, revisões temáticas e explicações iniciais, sobretudo onde a disponibilidade de docentes especialistas é limitada. Para professores, seu uso mais seguro é como material complementar: questões e justificativas geradas pela IA precisam de validação para não consolidar conteúdo desatualizado, interpretações imprecisas ou confiança indevida. A distância em relação ao desempenho médio dos candidatos mostra que passar em uma prova não equivale a substituir o julgamento clínico, a formação supervisionada ou a avaliação humana.

Em programas de residência, a aplicação futura pode incluir quizzes adaptativos e simulações de casos ajustadas ao estágio de formação, desde que sejam definidos padrões de revisão docente, transparência sobre as limitações da ferramenta e proteção de dados. Pesquisas posteriores deverão testar mais provas, especialidades, idiomas e materiais visuais, além de comparar modelos recentes. A prioridade educacional é transformar a IA em apoio verificável ao estudo, e não em fonte única de conhecimento médico.

Fonte: Journal of Educational Evaluation for Health Professions