Uma mini-revisão com meta-análise avaliou o desempenho do ChatGPT em questões de cardiologia no estilo de exames de certificação e encontrou acurácia agregada de 58,64% em perguntas de múltipla escolha baseadas em texto e de 43,10% em perguntas com imagens. O resultado sugere que a IA generativa ainda não deve ser tratada como substituta de conhecimento especializado ou como referência autônoma em avaliações médicas, mas pode ter papel educacional complementar na organização de estudos, na elaboração assistida de casos e no apoio à formação clínica.
O QUE HÁ DE NOVO: A análise reuniu estudos publicados sobre o desempenho do ChatGPT em perguntas de cardiologia compatíveis com exames de certificação profissional. A busca foi realizada em dezembro de 2024 nas bases PubMed/MEDLINE e EMBASE, com 36 registros inicialmente identificados; após remoção de duplicatas e triagem de texto completo, sete estudos foram incluídos. As questões avaliadas vinham de materiais como bancos de preparação, livros de revisão, exames simulados e recursos associados a sociedades ou programas de educação médica, incluindo perguntas apenas textuais e itens com imagens clínicas.
COMO FUNCIONA: A meta-análise separou o desempenho da IA por formato de pergunta e por versão do modelo, incluindo variações como ChatGPT-3.5, ChatGPT-4.0, ChatGPT-4 Turbo e GPT-4o, quando disponíveis nos estudos originais. Em geral, os pesquisadores inseriram questões de múltipla escolha no chatbot e compararam as respostas geradas com o gabarito esperado. Para consolidar os resultados, foi usado um modelo estatístico de efeitos aleatórios, adequado quando os estudos diferem em origem das questões, nível de dificuldade, formulação dos enunciados e versão tecnológica testada.
PRINCIPAIS RESULTADOS: Em seis estudos com questões textuais, a acurácia agregada ficou em 58,64%, com intervalo de confiança de 52,01% a 65,13%. O desempenho variou bastante entre versões: o ChatGPT-3.5 Plus apareceu com a menor estimativa, 43,84%, enquanto o GPT-4o chegou a 66,70%, embora esse número tenha vindo de apenas um estudo, o que limita generalizações. Em três estudos com perguntas baseadas em imagens, a acurácia agregada foi menor, 43,10%, com desempenho estimado de 41,00% para o ChatGPT-4.0 Plus e de 48,49% para o ChatGPT-4.0 na comparação por subgrupo.
CONTEXTO MAIOR: O estudo se insere em uma onda de pesquisas que tenta medir, de forma mais objetiva, até onde grandes modelos de linguagem conseguem responder a questões de alta complexidade em medicina. No caso da cardiologia, a diferença entre acertar uma pergunta de prova e sustentar uma decisão clínica segura é especialmente relevante: exames de certificação costumam exigir domínio de diretrizes, interpretação de dados, raciocínio diagnóstico e aplicação de condutas em cenários ambíguos. A comparação com marcas de aprovação citadas por estudos da área, geralmente entre 60% e 73%, indica que o desempenho médio do ChatGPT ainda fica abaixo do patamar esperado para certificação.
LIMITES E CUIDADOS: A própria evidência tem restrições importantes. A revisão consultou apenas duas bases de dados, o que pode ter deixado estudos relevantes de fora. Além disso, nem todos os trabalhos forneceram dados completos para separar desempenho em texto e imagem, e houve alta heterogeneidade nas questões textuais, com I² de 84,41%, sinal de variação substancial entre os resultados. Essa diferença pode estar ligada ao nível de dificuldade dos itens, ao idioma, ao modo como os prompts foram formulados e à origem dos bancos de perguntas. Também há uma limitação prática crítica: modelos de IA podem não refletir as diretrizes clínicas mais recentes, o que exige revisão humana antes de qualquer uso educacional ou avaliativo.
POR QUE ISSO IMPORTA PARA A EDUCAÇÃO: Para a formação médica, o achado não autoriza o uso do ChatGPT como avaliador independente nem como fonte final para preparo de exames de especialista. Ao mesmo tempo, a comparação com grupos humanos em alguns estudos sugere uma utilidade mais realista: versões mais avançadas podem ajudar estudantes, residentes e médicos em treinamento a estruturar conteúdos, criar mapas conceituais, revisar tópicos complexos e simular casos clínicos para discussão. Para professores e examinadores, a IA pode reduzir parte do trabalho inicial de elaboração de vinhetas e materiais de estudo, mas a qualidade, a atualização científica e a adequação pedagógica continuam dependendo de curadoria especializada.
O QUE OBSERVAR DAQUI EM DIANTE: O próximo passo é testar ferramentas de IA em contextos educacionais reais, não apenas em bancos de questões, avaliando se elas melhoram aprendizagem, retenção, raciocínio clínico e preparo para tomada de decisão. Também será necessário criar protocolos comuns de validação para diferentes disciplinas médicas, com critérios de segurança, transparência, atualização de diretrizes e desempenho por perfil de estudante. A mensagem central é de uso prudente: a IA generativa pode ganhar espaço na educação médica continuada, mas seu valor dependerá menos da pontuação isolada em provas e mais da integração responsável com currículo, supervisão docente e avaliação rigorosa.
Fonte: Journal of Educational Evaluation for Health Professions
