Um estudo da Universidade do Colorado avaliou três extensões de navegador com inteligência artificial em 24 provas online de um curso de Farmácia e mostrou que esses sistemas conseguem atingir notas de aprovação em grande parte dos exames, muitas vezes igualando ou superando o desempenho médio dos estudantes, o que expõe fragilidades dos modelos atuais de avaliação remota e pressiona por mudanças no desenho das provas e nas estratégias de integridade acadêmica.
O QUE HÁ DE NOVO: Pesquisadores da Skaggs School of Pharmacy and Pharmaceutical Sciences, da Universidade do Colorado, testaram três extensões de navegador com IA em 24 provas obrigatórias do curso de Doutorado em Farmácia (PharmD), realizadas em 2024 em ambiente online, parte delas com monitoramento remoto via Proctorio. As extensões foram escolhidas por custo, precisão anunciada, compatibilidade com diferentes tipos de questões e integração com o sistema Canvas. Os autores compararam o desempenho das ferramentas entre si, com as médias dos alunos e por tipo de item, para entender até que ponto esses recursos podem comprometer a integridade das avaliações.
COMO FUNCIONA: As extensões de IA avaliadas são plug-ins instalados diretamente no navegador, capazes de se conectar a modelos de linguagem generativa e responder a perguntas exibidas dentro do ambiente virtual de aprendizagem, sem que o usuário precise copiar e colar enunciados em um chatbot externo. No estudo, as ferramentas atuaram como se fossem alunos fazendo as provas no Canvas: recebiam as mesmas questões, geravam as respostas em tempo real e tinham seus resultados corrigidos pelos mesmos critérios aplicados à turma.
Os pesquisadores selecionaram inicialmente seis extensões, mas restringiram o teste final a três, com base em critérios práticos: presença de versão gratuita ou custo acessível, promessa de alta acurácia, suporte a múltiplos formatos de questão e declaração explícita de compatibilidade com o Canvas. As provas incluíam diferentes tipos de itens, como múltipla escolha de conhecimento factual, questões que exigem consulta a referências e perguntas abertas de resposta curta. Algumas avaliações foram realizadas com o Proctorio configurado para bloquear extensões; outras, de forma não vigiada, quando as ferramentas não conseguiam operar no ambiente monitorado.
PRINCIPAIS RESULTADOS: O estudo mostra que as extensões de IA conseguem, em muitos casos, “passar” nas provas. Considerando todos os 24 exames, as ferramentas alcançaram notas de aprovação em 61,5% a 84,6% das provas de meio de semestre e entre 81,8% e 100% das provas finais, dependendo da extensão. Em 20 das 24 avaliações, o desempenho da IA foi semelhante ou superior à média da turma, indicando que esses sistemas já operam, na prática, em nível comparável ao de estudantes de Farmácia em avaliações online.
Um dado central para o desenho de avaliações é a variação por tipo de questão: a acurácia das extensões foi mais alta em questões de múltipla escolha baseadas em conhecimento direto, chegando a cerca de 85,6% de acertos. Já nas perguntas abertas que exigiam consulta a referências específicas — por exemplo, leitura de tabelas ou textos de apoio — a taxa de acertos despencou para algo em torno de 34,6%. Além disso, apenas uma das três extensões conseguiu operar no ambiente monitorado durante parte dos exames intermediários, até ser bloqueada por uma atualização do Proctorio, o que revelam tanto o potencial de uso indevido quanto a fragilidade de soluções de vigilância baseadas apenas em bloqueio tecnológico.
POR QUE ISSO IMPORTA PARA A EDUCAÇÃO: Para a sala de aula, especialmente em cursos da área da saúde, os resultados reforçam que provas online de múltipla escolha com foco em memorização pura se tornaram um alvo fácil para sistemas de IA generativa. Se uma extensão de navegador instalada no computador do aluno consegue responder com alto índice de acerto, a avaliação deixa de medir apenas o que o estudante sabe e passa a refletir o acesso que ele tem a ferramentas automáticas, ameaçando a validade pedagógica do exame e, em última instância, a formação de profissionais que vão atuar com pacientes.
Do ponto de vista do trabalho docente e da gestão de cursos, o estudo sugere a necessidade de um reposicionamento estratégico: é pouco realista apostar apenas em bloqueios tecnológicos para impedir o uso de IA em avaliações remotas. Em vez disso, instituições de ensino superior precisarão repensar o desenho das provas, privilegiando tarefas que exijam raciocínio clínico, interpretação de contexto, integração de múltiplas fontes e justificativa de decisões — habilidades para as quais a simples chamada a um modelo de linguagem não entrega respostas satisfatórias. Para gestores acadêmicos, isso implica revisar políticas de avaliação, investir em formação docente específica em IA e estabelecer regras claras sobre uso responsável de ferramentas generativas.
SIM, MAS… (limitações e riscos): Os autores reconhecem que o estudo foi conduzido em um contexto específico — um único curso de PharmD, em uma universidade norte-americana, com um conjunto limitado de extensões e sob condições técnicas particulares de monitoramento remoto. As taxas de acerto observadas podem variar em outras instituições, em disciplinas com perfil de questões diferente ou com proctoring configurado de outra forma. Além disso, o bloqueio progressivo das extensões pelo Proctorio indica que há uma corrida tecnológica em curso, em que atualizações de segurança podem, momentaneamente, reduzir o risco de uso indevido.
Ao mesmo tempo, depender apenas de proctoring traz seus próprios riscos educacionais e éticos: aumento da vigilância sobre estudantes, potenciais problemas de privacidade e uma falsa sensação de segurança, se outras vias de acesso à IA não forem consideradas. Há ainda o risco de aprofundar desigualdades: estudantes com mais familiaridade tecnológica ou recursos para acessar extensões pagas podem se beneficiar de forma desproporcional, enquanto outros permanecem restritos às próprias capacidades, distorcendo a comparação de desempenho em exames que valem para todos.
EXEMPLOS NA PRÁTICA EDUCACIONAL: Traduzindo esses achados para a realidade de outros cursos, é possível imaginar, por exemplo, uma prova online de farmacologia em que questões de múltipla escolha sobre mecanismos de ação de medicamentos sejam resolvidas quase integralmente por uma extensão de IA. O estudante, nesse cenário, pode responder com poucos cliques, sem necessariamente consolidar o raciocínio farmacológico necessário para lidar com casos complexos no estágio ou na prática clínica. Em contraste, uma questão que apresenta um caso de paciente com múltiplas comorbidades, solicita análise de interações medicamentosas e exige justificativa textual de conduta tende a ser mais resistente à automatização simples via plug-in.
Escolas de saúde e outras instituições que adotam ensino remoto ou híbrido podem, a partir desse estudo, revisar o equilíbrio entre diferentes formas de avaliação: combinar provas presenciais de alta relevância com trabalhos aplicados, OSCEs virtuais, portfólios e avaliações em que o uso de IA seja explicitamente permitido e integrado como objeto de aprendizagem. Em todos os casos, o desenho das atividades precisa considerar que extensões de navegador e outros acessos à IA já fazem parte do ambiente real em que os estudantes vivem e aprendem.
O QUE VEM DEPOIS: Os autores defendem que pesquisas futuras avancem em três frentes: medir o impacto de longo prazo desse tipo de ferramenta sobre a aprendizagem real dos estudantes; testar estratégias de avaliação centradas em competências de ordem superior, para identificar quais formatos se mostram mais robustos à intervenção da IA; e analisar como diferentes configurações de proctoring e políticas institucionais influenciam o uso, legítimo ou indevido, de extensões de navegador com IA.
Para formuladores de políticas e lideranças acadêmicas, a agenda que se desenha inclui definir normas claras sobre quando e como a IA pode ser usada em atividades avaliativas, revisar regulamentos de integridade acadêmica à luz dessas tecnologias e estabelecer diretrizes de transparência no uso de ferramentas generativas, inclusive pelos próprios docentes na elaboração de itens de prova. O estudo da Universidade do Colorado mostra que a questão já não é se estudantes podem usar IA nas avaliações online, mas como os sistemas educacionais vão se adaptar a essa nova condição de contorno.
Fonte: Evaluating the Performance of AI-Powered Browser Extensions in Online Pharmacy Exams
Fonte(s): https://www.sciencedirect.com/science/article/abs/pii/S0002945925005431
