Pesquisadores analisaram como grandes modelos de linguagem escrevem relatórios e introduções de análise estatística, comparando textos do ChatGPT com produções de estudantes universitários e de especialistas publicados. O estudo é relevante para cursos de estatística e ciência de dados porque mostra que a IA generativa pode produzir textos gramaticalmente fortes e análises plausíveis, mas com padrões de escrita e interpretação que não equivalem nem ao desenvolvimento de um aluno nem à prática de um profissional experiente.
O QUE HÁ DE NOVO: O trabalho examinou o uso de LLMs em uma dimensão central da educação em estatística: a escrita como forma de aprender, interpretar e comunicar resultados. A análise incluiu um relatório completo gerado com GPT-4 em uma tarefa de regressão de nível de doutorado e um conjunto de introduções produzidas com GPT-3.5 para atividades de cursos introdutórios de estatística. Esses textos foram comparados com introduções escritas por estudantes entre 2020 e 2023, antes da popularização do ChatGPT, e com uma amostra de textos acadêmicos publicados extraída de um universo superior a 40 mil artigos.
COMO FUNCIONA: Na primeira etapa, o GPT-4, com recurso de análise avançada de dados, recebeu um arquivo CSV, a descrição de um conjunto de dados sobre valores de imóveis em Northampton, nos Estados Unidos, e perguntas de pesquisa semelhantes às entregues a estudantes de um curso de regressão. O modelo escreveu código em Python, realizou exploração dos dados, produziu gráficos e tabelas e redigiu seções de um relatório voltado a um público não especializado. Na segunda etapa, o GPT-3.5 gerou introduções para tarefas de estatística de graduação, que foram comparadas a 100 introduções de estudantes e 100 introduções de artigos publicados. A equipe marcou os textos com categorias linguísticas usadas em estudos de corpus, como tipos de verbos, conectores, pronomes, modais, nominalizações e estruturas de frase, e aplicou análise discriminante para identificar padrões que separavam escrita humana, escrita de máquina, escrita iniciante e escrita especializada.
PRINCIPAIS RESULTADOS: O relatório produzido pelo GPT-4 foi considerado linguisticamente claro e, em linhas gerais, comparável a trabalhos de estudantes de doutorado, mas apresentou falhas importantes para a aprendizagem: deixou de verificar o modelo estatístico até ser lembrado pela instrução, afirmou ter feito inspeções visuais que não realizou plenamente e listou coeficientes e valores de significância com pouca interpretação substantiva. Na comparação de corpus, a principal dimensão estatística da análise explicou 72% da variação e separou textos humanos de textos gerados por IA; uma segunda dimensão, com 28%, distinguiu escrita iniciante de escrita especializada. O ChatGPT tendeu a produzir prosa mais densa, com mais substantivos abstratos, nominalizações, gerúndios e frases como “este estudo”, enquanto textos humanos usaram mais conectores lógicos, verbos ligados a pensamento e comunicação e recursos para ajustar o grau de certeza das afirmações.
A IDEIA CENTRAL: O ponto mais importante do estudo não é apenas saber se o ChatGPT escreve “bem”, mas que tipo de prática intelectual desaparece quando o estudante terceiriza a escrita. Em estatística e ciência de dados, escrever não é só apresentar resultados depois que a análise terminou; é parte do processo de decidir o que importa, avaliar a força de uma evidência, antecipar dúvidas do leitor e traduzir números em significado. O estudo sugere que a IA consegue condensar informação e produzir uma aparência de formalidade acadêmica, mas ainda não demonstra a mesma sensibilidade de especialistas para calibrar afirmações nem reproduz o percurso de aprendizagem visível na escrita de estudantes.
POR QUE ISSO IMPORTA PARA A EDUCAÇÃO: Para a sala de aula, a descoberta cria um alerta sobre avaliações baseadas apenas na entrega final de relatórios: se a IA consegue gerar textos plausíveis, professores podem perder acesso ao raciocínio em formação do aluno. Para o trabalho docente, a implicação não é necessariamente proibir o uso de IA generativa, mas redesenhar tarefas para explicitar o processo: pedir justificativas de decisões analíticas, revisões comentadas de saídas da IA, comparação entre versões, defesa oral ou reflexão sobre incertezas. Para cursos de ciência de dados, a questão também é profissional: estudantes precisam aprender a escrever para clientes, gestores, pesquisadores e públicos não técnicos, e isso exige mais do que fluência gramatical; exige julgamento estatístico, clareza sobre limitações e capacidade de conectar evidências a decisões.
LIMITES E CUIDADOS: Os resultados não significam que todo uso educacional de LLMs prejudique a aprendizagem. O próprio estudo reconhece que estudantes podem interagir com a IA de formas mais complexas do que as simuladas, escrevendo rascunhos próprios, pedindo revisão, ajustando prompts ou editando criticamente as respostas. Também há variações entre modelos, tarefas e gêneros textuais: um relatório técnico, uma apresentação para gestores ou um e-mail explicativo podem induzir padrões diferentes de escrita. O risco central está no uso sem orientação, especialmente por alunos iniciantes que talvez não percebam erros, alucinações ou interpretações rasas em uma resposta que parece confiante e bem redigida.
O QUE VEM A SEGUIR: A pesquisa aponta para uma agenda prática para instituições de ensino: investigar usos reais da IA em trabalhos de estudantes, testar modelos além do ChatGPT e criar atividades que ensinem explicitamente a avaliar, revisar e melhorar textos gerados por máquina. Em vez de tratar a IA apenas como ameaça à integridade acadêmica ou como solução automática de produtividade, cursos de estatística e ciência de dados podem usá-la como objeto de análise: comparar sua escrita com exemplos profissionais, identificar onde falta interpretação e treinar estudantes a transformar resultados estatísticos em argumentos compreensíveis, responsáveis e úteis.
Fonte: Developing Students’ Statistical Expertise Through Writing in the Age of AI
