A Universidade Charles (CUNI), em Praga, República Tchéquia, realizou uma investigação para determinar a capacidade dos atuais modelos linguísticos de inteligência artificial (IA) para gerar artigos médicos fraudulentos de alta qualidade. A equipe liderada por Martin Májovský, plantou como hipótese que estes estudos são capazes de enganar facilmente não só os leitores como também a investigadores.

A IA tem avançado substancialmente nos últimos anos e, em muitos casos, pode facilitar algumas formas de trabalho. Na investigação científica, especificamente, pode melhorar a qualidade e a eficiência das análises e publicação de dados. Porém, também pode gerar artigos falsos difíceis de detectar, o que planta importantes questões sobre a integridade da investigação científica e a sua confiabilidade .

Para comprovar esta questão, um estudo, publicado no Journal of Medical Internet Research (JMIR), utilizou o Chat GPT (Chat Generative Pre-trained Transformer) potenciado pelo modelo de linguagem 3 com o objetivo de gerar um artigo científico fraudulento relacionado à neurocirurgia. 

O GPT-3 é um grande modelo de linguagem desenvolvido pela OpenAI que utiliza algoritmos de aprendizagem profundos para gerar textos similares aos escritos por humanos em resposta as indicações dadas pelos usuários, treinados em um enorme corpo de texto da Internet.

Desta forma, os autores plantaram, perguntas e indicações ao modelo e as aperfeiçoaram à medida que o modelo gerava as respostas. Algumas das indicações foram: “Usar citações de acordo com os padrões da PLOS Medicine”; “Eu quero que você seja mais específico. Usa linguagem científica”; e “Eu preciso da discussão. Compare os resultados com os artigos publicados. Faça citações no texto (números entre colchetes) e dê a lista de citações no final. Comece a numerar marcações a partir de 9”.

O objetivo foi criar um artigo completamento inventado que incluíra resumo, introdução, material, métodos, discussão, referências, gráficos etc. Uma vez gerado, experts em neurocirurgia, psiquiatria e estatística o revisaram para comprovar a sua exatidão e coerência, e compararam com artigos similares já existentes.

Resultados

O estudo constatou que o modelo linguístico da Inteligência Artificial foi capaz de criar, em aproximadamente uma hora,  um artigo fraudulento muito convincente que se assemelhe a um estudo autêntico científico, quanto ao uso de palavras, termos, estrutura das frases e a composição em geral.

O texto gerado incluiu as seções padrão mencionadas anteriormente, uma folha de dados e consistiu em 1.992 palavras e 17 citações.

Contudo, vale destacar que se identificaram algumas preocupações e erros específicos no artigo gerado, concretamente nas referências. Ainda que esses pareçam sofisticados e aparentemente impecáveis, os leitores experts podem identificar imprecisões e erros semânticos numa inspeção minuciosa. O que torna fundamental a necessidade de aumentar a vigilância e melhorar os métodos de detecção para combater o possível uso indevido da IA em trabalhos científicos.