Vice-reitoria para Assuntos Acadêmicos

André Pimentel, à esquerda, e Cayque Nascimento, autores do artigo - Foto: arquivo pessoal

Grandes modelos de linguagem – do inglês large language models (LLMs) – prometem revolucionar a geração de respostas a perguntas complexas usando a ferramenta ChatGPT; mas, quando se trata de química, "ainda estão na primeira infância". É o que diz artigo publicado, recentemente, pelo professor André Pimentel e seu aluno de doutorado Cayque Nascimento, ambos do Departamento de Química, e já citado na renomada revista Science - https://www.science.org/content/blog-post/ask-oracle-chatgpt-and-chemistry.

O artigo dos autores para a American Chemical Society, Do Large Language Models Understand Chemistry? A Conversation with ChatGPT (https://doi.org/10.1021/acs.jcim.3c00285), publicado no Journal of Chemical Information and Modeling (JCIM), questiona o entendimento de assuntos da química pela ferramenta de inteligência artificial (IA), ao simular um aluno regular que desafia o ChatGPT com tarefas simples (e sem truques) em química orgânica, química inorgânica, físico-química e química analítica, além de áreas afins:

– Em pouco mais de quatro meses de lançamento, o ChatGPT já gerou diversos questionamentos. A inteligência artificial, que promete uma revolução nas respostas complexas em forma de diálogo, a partir de informações livres da internet, ainda não é a melhor solução para abordagens das ciências exatas. A motivação para escrever o artigo foi justamente divulgar um ponto de vista na direção contrária ao que está sendo colocado pela mídia. O ChatGPT não é bom para responder assuntos relacionados às ciências exatas, números, símbolos etc. E a comunidade científica precisa saber disso, e é interessante que todos saibam disso. Isso envolve problemas éticos como plágio, por exemplo. Por isso, o artigo fez sucesso – comenta Pimentel.

Segundo o estudo, a inteligência artificial tem muito mais chances de gerar respostas erradas ou imprecisas quando se trata de números, representações químicas, identificação de fórmulas e imagens. Logo, seus resultados em relação à química e às ciências exatas em geral se mostraram errôneos, imprecisos ou sem profundidade, se comparados às áreas mais voltadas para as ciências humanas.

Professor André Pimentel, da Química, um dos autores do artigo - foto: acervo pessoal

– Isso acontece porque a IA interage a partir de informações não primárias, como artigos livres na internet ou em seu banco de dados, ao invés de artigos científicos de grande relevância. Portanto, caso não tenha sido treinada para responder ao tipo de pergunta que está sendo feita, buscará palavras próximas dentro do contexto da pergunta, gerando possíveis respostas. Este comportamento pode levar o usuário da tecnologia (que realizou a pergunta), ao erro ou a respostas que tenham informações corretas misturadas a informações não verídicas, como as fake news.  

A conclusão obtida pela pesquisa poderá ser ampliada a outras áreas da educação ou da pesquisa acadêmica. Ao observarem a incoerência entre perguntas e respostas, professores e pesquisadores serão capazes de identificar informações plageadas ou copiadas do ChatGPT por seus alunos ou pares científicos. "Na verdade, hoje em dia, os textos gerados por máquinas apresentam um padrão bem diferente daquele gerado pelo ser humano, que é facilmente detectado e diferenciado", lembra o professor. No entanto, Pimentel acredita que os modelos de linguagem de IA serão desenvolvidos em um curto espaço de tempo e todos poderão se beneficiar da ferramenta, desde que com uso ético. Para o professor, tarefas complexas serão realizadas com mais facilidade e menos tempo.