Se você usou o ChatGPT nas últimas semanas, deve ter percebido que as respostas ficaram mais genéricas e até com um número maior de informações erradas. 

Essa é a percepção dos usuários do modelo de linguagem que se tornou sinônimo de Inteligência Artificial (IA) para muita gente. E um estudo de pesquisadores das universidades de Stanford e Berkeley fortalece a conclusão de que o ChatGPT piorou com o passar do tempo. 

Os autores do paper avaliaram a performance da ferramenta em quatro tarefas simples (solução de problemas matemáticos, respostas a questões delicadas, geração de código e raciocínio visual) durante março e junho deste ano. 

Em matemática, o grau de precisão da versão mais recente do ChatGPT passou de 97,6% em março para somente 2,4% em junho. Também houve queda na qualidade dos códigos gerados e nas respostas dadas a questões relacionadas a gênero, minorias religiosas e minorias étnicas. Nestes casos, o robô simplesmente escreveu: “Desculpe, mas não posso ajudar com isso”. O artigo foi publicado em julho e ainda não foi revisado por pares. 

Mas por que o ChatGPT estaria emburrecendo? 

Uma reportagem do The Washington Post levantou algumas hipóteses, que vamos resumir aqui: 

• A aprendizagem a partir do conteúdo autogerado pelos robôs (e não pelo conteúdo produzido por humanos) gera um círculo vicioso que amplifica vieses e erros, o que leva à perda de qualidade das respostas. 
• A OpenAI, dona do ChatGPT, quer reduzir custos com o processamento de dados, o que prejudicaria a capacidade dos robôs em gerar respostas mais complexas. 
• A redução de custos também teria levado a OpenAI a mudar o foco, passando de um modelo de linguagem geral para a criação de vários modelos pequenos, especializados em um tópico específico.  
• O debate sobre desinformação e regulamentação de IA na União Europeia teria feito a OpenAI desacelerar a performance da ferramenta. 
• O ChatGPT não estaria cometendo mais erros, mas as pessoas estariam usando o robô com mais frequência, o que as levou a enxergar problemas que não haviam percebido antes. Essa é a hipótese da OpenAI. 

A perda de qualidade nas respostas reforça o papel de assistente do ChatGPT, que precisa de um humano que entenda como ele funciona para ser bem utilizado. 

Isso não significa que a IA vai deixar de ser uma exigência no mercado de trabalho. O ChatGPT é apenas um exemplo dessa tecnologia, que já está presente nos escritórios e tem sido uma grande aliada no aumento da produtividade de programadores, redatores e analistas de back office.