Estudo expõe erro drástico cometido pelo ChatGPT; saiba qual

Hoje, muita gente não vive sem o ChatGPT para realizar diversas atividades. No entanto, estudos recentes da Universidade de Edimburgo revelaram um erro básico ainda presente em modelos de IA.

A pesquisa mostrou que, apesar de o ChatGPT escrever textos extensos, encontrar informações e até gerar imagens, ele ainda falha ao ler relógios e calendários, acertando apenas 38,7% e 26,3%, respectivamente.

Siga o BNews no Google e receba as principais notícias no seu celular

BR-242

Acidente entre van lotada de pacientes e caminhonete deixa 16 feridos na Bahia

contradição?

Depois de posar ao lado de Trump, Flávio culpa Lula pela tarifa dos EUA de 12,5% sobre produtos brasileiros

Uma reportagem do portal especializado The Verge destaca que o chatbot oscila entre admitir que não sabe, tentar adivinhar o fuso horário ou simplesmente errar poucos minutos depois de ter acertado. Em um dos exemplos, o modelo escreveu: “Não tenho acesso ao relógio em tempo real do seu dispositivo ou à sua localização, então não posso informar a hora local exata para você.”

Por que isso acontece?

De acordo com o especialista em IA, Yervant Kulbashian, a razão é estrutural. Segundo ele, "um modelo de linguagem funciona em seu próprio espaço de linguagem e palavras. Ele só faz referência ao que entrou nesse espaço", disse ao The Verge.

Desta forma, o ChatGPT não tem um relógio interno. Só sabe a hora se o sistema que o hospeda permitir essa consulta, o que geralmente não ocorre. Segundo a porta-voz da OpenAI, Taya Christianson, existe mesmo essa limitação. Ela explica ao The Verge que "os modelos que alimentam o ChatGPT não têm acesso integrado à hora atual". Mesmo quando o modelo vê um relógio, os erros continuam. Esse é o ponto mais crítico

Estudo com modelos

Um novo estudo da Universidade de Edimburgo testou modelos como GPT-4o, Claude 3.5, Gemini 2.0 e Llama Vision diante de relógios analógicos e calendários completos. O resultado revelou que as máquinas ainda têm dificuldade em realizar tarefas temporais básicas.

“Modelos de ponta são incapazes de interpretar com confiabilidade as posições dos ponteiros ou responder corretamente a perguntas sobre datas em calendários”, afirma nota da Universidade de Edimburgo.

Segundo o pesquisador Rohit Saxena “"ler um relógio exige algo diferente, raciocínio espacial. O modelo precisa detectar ponteiros sobrepostos, medir ângulos e lidar com designs variados".

“A maioria das pessoas consegue dizer as horas e usar calendários desde cedo. Essas lacunas precisam ser enfrentadas”, complementa o pesquisador.

De acordo com uma análise feita pelo Live Science, os modelos acertam apenas 38,7% das leituras de relógios e 26,3% das questões sobre calendários. Datas calculadas, como "o 153º dia do ano", derrubam até os sistemas mais recentes.

Clique aqui e inscreva-se no canal do BNews no Youtube!

Apesar desses erros, os pesquisadores destacam o potencial dos sistemas e reforçam que o uso exige cuidado. "A IA é poderosa, mas quando as tarefas misturam percepção com raciocínio preciso, ainda precisamos de testes rigorosos, lógica de contingência e, em muitos casos, um humano no processo", concluiu Rohit Saxena.