Por que os agentes alucinam?

Hoje as empresas estão tirando valor real do ChatGPT e do Claude. Isso não está em discussão. O problema aparece quando se tenta resolver tudo, do texto de vendas ao planejamento financeiro e ao atendimento ao cliente, dentro de uma única conversa longa com um agente genérico.

Se você tem uma pequena empresa, provavelmente já viu isso acontecer. Você abriu um chat meses atrás, deu a ele um nome tipo "Empresa" e foi levando. Ele aprendeu seus preços, seu tom, o nome dos clientes de sempre. Redigiu orçamentos, respondeu uma dúvida sobre folha de pagamento, reescreveu a descrição dos seus serviços. Até que um dia ele disse que um cliente tinha pago quando não tinha, ou citou um preço que você tirou da tabela no começo do ano, ou escreveu um lembrete para alguém cujo serviço você já tinha cancelado. O chat não piorou na escrita. Ele ficou sem espaço para saber.

O que realmente acontece dentro de um chat longo

Um modelo não lembra do jeito que uma pessoa lembra. Ele lê. Toda vez que você manda uma mensagem, ele lê uma janela de texto: sua mensagem mais recente, o tanto da conversa que cabe na janela e as instruções que estão lá no topo. Ele responde a partir dessa janela e do seu treinamento geral. Nada mais. Daí decorrem quatro coisas, e juntas elas são o que você sente como alucinação.

A janela tem fim

A janela é grande, mas é finita, e é o produto que decide o que acontece quando a conversa cresce além dela. Alguns cortam as mensagens mais antigas. Outros as comprimem em um resumo. De um jeito ou de outro, a decisão que você tomou em março sobre as condições de pagamento para clientes recorrentes não está na frente do modelo em junho. O modelo não esqueceu no sentido humano. O texto simplesmente não está mais ali para ser lido.

Ele prevê uma continuação plausível

A habilidade central do modelo é produzir o texto mais provável de vir depois do que ele acabou de ler. Quando o fato de que ele precisa está dentro da janela, a continuação mais provável é esse fato. Quando o fato sumiu, a continuação mais provável é algo com o formato do fato: uma data parecida com as suas datas, um preço parecido com os seus preços, um nome de cliente que apareceu antes em outro contexto. Ele não tem um senso embutido de "isso eu não vi". A menos que seja instruído a dizer isso, e tenha um jeito de conferir, ele preenche a lacuna. Esse preenchimento é a alucinação.

Suas instruções começam a brigar entre si

Ao longo de meses, uma mesma conversa acumula instruções de funções que não têm nada a ver umas com as outras. Seja breve com os clientes. Seja minucioso com os números. Tom formal nas propostas. Descontraído nas redes. Nunca mencione o desconto a menos que perguntem. Sempre mencione o programa de indicação. Cada regra fazia sentido para a função para a qual foi escrita. Lidas todas de uma vez, elas se contradizem, e o modelo resolve a contradição do único jeito que consegue: escolhe uma, ou mistura todas. Você recebe uma proposta minuciosa, descontraída e formal que menciona o desconto.

Não há nada sólido para conferir

Em um chat, a fonte da verdade é o chat. O único registro do que a sua empresa sabe é o texto que você e o modelo digitaram. Nada nessa conversa se atualiza quando uma fatura é paga ou um serviço é remarcado para quinta. Então o modelo não consegue verificar. Ele só consegue lembrar do que ainda está à vista, e essa lembrança se degrada conforme a conversa cresce. Uma pessoa na mesma posição abriria o sistema de contabilidade. O chat não tem sistema nenhum para abrir.

Um chat não é um agente

A palavra é usada de forma solta, então aqui vai a distinção prática. Um chat responde a partir da sua janela. Um agente é um modelo que recebeu uma função e recebeu ferramentas.

A função é estreita de propósito: fazer follow-up de orçamentos sem resposta, e nada mais. As instruções cobrem essa função e só essa função, então nunca entram em contradição com as instruções dos lembretes de cobrança, porque essas moram em outro agente.

As ferramentas são ações definidas que o agente pode executar em sistemas reais. Ler as faturas em aberto deste cliente no sistema de contabilidade. Listar os agendamentos de amanhã na agenda. Abrir o procedimento de follow-up que está escrito. Enviar este e-mail. Uma ferramenta devolve dados atuais no momento em que o agente pergunta. O modelo continua fazendo o raciocínio e a escrita. Os fatos vêm da ferramenta, não da lembrança.

A diferença aparece quando algo dá errado. Quando um chat inventa uma fatura paga, não há nada para inspecionar. Quando um agente erra, você consegue ver qual ferramenta ele chamou, o que voltou e o que ele fez com isso. Às vezes a ferramenta devolveu um dado desatualizado. Às vezes o agente leu errado um resultado correto. Os dois casos têm conserto, porque os dois deixam rastro. Um agente com escopo definido e ferramentas ainda erra, e quem disser o contrário está querendo vender alguma coisa. O que muda é que os erros passam a ser visíveis e específicos, em vez de invisíveis e plausíveis.

O que uma pessoa tem que um chat único não tem

É o mesmo princípio que toda empresa já aplica com pessoas, e é por isso que o paralelo se sustenta.

Uma conversa sobrecarregada, dividida em três agentes

Pegue a conversa "Empresa" do começo deste texto e liste o que ela estava fazendo: redigir e cobrar retorno de orçamentos, confirmar agendamentos, lembrar quem está atrasado no pagamento, responder de vez em quando a uma pergunta sobre os números do mês, escrever um post ou outro para as redes e, uma vez, uma dúvida sobre como lidar com a licença de um funcionário. Seis funções, uma janela, nenhuma ferramenta. É assim que isso se divide.

Follow-up de orçamentos. Um agente, uma função: encontrar orçamentos que saíram e ficaram sem resposta além do prazo que você definiu, e enviar o follow-up que o seu procedimento escrito descreve. As ferramentas dele são o sistema de ordens de serviço ou o CRM onde os orçamentos ficam, esse procedimento e o e-mail. Ele nunca inventa um preço, porque lê o orçamento que de fato foi enviado. O responsável por ele é quem cuida das vendas, e nas primeiras semanas toda mensagem só sai depois que essa pessoa aprova.

Lembretes de cobrança. Um segundo agente lê no sistema de contabilidade o que está vencido e no extrato do banco o que já entrou, então nunca cobra alguém que pagou ontem. O conjunto de ferramentas dele são essas duas mais o seu documento de condições de pagamento. Ele redige e você envia, até que você esteja pronto para deixá-lo enviar dentro de limites que você define. Dinheiro nunca sai por decisão de um agente. Essa linha não se move.

Agendamento. Um terceiro agente lê a agenda e o quadro de serviços e propõe horários ou confirmações. O escopo dele é a agenda. Ele não tem ideia de quem deve o quê para você, e não precisa ter.

O que sobra: a pergunta sobre os números do mês é uma função de verdade e um bom quarto agente mais adiante, quando a conexão com a contabilidade existir e tiver conquistado alguma confiança. Os posts para as redes ganham uma conversa própria. A dúvida sobre a licença fica com um humano, porque é julgamento sobre uma pessoa, e julgamento é a última coisa que se delega.

Cada agente agora tem um escopo, umas poucas ferramentas, um responsável. Quando um erra, você sabe qual foi e o que ele leu. A conversa que fazia tudo nunca conseguiria dizer isso.

Limite do modelo ou sobrecarga? Como saber

Dois problemas diferentes produzem a mesma resposta errada, e têm soluções diferentes, então vale a pena distinguir um do outro. O teste custa alguns minutos.

Repita do zero. Abra um chat novo. Cole só os fatos de que a pergunta precisa, atualizados até hoje, e pergunte de novo. Se agora a resposta estiver certa, o modelo nunca foi o problema. A conversa era. Isso é sobrecarga, e a solução é escopo e ferramentas, não outro modelo.

Rastreie o dado errado. Pergunte de onde aquele detalhe errado pode ter vindo. Se ele nunca esteve na conversa e nunca esteve em nenhuma ferramenta que o modelo pudesse alcançar, o modelo não tinha como saber, e preencheu a lacuna. A solução é uma fonte: conecte a ferramenta que guarda a verdade. Se estava na conversa, mas lá atrás, a janela passou por cima dele. Mesma solução. Se era recente, correto, bem à vista, e o modelo ainda assim errou, você está mais perto de um limite real, ou de uma instrução que disse duas coisas ao mesmo tempo. Releia as suas próprias instruções antes de culpar o modelo.

Conheça os limites reais. Algumas falhas são do modelo, e nenhum ajuste de escopo resolve. Aritmética em uma lista longa de números. Acontecimentos posteriores ao fim do treinamento dele. Julgamento jurídico ou tributário especializado. Uma foto borrada de um bilhete escrito à mão. Para esses casos, a solução é uma ferramenta feita para a tarefa, ou uma pessoa, não um prompt melhor. Uma calculadora não alucina. Seu contador também não, pelo menos não sobre a sua contabilidade.

O que colocar no papel antes de construir qualquer coisa

Toda solução acima pressupõe que existe algo para apontar para o agente. Na maioria das pequenas empresas, parte disso ainda não existe. Mora na cabeça do dono. Então o primeiro trabalho não é técnico. É escrever.

É aqui que o nosso próprio trabalho começa, e é por isso que a primeira coisa que a Holybiz faz com uma empresa não é construir um agente. Nós mapeamos o negócio como ele opera de fato: os processos, quem os executa, onde a informação está, onde está o retrabalho. Depois os agentes são construídos por escopo, uma função cada, conectados às ferramentas que a empresa já usa, para que os fatos fiquem nos sistemas que são donos deles, em vez de dentro da percepção mutável que um único agente tem de uma conversa. Nós tocamos as nossas próprias empresas assim, incluindo o site que você está lendo. Os agentes ainda vão errar às vezes. A diferença é que você vai conseguir ver o que eles leram, corrigir a fonte e seguir em frente.