¿Por qué alucinan los agentes?

Hoy las empresas obtienen valor real de ChatGPT y de Claude. Eso no está en duda. El problema aparece cuando se intenta resolver todo, desde textos de venta hasta planificación financiera y atención al cliente, dentro de una sola conversación larga con un agente genérico.

Si tienes una pequeña empresa, seguramente ya viste pasar esto. Abriste un chat hace meses, le pusiste un nombre como "Negocio" y seguiste usándolo. Aprendió tus precios, tu tono, los nombres de tus clientes de siempre. Redactó cotizaciones, respondió una pregunta sobre nómina, reescribió la descripción de tus servicios. Hasta que un día te dijo que un cliente había pagado cuando no era así, o cotizó un precio que habías retirado a comienzos del año, o escribió un recordatorio para alguien cuyo trabajo ya habías cancelado. El chat no empezó a escribir peor. Se quedó sin espacio para saber.

Qué pasa de verdad dentro de un chat largo

Un modelo no recuerda como recuerda una persona. Lee. Cada vez que envías un mensaje, lee una ventana de texto: tu mensaje más reciente, tanta conversación como cabe en la ventana y las instrucciones que están arriba. Responde a partir de esa ventana y de su entrenamiento general. Nada más. De ahí se siguen cuatro cosas, y juntas son lo que tú experimentas como alucinación.

La ventana se acaba

La ventana es grande, pero es finita, y el producto decide qué pasa cuando la conversación la desborda. Algunos recortan los mensajes más antiguos. Otros los comprimen en un resumen. De una forma u otra, la decisión que tomaste en marzo sobre las condiciones de pago para clientes recurrentes no está frente al modelo en junio. El modelo no olvidó en el sentido humano. El texto simplemente ya no está ahí para ser leído.

Predice una continuación plausible

La habilidad central del modelo es producir el texto más probable después de lo que acaba de leer. Cuando el dato que necesita está dentro de la ventana, la continuación más probable es ese dato. Cuando el dato ya no está, la continuación más probable es algo con la forma del dato: una fecha que se parece a tus fechas, un precio que se parece a tus precios, un nombre de cliente que apareció antes en otro contexto. No tiene un sentido incorporado de "esto no lo he visto". A menos que se le indique decirlo, y se le dé una forma de verificar, rellena el hueco. Ese relleno es la alucinación.

Tus instrucciones empiezan a pelearse entre sí

A lo largo de meses, un mismo hilo acumula instrucciones de funciones que no tienen nada que ver entre sí. Sé breve con los clientes. Sé minucioso con los números. Tono formal en las propuestas. Relajado en redes. Nunca menciones el descuento a menos que pregunten. Siempre menciona el programa de referidos. Cada regla tenía sentido para la función para la que se escribió. Leídas todas a la vez, se contradicen, y el modelo resuelve la contradicción de la única manera que puede: elige una, o las mezcla. Obtienes una propuesta minuciosa, relajada y formal que menciona el descuento.

No hay nada sólido contra qué verificar

En un chat, la fuente de la verdad es el chat. El único registro de lo que sabe tu empresa es el texto que tú y el modelo escribieron. Nada en ese hilo se actualiza cuando una factura se paga o un trabajo se pasa al jueves. Así que el modelo no puede verificar. Solo puede recordar lo que sigue a la vista, y ese recuerdo se degrada a medida que el hilo crece. Una persona en la misma posición abriría el sistema contable. El chat no tiene ningún sistema que abrir.

Un chat no es un agente

La palabra se usa con soltura, así que aquí va la distinción práctica. Un chat responde desde su ventana. Un agente es un modelo al que le dieron una función y le dieron herramientas.

La función es estrecha a propósito: dar seguimiento a cotizaciones sin respuesta, y nada más. Sus instrucciones cubren esa función y solo esa función, así que nunca contradicen las instrucciones de los recordatorios de cobro, porque esas viven en otro agente.

Las herramientas son acciones definidas que el agente puede ejecutar sobre sistemas reales. Leer las facturas pendientes de este cliente en el sistema contable. Listar las citas de mañana en el calendario. Abrir el procedimiento de seguimiento que está por escrito. Enviar este correo. Una herramienta devuelve datos actuales en el momento en que el agente pregunta. El modelo sigue haciendo el razonamiento y la redacción. Los datos vienen de la herramienta, no del recuerdo.

La diferencia se nota cuando algo sale mal. Cuando un chat inventa una factura pagada, no hay nada que inspeccionar. Cuando un agente se equivoca, puedes ver qué herramienta llamó, qué le devolvió y qué hizo con eso. A veces la herramienta devolvió datos desactualizados. A veces el agente leyó mal un resultado correcto. Ambos tienen arreglo, porque ambos dejan rastro. Un agente con alcance definido y herramientas sigue cometiendo errores, y quien te diga lo contrario te está vendiendo algo. Lo que cambia es que los errores se vuelven visibles y específicos, en vez de invisibles y plausibles.

Lo que tiene una persona y un chat único no

Es el mismo principio que toda empresa ya aplica con las personas, y por eso el paralelo se sostiene.

Una conversación sobrecargada, dividida en tres agentes

Toma el hilo "Negocio" del comienzo de este texto y enumera lo que estaba haciendo: redactar cotizaciones y darles seguimiento, confirmar citas, recordarles a los que pagan tarde, responder de vez en cuando una pregunta sobre los números del mes, escribir alguna publicación para redes y, una vez, una pregunta sobre cómo manejar la licencia de un empleado. Seis funciones, una ventana, ninguna herramienta. Así se divide.

Seguimiento de cotizaciones. Un agente, una función: encontrar cotizaciones que salieron y no tuvieron respuesta pasado el plazo que definiste, y enviar el seguimiento que describe tu procedimiento escrito. Sus herramientas son la herramienta de órdenes de trabajo o el CRM donde viven las cotizaciones, ese procedimiento y el correo. Nunca inventa un precio, porque lee la cotización que realmente se envió. Su responsable es quien lleva las ventas, y durante las primeras semanas cada mensaje sale solo después de que esa persona lo aprueba.

Recordatorios de cobro. Un segundo agente lee en el sistema contable lo que está vencido y en los movimientos del banco lo que ya entró, así que nunca le cobra a alguien que pagó ayer. Su conjunto de herramientas son esas dos más tu documento de condiciones de pago. Él redacta y tú envías, hasta que estés listo para dejarlo enviar dentro de límites que tú defines. El dinero nunca se mueve porque un agente lo diga. Esa línea no se mueve.

Agendamiento. Un tercer agente lee el calendario y el tablero de trabajos y propone horarios o confirmaciones. Su alcance es el calendario. No tiene idea de quién te debe qué, y no necesita tenerla.

Lo que queda: la pregunta sobre los números del mes es una función real y un buen cuarto agente más adelante, cuando la conexión con la contabilidad exista y se haya ganado algo de confianza. Las publicaciones en redes tienen su propio hilo. La pregunta sobre la licencia se queda con un humano, porque es criterio sobre una persona, y el criterio es lo último que se delega.

Cada agente ahora tiene un alcance, un par de herramientas, un responsable. Cuando uno se equivoca, sabes cuál fue y qué leyó. El hilo que hacía de todo nunca pudo decirte eso.

¿Límite del modelo o sobrecarga? Cómo saberlo

Dos problemas distintos producen la misma respuesta equivocada, y tienen soluciones distintas, así que vale la pena diferenciarlos. La prueba te cuesta unos minutos.

Repítelo en limpio. Abre un chat nuevo. Pega solo los datos que la pregunta necesita, actualizados a hoy, y vuelve a preguntar. Si ahora la respuesta es correcta, el modelo nunca fue el problema. El hilo lo era. Eso es sobrecarga, y la solución es alcance y herramientas, no otro modelo.

Rastrea el dato equivocado. Pregúntate de dónde pudo salir el detalle equivocado. Si nunca estuvo en la conversación y nunca estuvo en ninguna herramienta a la que el modelo pudiera llegar, no tenía cómo saberlo, y rellenó el hueco. La solución es una fuente: conecta la herramienta que guarda la verdad. Si estaba en el hilo pero muy atrás, la ventana ya lo dejó fuera. Misma solución. Si era reciente, correcto, a plena vista, y el modelo aun así se equivocó, estás más cerca de un límite real, o de una instrucción que le dijo dos cosas a la vez. Vuelve a leer tus propias instrucciones antes de culpar al modelo.

Conoce los límites reales. Algunas fallas son del modelo, y ningún ajuste de alcance las arregla. Aritmética sobre una lista larga de números. Hechos posteriores al fin de su entrenamiento. Criterio legal o fiscal especializado. Una foto borrosa de una nota escrita a mano. Para esos casos, la solución es una herramienta hecha para la tarea, o una persona, no un mejor prompt. Una calculadora no alucina. Tu contador tampoco, al menos no sobre tus cuentas.

Qué poner por escrito antes de construir cualquier cosa

Toda solución de arriba supone que hay algo hacia donde apuntar al agente. En la mayoría de las pequeñas empresas, parte de eso todavía no existe. Vive en la cabeza del dueño. Así que el primer trabajo no es técnico. Es escribir.

Aquí es donde empieza nuestro propio trabajo, y por eso lo primero que hace Holybiz con una empresa no es construir un agente. Mapeamos el negocio como opera en realidad: los procesos, quién los ejecuta, dónde vive la información, dónde está el retrabajo. Después los agentes se construyen por alcance, una función cada uno, conectados a las herramientas que la empresa ya usa, para que los datos se queden en los sistemas que son sus dueños en vez de dentro de la percepción cambiante que un solo agente tiene de una conversación. Así operamos nuestras propias empresas, incluido el sitio que estás leyendo. Los agentes seguirán equivocándose a veces. La diferencia es que vas a poder ver qué leyeron, corregir la fuente y seguir adelante.