Prueba la memoria de agentes de IA en 100 conversaciones de soporte

El fallo de memoria es el riesgo del despliegue

Un cliente dice que se le prometió un reembolso. El agente vuelve a pedirle el número de pedido. Esa pregunta repetida es el modo de fallo que hay que probar antes de que un agente de soporte con IA atienda a clientes. Es un problema de gestión de contexto que se puede medir.

Los agentes ya tropiezan en tareas empresariales de varios turnos. En el benchmark Salesforce CRMArena-Pro (2025), el éxito en tareas de varios turnos cayó al 35% desde el 58% en tareas de un solo turno, y la pérdida de contexto encabezó los modos de fallo. Si un modelo puede soltar una tarea, un agente de soporte puede soltar a una persona. La solución es una evaluación repetible, no un prompt más largo.

Construye el arnés en torno al contexto de soporte

Trata la memoria como contexto estructurado que el agente puede recuperar, actualizar y descartar. Los agentes en producción de empresas como Intercom, Notion y Replit implementan memoria multinivel. El contexto de soporte tiene capas: datos de la cuenta, incidencias abiertas, promesas y restricciones de política. Un volcado de transcripción puede contenerlo todo, pero no le dice al agente qué capa está vigente, qué capa es privada o qué capa debe disparar la siguiente acción.

El diseño de la memoria cambia la precisión, el uso de herramientas y la latencia. Los agentes basados en metadatos de gobernanza mejoraron la precisión SQL en un 38%. En el benchmark interno de 2026 de Atlan AI Labs, añadir una capa de ontología mejoró la precisión de las respuestas del agente en un 20% y redujo las llamadas a herramientas en un 39%. En el artículo de arXiv 2504.19413 de Mem0 de abril de 2026, los agentes aumentados con memoria lograron una latencia p95 un 91% menor y un rendimiento un 26% mejor que los enfoques de memoria por defecto.

El error común es probar con prompts nuevos y llamar al resultado memoria. Un prompt nuevo demuestra la respuesta en un solo turno. No demuestra que el agente conservó el estado del cliente entre sesiones. El arnés debe separar lo que el agente vio, lo que almacenó y lo que puede recuperar después.

La prueba debe ejecutarse donde el agente fallará

• Recopila un conjunto fijo de 100 conversaciones de soporte multisesión. Mantén el conjunto estable, con IDs de cliente, marcas de tiempo y hechos esperados, para que una puntuación signifique algo entre ejecuciones. Las conversaciones deben incluir seguimientos, correcciones y preguntas de política, no solo tickets de primer contacto impecables.
• Etiqueta los hechos que el agente debe recordar: estado de la cuenta, incidencias abiertas, promesas y restricciones de política. Cada hecho necesita un turno de origen y la siguiente acción que afecta. Si un hecho no cambia lo que el agente debe hacer a continuación, no es un hecho de prueba de memoria.
• Elimina el contexto en vivo y reproduce solo la capa de memoria. El agente debe responder desde el contexto almacenado, no desde la transcripción completa. Oculta la conversación original del prompt y luego pide el estado actual del cliente y el siguiente paso.
• Puntúa el recuerdo, los hechos obsoletos y las fugas. El recuerdo es si el agente recupera el hecho correcto. Los hechos obsoletos son valores antiguos presentados como vigentes. Las fugas son detalles privados de un cliente que aparecen en otro. Genera un aprobado o un fallo para cada hecho, con el turno de origen y la acción afectada.
• Compara el resultado con una línea de aprobación y un techo de coste. Falla al agente si omite un hecho que cambia la siguiente acción. Con el precio de entrada de GPT-4o de $2.50 por 1M de tokens, un usuario intensivo que genere 100 conversaciones de 50 turnos al día, cada una con más de 20,000 tokens, pagaría $5 al día solo en contexto.

Haz que la rúbrica sea difícil de manipular

Puntúa cada hecho por separado, no cada conversación. Una conversación puede parecer correcta mientras oculta una promesa incumplida. Obliga al agente a declarar sus hechos recordados, sus desconocidos y su siguiente paso. Si adivina, márcalo como hecho obsoleto o fuga, según lo que haya fallado. Una respuesta incorrecta con confianza es el fallo que sentirá el cliente.

Una fuga es un fallo absoluto aunque la respuesta sea útil en lo demás. Vuelve a ejecutar el conjunto completo cuando cambien el modelo, el almacén de memoria, la política de recuperación o el prompt. El arnés prueba la política de recuperación, porque la memoria solo es útil cuando aparece en el momento adecuado. Mantén las conversaciones, las etiquetas y las reglas de puntuación aburridas, para que la única variable sea el agente que intentas desplegar.