Evalúa a tu agente de IA por lo que aprendió, no por lo que sabe
Construye un arnés de evaluación de agentes estilo AEI, repetible, que pruebe el acceso declarado, la seguridad y la persistencia del aprendizaje antes de confiarle trabajo real.
La demostración no es el flujo de trabajo
Observas a un agente responder una pregunta a partir de un conjunto de datos público, y luego se atasca cuando tu proceso cambia. Una demostración es una fiesta; un arnés es un laboratorio. Un arnés de evaluación de agentes útil debería probar lo que el agente aprendió bajo un acceso declarado, no lo que ya sabe. La prueba debe ser lo suficientemente repetible para ejecutarse después de cada cambio de proceso, antes de confiarle trabajo real.
Brackett lanzó el Agent Effectiveness Index, o AEI, como una referencia de evaluación gratuita y de código abierto para evaluar agentes de IA en la comprensión de procesos, la acción proactiva y el aprendizaje continuo a medida que los procesos cambian. Úsalo como marco para tu propio arnés.
El arnés viene antes que el agente
Comienza con la especificación del AEI. Combina la comprensión del negocio, la ejecución operativa y la persistencia del aprendizaje en una puntuación de 0 a 100, asignando un 40 por ciento a las dos primeras componentes y un 20 por ciento a la persistencia del aprendizaje, y aplica una media geométrica. Una media geométrica hace que un componente débil sea difícil de ocultar.
Declara la escala de acceso. El AEI define cuatro niveles de acceso declarados: K0 es el sistema inicial, K1 añade documentos, K2 añade un grafo con un navegador base, y K3 utiliza ese grafo con un navegador entrenado. Registra qué conocimiento puede ver el agente y cuál no.
Escribe las acciones prohibidas antes de la primera ejecución. Bajo la puerta de seguridad de referencia del AEI, una acción prohibida crítica hace que la puntuación de ejecución de un episodio sea cero y provoca que la puerta falle. Una puerta fallida debe detener la comparación, incluso si los demás números parecen fuertes.
Elige tareas con una distribución de dificultad. Show & Tell utiliza TCI como heurística de selección de tareas para distribuir la dificultad de la referencia y organiza las tareas por reglas, evidencia, pasos y demostración. Usa esa plantilla para la tarjeta de tarea: lo que el agente debe inferir, lo que no debe hacer y cómo se demuestra el éxito.
El orden repetible hace útil la evaluación
Congela primero el flujo de trabajo. Escribe la tarea, las entradas, la salida esperada y el único cambio de proceso que vas a probar. El resultado debe ser un archivo de tarea versionado que otra persona pueda ejecutar sin adivinar.
Ejecuta un episodio de referencia. Da al agente el perfil de acceso declarado y déjalo completar la tarea sin el cambio de proceso. Guarda las puntuaciones por componente, el resultado de la puerta y los metadatos de la tarea para que la siguiente ejecución se convierta en una prueba de regresión del agente.
Ejecuta el episodio modificado. Aplica el cambio de proceso, mantén el mismo perfil de acceso y registra qué hizo diferente el agente. Las filas deben diferir solo en la regla, la evidencia o el orden de los pasos.
Mantén el perfil de acceso en el nombre del archivo. Una ejecución K0 y una ejecución K3 no son comparables a menos que la tarea, la rúbrica y la puerta sean idénticas. Una carpeta donde el cambio de proceso es la única variable es más fácil de defender.
La nota de laboratorio viene antes que el total
Lee primero la persistencia del aprendizaje, luego la ejecución operativa y después la comprensión del negocio. Si el agente mejora después de un cambio de proceso, la puntuación de aprendizaje debería moverse. Si no, el total aún puede parecer respetable porque las demás partes son fuertes.
Usa el perfil de acceso como clave de comparación. Un agente que obtiene buena puntuación en K3 no es el mismo resultado que un agente que obtiene buena puntuación en K0. El nivel de acceso te indica cuánto andamiaje necesitó el agente.
Trata las instantáneas públicas con cautela. La instantánea preliminar de Show & Tell contenía 191 intentos seleccionados en 39 casos probados. La instantánea no informó un intervalo de confianza y no era una clasificación canónica verificada. Eso es suficiente para ver un patrón, pero no para coronar a un ganador.
Termina preguntando qué aprendió el agente. ¿Notó la nueva regla? ¿Evitó la jugada peligrosa? ¿Mantuvo el camino útil después del cambio? Si es así, tienes un candidato para trabajo real. Si no, pasa al siguiente candidato por el mismo arnés.
