Cómo crear un mapa de fallos para un agente de IA antes de pilotarlo

Una tarea de jornada completa en el sector sanitario es un mejor umbral de pilotaje que una demostración del proveedor. Una asignación de DAYJOB: Healthcare tiene un tiempo medio estimado de finalización humana de 13,6 horas. Antes de pilotar un agente de largo horizonte, somételo a una tarea de jornada completa publicada, evalúa cada criterio de la rúbrica y registra cada fallo por hecho, archivo, decisión o plazo. El mapa, no la puntuación principal, te dice si el agente puede sobrevivir a tu flujo de trabajo.

Las demostraciones son buenas para hacer que una tarea estrecha parezca terminada. El trabajo profesional real es más difícil: tiene archivos de origen, instrucciones ambiguas, plazos y consecuencias. Una evaluación previa al pilotaje necesita una carga de trabajo que se parezca a ese trabajo, no un prompt limpio.

Usa un benchmark de jornada completa como umbral de pilotaje

Empieza con tareas que requieran juicio profesional sobre una larga extensión de materiales. DAYJOB es un conjunto de benchmarks publicado para trabajo profesional, con dos benchmarks: healthcare y finance, y 130 asignaciones de expertos en total. El subconjunto de healthcare contiene 50 asignaciones diseñadas por expertos. La escala es útil antes de un pilotaje porque obliga al agente a trabajar con los materiales lo suficiente como para cometer los errores que de otro modo descubrirías en producción.

Las tareas de finanzas son una prueba de estrés diferente. Los prompts de DAYJOB: Finance promedian 81 palabras, mientras que los prompts de GDPval promedian 337 palabras. Las tareas de finanzas también llevan una media de 25,7 archivos de entrada, frente a una media de 1,2 archivos de entrada en GDPval. El tiempo medio estimado de un humano para una tarea de finanzas es de 21,6 horas, mientras que el conjunto completo de GDPval tiene una mediana de tiempo estimado humano de 4 horas. Si tu flujo de trabajo involucra muchos documentos, las tareas financieras son la mejor prueba de presión.

No ejecutes una sola tarea y la llames pilotaje. Un único éxito puede ser suerte. Un único fallo puede ser ruido. Necesitas un conjunto de tareas que exponga debilidades recurrentes. Un conjunto de benchmarks también te da un vocabulario compartido para los fallos, lo que facilita la conversación posterior sobre el pilotaje.

Evalúa cada criterio y luego mapea los fallos

La regla de superación importa más que la puntuación. En la parte de healthcare de DAYJOB, una tarea se considera superada solo cuando se cumple cada criterio de la rúbrica. Una respuesta casi completa aún puede omitir el detalle que importa. En trabajo regulado, la parte que falta suele ser la que te mete en problemas.

Usa un protocolo simple. Los pasos siguientes son el mínimo para un mapa de fallos previo al pilotaje.

• Ejecuta el agente candidato en un conjunto de tareas de jornada completa publicado, usando los mismos archivos y prompt que proporciona el benchmark. El resultado debe ser un paquete de salida completo: borradores, tablas, notas, decisiones y cualquier artefacto requerido.
• Evalúa cada criterio de la rúbrica por separado, no la respuesta final en su conjunto. El objetivo es una fila por criterio, con superado, no superado y la razón exacta del fallo.
• Registra cada fallo por hecho, archivo, decisión o plazo. Cada fallo necesita una categoría, la evidencia que lo causó y el paso en el que apareció por primera vez.
• Compara los fallos entre tareas para encontrar patrones. Deben aparecer modos de fallo recurrentes, como citas de origen omitidas, cálculos incorrectos, archivos saltados o entregables tardíos.

El error habitual es tratar la tasa de superación principal como una revisión de producto. Una tasa de superación baja puede ocultar un agente seguro para un trabajo estrecho y uno peligroso para otro. Los veredictos por criterio son el análisis real de fallos del agente.

Convierte el mapa en una decisión de pilotaje

Lee el mapa antes de elegir el alcance del pilotaje. Los fallos repetidos de hechos deberían mantenerlo fuera de trabajos donde ese hecho importa. Los fallos de seguimiento de archivos requieren un conjunto de archivos más pequeño o un punto de control humano tras la revisión de archivos. Los fallos de plazo necesitan una prueba de temporización, herramientas o diseño de tarea.

Algunos fallos son corregibles con prompts, herramientas o salvaguardas. Otros no. El mapa te dice qué fallo es controlable. Un pilotaje debería empezar ahí. Si la corrección no es clara, trata el fallo como un límite de alcance.

Mantén el mapa visible durante el pilotaje. Cuando el agente falle en producción, compara el nuevo fallo con el mapa previo al pilotaje. Si coincide con un patrón conocido, ya sabes dónde buscar. Si es nuevo, añádelo al mapa y estrecha el alcance hasta que el patrón desaparezca.

Cuando el mapa muestre fallos repetidos en la misma categoría, deja de ampliar el pilotaje y corrige esa categoría primero.