Evalúa agentes de código en tareas privadas y calcula el coste del arnés

Puedes comparar las afirmaciones de los proveedores y aun así comprar el agente de código equivocado. En la tabla de clasificación Real-SWE de septiembre de 2026, el primer resultado listado fue del 38,8 % para Fable 5.1 ejecutándose en Claude Code. El segundo resultado listado fue del 33,8 % para GPT-6 Astra ejecutándose en Codex CLI. Antes de la demostración, ejecuta una pequeña prueba de primer intento en un repositorio privado y calcula el coste del arnés por ejecución. Tabla de puntuación: pass@1 en un pequeño conjunto de tareas de tu propio repositorio privado, y el coste adicional y la diferencia de éxito del arnés por ejecución frente a un arnés mínimo.

Las tablas de clasificación acotan el campo; tu repositorio decide

Las tablas de clasificación públicas te ayudan a hacer una preselección, pero no muestran cómo se comporta un candidato dentro de tu código, tus pruebas y tus hábitos de revisión. El benchmark Real-SWE evalúa pares de modelo y arnés con arneses nativos, no modelos por sí solos.

Sus tareas piden a los agentes que operen dentro de sistemas propietarios que no están expuestos en internet público. Ejecuta cada agente en un sandbox aislado, usa tareas en formato Harbor e inyecta verificadores al calificar.

La tasa de resolución de Real-SWE es pass@1, calculada como la media de ocho ejecuciones independientes por tarea. Lee los números de la tabla de clasificación como una comprobación de sentido común. La dispersión muestra que la elección del par puede alterar el resultado, pero tus tareas privadas lo alterarán aún más. Una puntuación pública puede decirte si un par es plausible. No puede decirte si sobrevivirá a tus reglas de lint, tus fixtures de prueba, tu protección de ramas o tu lista de verificación de lanzamiento.

Ejecuta una tabla de puntuación en un repositorio privado antes de cualquier demostración

Elige un pequeño conjunto de tareas privadas que sean aburridas, reales y evaluables. Quieres tareas donde una respuesta incorrecta sea obvia: una prueba que falla, un endpoint que falta, una migración rota, una comprobación de seguridad que debería pasar. Evita tareas que requieran contexto largo, conocimiento tribal oculto o que un humano tenga que interpretar el resultado. Ejecuta esta lista de verificación antes de hacer la preselección.

• Ejecuta la misma tarea privada en el agente candidato y en un arnés mínimo, y registra si el primer intento pasa.
• Cronometra la ejecución y anota dónde se estanca el agente: configuración, pruebas, revisión o commit.
• Compara el coste adicional del arnés por ejecución frente al arnés mínimo para la misma tarea.
• Comprueba si el agente ejecuta su código y si esa ejecución es segura en tu entorno.
• Puntúa el diff según la carga de revisión humana: ¿necesita una reescritura, un parche o un merge?

Cada punto detecta un modo de fallo que una demostración oculta: la tasa de éxito en el primer intento muestra si el agente puede cerrar el ciclo sin supervisión; el tiempo de estancamiento revela dónde el arnés añade fricción; la diferencia de coste descubre si el envoltorio vale su precio; la seguridad de ejecución determina si el agente puede confiarse cerca de trabajo real; la carga de revisión separa un punto de partida de una responsabilidad.

Greptile, Cursor y Devin están alineados en la idea de que los agentes deben ejecutar su código. La ejecución es donde el arnés justifica su existencia. Un envoltorio que solo edita texto es menos útil que uno que puede ejecutar pruebas, inspeccionar fallos y reparar el parche. Tus tareas privadas deberían forzar ese comportamiento.

Calcula el coste del arnés como partida separada

La mayoría de las propuestas de los proveedores agrupan el modelo, la interfaz, el sandbox, la memoria, las integraciones y el soporte en un solo número. Ese número oculta la parte que deberías estar negociando: el arnés. Si el arnés añade coste sin éxito, trátalo como una tarifa.

Usa la misma tarea privada en el arnés completo y en una configuración mínima. Registra la diferencia de éxito y la diferencia de precio por ejecución. Cuando el arnés completo gana por un margen pequeño, pregunta si ese margen justifica el gasto extra. Cuando pierde, el modelo puede estar bien y el envoltorio puede ser el problema.

El coste del arnés es la partida que la mayoría de los compradores olvidan. Un modelo fuerte puede parecer débil dentro de un arnés torpe. Un modelo débil puede parecer aceptable dentro de un arnés que hace las cosas correctas en el momento correcto.

Cuando el proveedor pida un piloto, entrégale tu tabla de puntuación. Pide las mismas tareas privadas, el mismo arnés mínimo y la misma medición de pass@1. Si se oponen, pregunta qué cambiarán antes de que comience el piloto.