Leer benchmarks de proveedores: 3 preguntas, 99,9% vs 62,7% de Astra
Audita los benchmarks de IA de los proveedores antes de comprar: verifica el ejecutor, el arnés, el cierre de la tarea, la línea base humana y el costo.
Lee un benchmark de un proveedor como una afirmación sobre un ejecutor, un arnés y una tarea específicos, no como una puntuación general de capacidad. GPT-6 Astra hizo visible la brecha: OpenAI destacó un resultado del 99,9% en ARC-AGI-3 con su arnés Provider Adapter, mientras que el arnés Standard de ARC Prize, neutral respecto al proveedor, produjo un 62,7% para el mismo modelo con esfuerzo máximo. Pregunta quién lo ejecutó, qué arnés se utilizó y si la tarea es de respuesta cerrada antes de dejar que el número mueva tu decisión.
OpenAI puso Astra a disposición el 3-4 de septiembre, y su presidente, Greg Brockman, describió el lanzamiento como AGI. La puntuación más alta vino con un costo reportado menor: la ejecución con Provider Adapter costó $18,817, mientras que la ejecución estándar costó $26,098. La política de ARC Prize permite dos condiciones de evaluación y exige que cada resultado se etiquete según el arnés utilizado.
La dispersión es la primera pista
La dispersión muestra dónde cambiaron el ejecutor, el arnés y la tarea. ARC Prize caracterizó ARC-AGI-3 como determinista y de respuesta cerrada, y señaló que no alcanza la complejidad del mundo real.
La página de lanzamiento de Grok 4.6 de xAI es una segunda advertencia. Presentó una tabla de evaluación de diez filas con cuatro columnas de modelos y reportó Grok 4.6 en un 26% de tareas en Terminal-Bench v3.0, una cifra exclusiva del proveedor porque el modelo no figuraba en el tablero público de Terminal-Bench v3.0 en ese momento. El sesgo de la tabla no provenía de números fabricados; provenía de cuatro decisiones de selección: versión del benchmark, subconjunto de tareas, forma de la métrica y qué rivales se incluyeron.
La auditoría convierte un número de lanzamiento en una pregunta de adquisición
Mantén esta lista cerca del documento práctico de adquisición. Cada elemento es una verificación rápida, no un proyecto de investigación largo.
- ¿Quién lo ejecutó? Un número ejecutado por el proveedor es una afirmación sobre su configuración; un ejecutor independiente te da otro punto de datos. Si el modelo no aparece en un tablero público, pregunta por qué.
- ¿Qué arnés? El arnés del benchmark importa porque cambia la puntuación y el costo; si el proveedor no lo nombra, el número está subespecificado.
- ¿La tarea es de respuesta cerrada? Una prueba determinista y de respuesta cerrada puede saturarse rápidamente y puede no coincidir con tu flujo de trabajo.
- ¿Cuál es la línea base humana? Una línea base tomada de miembros del público no seleccionados es un mínimo, no un máximo, y puede no cubrir tu trabajo.
- ¿Cuál es el costo y el esfuerzo? Una ejecución de benchmark puede implicar un gran costo, y un modelo puede usar menos acciones que los humanos y aun así fallar en tu tarea.
Usa la lista en orden. Si falta una respuesta, detente y trata el número como una afirmación de demostración, no como un hecho de adquisición.
La línea base y la factura son parte del número
La línea base humana de ARC-AGI-3 provino de unos 500 miembros del público, no seleccionados por su habilidad para resolver acertijos, y los humanos pueden resolver cada entorno del benchmark. En eficiencia de acciones, Astra superó la línea base humana en el 96,0% de los niveles usando menos acciones, y promedió un 51,7% menos de acciones por nivel.
ARC Prize declaró que saturar ARC-AGI-3 no demostraría AGI y que no estaba afirmando que GPT-6 Astra sea AGI. Varios modelos de frontera obtienen más del 88% en MMLU, por lo que el benchmark está saturado y es menos útil para decidir qué modelo manejará una carga de trabajo de producción específica. Una prueba saturada puede hacer que una elección débil parezca segura, así que verifica la tarea antes de verificar la puntuación.
Los precios pueden moverse de forma independiente a las puntuaciones de benchmark. Anthropic redujo el precio de entrada en caché de Claude Fable 5.1 de $1.00 a $0.25 por millón de tokens, un recorte del 75%. El costo de un benchmark no es lo mismo que el costo de producción, pero te indica si el proveedor está dispuesto a pagar por la medición.
Mantén el arnés junto a la puntuación. Antes de comprar, realiza una pequeña verificación interna con tus propios datos. Elige algunas tareas que ya realizas, escribe la salida esperada y compara la respuesta del modelo con una respuesta humana. Guarda el prompt, la versión del modelo y el costo por ejecución. Eso te da un número que pertenece a tu flujo de trabajo, no a la página de lanzamiento de un proveedor.
