Prueba agentes de código en tareas largas de Android

Estás eligiendo un agente de código para trabajo en Android que trasciende una demo: una compilación, un port o una migración que afecta pantallas, estado y dependencias. Ejecuta una tarea de largo alcance de tu backlog, evalúa la tasa de finalización e inspecciona dónde se atasca el agente. No compres por un clip de demo.

Las tareas de largo alcance revelan la diferencia entre un modelo que edita código y un agente que lleva una compilación a través de pantallas, estados y regresiones. Android Bench 2.0 evalúa tareas de Android de largo alcance que pueden requerir varios días o una semana de trabajo de ingeniería.

La mejor tasa de superación a largo plazo reportada para Android Bench 2.0 es de aproximadamente 28 %, mientras que las tareas originales del benchmark tenían una tasa de superación cercana al 91 %. GPT-6 Astra de OpenAI lidera el ranking de Android Bench 2.0. El ranking es un punto de partida, no una lista de compras.

Elige la tarea antes de confiar en el agente

Elige una tarea real de Android de tu backlog, no un ejemplo trivial. Necesita suficiente superficie para forzar la navegación entre pantallas, estado y dependencias. Comienza con un repositorio, un estado objetivo y una breve descripción del resultado visible para el usuario.

Congela el repositorio de partida antes de que el agente lo toque. Captura la compilación de referencia, los defectos conocidos y las pantallas que compararás más tarde. Una rama limpia, una lista de dependencias fijada y un conjunto de capturas de pantalla de los flujos afectados hacen que la ejecución sea auditable.

Define la puntuación de finalización antes de ejecutar nada. Mantén las comprobaciones visibles: funcionalidad, fidelidad visual y regresiones. Asigna a cada comprobación una columna y una nota de ponderación, para que la puntuación no sea una impresión.

No dejes que el agente declare el éxito. Si dice que está hecho, detente y evalúalo contra tu rúbrica. Trata el ejercicio como un arnés de pruebas para herramientas de IA, no como un escenario de actuación.

Conserva el registro de ejecución. Anota dónde el agente pide ayuda, adivina o se rinde. Una breve nota de fallo vale más que una pantalla final pulida.

Evalúa la finalización, no una insignia de aprobado/reprobado

Ejecuta el agente en la tarea completa, no en un fragmento recortado. Déjalo trabajar a través de la compilación, las ediciones y los pasos de verificación. Necesitas un diff final, un registro de compilación y capturas de pantalla o grabaciones de la app terminada.

Evalúa la funcionalidad contra el resultado visible para el usuario. Recorre los flujos requeridos, los estados vacíos y los estados de fallo. Marca cada comportamiento requerido como aprobado, parcialmente aprobado o reprobado.

Compara la fidelidad visual contra las capturas de pantalla congeladas. Revisa el espaciado, la alineación, los cambios de estado y el desplazamiento del diseño. Una comparación lado a lado debe nombrar qué cambió y por qué importa.

Audita las regresiones contra la línea base. Vuelve a ejecutar los flujos que funcionaban antes de que el agente empezara. Lista las pantallas o flujos que se rompieron, con severidad y pasos de reproducción.

Combina las comprobaciones en una tasa de finalización continua. Android Bench 2.0 utiliza una tasa de finalización continua que combina funcionalidad, fidelidad visual y evitación de regresiones. La puntuación debe ser un número comparable entre agentes, no una insignia de sí o no.

Deja que la fila de fallos decida la compra

Asocia tu trabajo a un patrón de fallo: transformación determinista, nueva funcionalidad, migración arquitectónica, validación en tiempo de ejecución o port multiplataforma. Adjunta esa etiqueta de fila a cada resultado de prueba.

Las refactorizaciones mecánicas encajan en transformación determinista. Una nueva pantalla con nuevo estado encaja en nueva funcionalidad. Si tu trabajo se mueve entre arquitecturas o plataformas, elige la fila que coincida con ese movimiento.

Compara agentes en esa fila, no en el agregado. El trabajo de migración de rutina puede extenderse a más de 125 archivos y 8.000 líneas, mientras que las tareas que implican validación en tiempo de ejecución, cambios rompedores en el framework o bibliotecas no publicadas son más difíciles para los modelos. Ningún modelo supera por completo las tareas de port de Android multiplataforma, y los mejores modelos de frontera se quedan en una tasa de finalización del 80 % en esas tareas.

Combina el modelo con el arnés de agente que realmente usarías. Android Bench 2.0 incluyó evaluaciones de agentes emparejadas con herramientas del proveedor, incluyendo GPT 5.6 Sol con Codex y Gemini 3.8 Flash con Google Antigravity. El resultado es útil cuando refleja tus herramientas, no un modelo aislado.

Repite el arnés con otra tarea de la misma fila. La decisión es defendible cuando tienes tasas de finalización emparejadas, notas de fallo emparejadas y una razón para elegir.