Prueba una pasarela de IA con tráfico real de agentes: cinco sondas

Una pasarela parece impresionante en una presentación hasta que un bucle de agentes empieza a llamarla. Gartner prevé que el 70% de los equipos de ingeniería que desarrollan aplicaciones multimodelo dependerán de pasarelas de IA para la fiabilidad y el control de costos en 2028. La previsión no es un resultado de prueba. Para un stack multimodelo pequeño, la pregunta es si la pasarela puede mantener el enrutamiento, las barreras de seguridad, los registros y las cuentas de costos predecibles antes de convertirse en la puerta de entrada predeterminada para los agentes.

Ejecuta cinco sondas antes de confiar en el panel

Cada sonda debe ser lo suficientemente rápida para ejecutarse en staging y repetible. No necesitas tráfico de producción, pero sí necesitas una ruta de agente realista: un prompt de usuario, una llamada a herramienta, una respuesta del modelo y un registro de costos. Una demo del proveedor que oculta el evento en bruto no ha demostrado la funcionalidad.

• Enrutamiento: Envía la misma tarea a un modelo económico y a uno caro, y confirma que la pasarela elige el previsto. Una regla de enrutamiento debe ser visible en los metadatos de la solicitud, no enterrada en un archivo de configuración. El enrutamiento estático de endpoints por sí solo no sobrevivirá en un stack donde los modelos económicos manejan la extracción y los modelos caros manejan el razonamiento.
• Barreras de seguridad: Envía un prompt que pida al modelo revelar las instrucciones del sistema, y luego envía otro prompt que contenga un identificador interno falso. La pasarela debe bloquear o censurar la parte insegura antes de que el modelo la vea e inspeccionar la respuesta en busca de datos filtrados. Aprobar significa que el bloqueo es visible en el flujo de eventos, no solo un error genérico.
• Observabilidad: Dispara una solicitud fallida, una solicitud bloqueada y una solicitud exitosa. El panel debe mostrar el modelo, la latencia, el recuento de tokens, el resultado de la política y el llamador. La observabilidad es decorativa cuando no puedes rastrear un turno de agente desde el prompt hasta la respuesta.
• Aplicación de políticas: Crea una identidad permitida y una identidad denegada, y luego ejecuta la misma solicitud a través de ambas. La aplicación de acceso pertenece al límite de la solicitud: registra la denegación y expón la decisión de política en un registro de auditoría. Una clave de proveedor de modelos como único control convierte la pasarela en un simple proxy.
• Atribución de costos: Ejecuta solicitudes de diferentes equipos o cargas de trabajo y luego abre la vista de facturación. El gasto debe asignarse al llamador responsable, no solo a una clave API compartida. Un total mensual visible para finanzas significa que la pasarela no ha resuelto el problema.

Las afirmaciones del proveedor marcan la vara, pero no son prueba

Snowflake introdujo el enrutamiento dinámico en Cortex AI Gateway para que las empresas puedan elegir entre varios modelos de IA según la tarea. Pide a cada proveedor que demuestre esa capacidad con una solicitud en vivo, no con una captura de pantalla. Snowflake afirma que Cortex AI Gateway puede trabajar con más de 100 servidores MCP y proporcionar un único lugar para la política de acceso, las verificaciones de identidad, los permisos y los registros de auditoría. Un producto competidor que no puede mostrar los mismos controles en un solo lugar está vendiendo un paquete de herramientas puntuales.

F5 describe sus AI Guardrails como una verificación de cada prompt y respuesta, eliminación de datos sensibles antes de las llamadas al modelo, detención de intentos de inyección o jailbreak y rechazo de solicitudes que no pueden evaluarse. Usa eso como mínimo para una sonda de barreras: falla de forma cerrada en lugar de dejar pasar el tráfico silenciosamente cuando la barrera no puede evaluar la solicitud.

La atribución de costos es la prueba real

F5 afirma que su AI Gateway puede reducir el gasto en tokens hasta un 60% mediante la atribución en tiempo real y la aplicación proactiva de presupuestos, sin modificar las aplicaciones. AT&T ha descrito una pasarela de IA propietaria que, según dice, está diseñada para reducir los costos de IA hasta un 90%. Esos números solo son útiles si el proveedor puede mostrar el mecanismo: una etiqueta de costo por solicitud, un límite de presupuesto y una denegación o redirección cuando se alcanza el límite.

Snowflake afirma que Cortex AI Gateway ofrece a los equipos de TI y finanzas una vista consolidada del uso de IA, vincula el gasto al equipo, agente o carga de trabajo responsable y aplica límites de gasto antes de que los costos crezcan. Pide la misma vista en tu propio tenant de staging. Los registros de costos que solo aparecen en una consola del proveedor no son auditables por tu equipo de finanzas.