Modal anunció el lunes 19 de octubre que planea integrar el procesador central Vera de Nvidia en su servicio de entorno de pruebas de IA, luego de que pruebas internas demostraran un rendimiento de hasta el doble que el de un sistema Intel comparable bajo cargas pesadas. El informe de la compañía describe una expansión más allá de su infraestructura x86 existente, no una conversión completa de toda la flota.

El hallazgo se refiere a los entornos informáticos donde los agentes de IA ejecutan comandos, y no a los modelos que generan sus respuestas. Modal reportó una ventaja mucho menos pronunciada cuando las tareas se ejecutaban individualmente en una máquina que, por lo demás, estaba inactiva. Por lo tanto, sus resultados respaldan una afirmación específica sobre el manejo de cargas de trabajo concurrentes, y no una conclusión general de que todas las aplicaciones de IA se ejecutarán el doble de rápido.

¿Por qué los agentes de IA necesitan algo más que GPU?

Los agentes de IA alternan entre generar instrucciones y ejecutarlas. En su análisis de arquitectura, Nvidia describe el trabajo de la CPU, que incluye la ejecución de código, la consulta de bases de datos, la recuperación de información y el procesamiento de resultados de herramientas. Estas operaciones pueden ubicarse en la ruta crítica entre las decisiones de un modelo. Los procesadores gráficos más rápidos no eliminan, por sí solos, los retrasos en el software circundante.

El reto práctico reside en compartir un servidor sin que la actividad de un cliente ralentice la de otro. La documentación de recursos indica que sus entornos aislados reservan una cantidad mínima de capacidad de procesamiento, pero pueden utilizar recursos sobrantes que superen dicha reserva. La facturación refleja el mayor valor entre la capacidad solicitada y el consumo real. Este sistema hace que el margen de capacidad disponible sea útil, pero también implica que un comportamiento predecible ante la demanda simultánea es tan importante como la velocidad en un servidor vacío.

Lo que realmente mide el índice de referencia

Modal publicó su código de prueba, denominado Agentless Agent Bench, poniendo la metodología a disposición para su análisis. El repositorio describe 50 tareas extraídas de Terminal-Bench 2.1, ejecutadas mediante soluciones predefinidas en lugar de esperar a que un modelo de lenguaje decida qué hacer. Se excluye el trabajo dependiente de la red y los contenedores se preparan y se calientan antes de la medición. Una tarea se considera completada solo después de que su paso de verificación se haya superado con éxito.

Este diseño aísla el rendimiento de la computación del host de otras fuentes de retardo. Mide tanto la latencia de las tareas secuenciales como el número de ejecuciones verificadas completadas simultáneamente en un intervalo fijo. No mide la fiabilidad con la que un modelo de IA elige el comando correcto, el tiempo de respuesta de un servicio remoto ni la experiencia completa de iniciar un nuevo entorno. Estas omisiones constituyen limitaciones metodológicas, no evidencia de que los retardos excluidos hayan desaparecido. El repositorio también proporciona una prueba que aumenta el número de CPU disponibles mientras varía el número de réplicas de tareas concurrentes. Esto integra el comportamiento de escalado en el método publicado, en lugar de reducir la evaluación a una única ejecución con poca carga.

La memoria y la contienda dan forma al resultado

Según las especificaciones de producto, Vera combina 88 núcleos Olympus personalizados con 176 subprocesos de hardware y un ancho de banda de memoria de hasta 1,2 terabytes por segundo. Nvidia la ofrece tanto como host para computación acelerada como procesador independiente. Estas son especificaciones del fabricante; no garantizan una mejora de rendimiento uniforme para todos los clientes ni para todos los programas.

La explicación técnica de Nvidia destaca el progreso sostenido cuando muchas tareas compiten por los recursos. Describe un enfoque que distribuye los recursos entre dos hilos de hardware para reducir la interferencia, junto con un subsistema de memoria diseñado para mantener los núcleos activos abastecidos de datos. Modal atribuye sus mejores resultados en servidores con alta carga a esa capacidad para soportar la contención. La distinción es importante: completar más tareas en un host con mucha carga es un logro distinto a reducir a la mitad el tiempo de ejecución de cada tarea individual.

Las pruebas independientes también tienen limitaciones

previas de Phoronix ofrecen una evaluación independiente y de primera mano de Vera, aunque no replican el experimento de Modal. El revisor Michael Larabel probó el hardware de preproducción en las oficinas de Nvidia en mayo y reportó resultados sólidos en las cargas de trabajo seleccionadas. Su declaración también explica por qué dicha revisión no puede resolver todas las dudas sobre los sistemas de producción o los costos operativos. Las pruebas se realizaron con Ubuntu, un kernel de Linux modificado y una configuración de compilador específica. Larabel no probó la instalación en diferentes distribuciones de Linux, lo que justifica la distinción entre una demostración controlada exitosa y la validación del entorno de software de cada cliente.

Nvidia limitó el alcance de las pruebas de rendimiento permitidas y solicitó que no se utilizara la monitorización de la potencia y la frecuencia del procesador mientras se realizaba la optimización, escribió Larabel. Describió el artículo como no patrocinado, pero las condiciones de la prueba seguían siendo limitadas. Ni esa revisión ni el informe de Modal proporcionan una ventaja general, establecida de forma independiente, en cuanto al coste por tarea para todas las implementaciones. Evaluar esa cuestión requiere mediciones de rendimiento y consumo energético, costes de hardware y la carga de trabajo real que se está ejecutando, en lugar de basarse únicamente en una cifra de rendimiento.

Un plan de implementación, no un cambio exclusivo

El director ejecutivo de Modal, Erik Bernhardsson, declaró a Reuters que la compañía mantendrá procesadores Intel y AMD en una flota mixta y se centrará en el hardware que mejor se adapte a ellos. Añadió que la comparación se realizó con chips ya disponibles, mientras que los procesadores de la competencia más recientes aún están por probarse. Esta decisión le proporciona a Nvidia un nuevo cliente de CPU sin que ello implique que los proveedores actuales hayan sido desplazados.

Modal afirma que la compatibilidad con el procesador Arm requiere modificaciones en su infraestructura y sistema de creación de imágenes. En su anuncio, expresa su intención de colaborar con Nvidia y proveedores de servicios en la nube, pero no proporciona una fecha de disponibilidad general. El desarrollo inmediato consiste en una expansión de hardware planificada, respaldada por un resultado de referencia publicado. Si los clientes recibirán un servicio consistentemente más rápido o facturas más bajas es una cuestión que aún está por resolverse en el futuro.