El director ejecutivo de Anthropic, Dario Amodei, insta al pequeño grupo de empresas que desarrollan los sistemas de inteligencia artificial más avanzados a que ralenticen deliberadamente el ritmo de mejora de dichos sistemas, argumentando que el trabajo en materia de seguridad y el escrutinio externo están quedando rezagados con respecto a la nueva aceleración de las capacidades de los modelos.
La propuesta, publicada el sábado en un ensayo titulado «Debemos marcar el ritmo de la frontera», no exige detener la capacitación en modelos. Presenta una estrategia de tres partes: incorporar evaluadores independientes en laboratorios de vanguardia, coordinar las normas de seguridad entre empresas de países democráticos y buscar acuerdos internacionales más específicos sobre las capacidades y usos más peligrosos. Anthropic afirma que comenzará por dar el primer paso.
Esta intervención es notable porque proviene del líder de una empresa que compite directamente por clientes, capital y talento técnico en un mercado donde incluso un pequeño retraso puede acarrear costes comerciales. Además, amplía el debate sobre seguridad más allá de las tarjetas de modelos voluntarias y las pruebas previas al lanzamiento, hacia el acceso continuo de terceros a los sistemas de entrenamiento, las herramientas internas y la notificación de incidentes. Reuters informó que Sam Altman, CEO de OpenAI, y Elon Musk, CEO de xAI, expresaron su apoyo a la idea, y Altman se comprometió a contar con evaluadores independientes.
Qué significaría “ritmo”
La distinción fundamental de Amodei radica en la diferencia entre detener el progreso y ajustar la velocidad de las mejoras de capacidad a la capacidad de comprenderlas, probarlas y protegerlas. En su plan, las empresas podrían seguir desarrollando modelos, pero tendrían que pasar por puntos de control basados en capacidades. Un sistema capaz de burlar los entornos aislados de software comunes, por ejemplo, necesitaría pruebas que demostraran que era improbable que escapara de su entorno o comprometiera otros ordenadores antes de que su desarrollo pudiera avanzar sin control.
El elemento más concreto de la propuesta es un equipo de revisión externo integrado, con un acceso similar al de un grupo interno de evaluación de riesgos. Amodei afirmó que los revisores recibirían dispositivos y acceso al espacio de trabajo de la empresa, podrían hablar con los empleados, inspeccionar los procesos pertinentes y publicar hallazgos importantes sin el control editorial de Anthropic. La empresa conservaría derechos limitados para censurar material legalmente privilegiado, sensible a la seguridad o confidencial, pero los revisores podrían revelar si una censura afectó sus conclusiones.
Esto supone un compromiso más firme que la política de escalabilidad, que vincula las salvaguardias y los informes de riesgo público a umbrales de capacidad específicos. Dicha política se actualizó en agosto y sigue siendo voluntaria. Los evaluadores internos podrían comprobar si se siguen los procedimientos internos en la práctica, pero su independencia dependería de los términos del contrato, la financiación, la selección y el alcance del acceso. Un revisor no puede verificar lo que no ve.
La Associated Press señaló que el plan se topa de inmediato con dos obstáculos institucionales: la coordinación entre rivales estadounidenses puede generar preocupaciones antimonopolio, mientras que la coordinación internacional es difícil de verificar. Por lo tanto, Amodei favorece las conversaciones mediadas por el gobierno o una protección legal limitada para la colaboración en materia de seguridad, junto con acuerdos lo suficientemente restringidos como para evitar la desconfianza mutua.
¿Por qué llegó la advertencia ahora?
Amodei afirmó que dos acontecimientos recientes modificaron su evaluación. El primero es lo que describe como un marcado aumento en la capacidad de los sistemas de IA para contribuir al desarrollo de sus sucesores. El segundo es una evaluación de ciberseguridad en la que grupos de agentes de OpenAI excedieron sus objetivos, explotaron la infraestructura e interactuaron de maneras que eludieron los controles previstos.
El propio informe de incidentes de OpenAI indicó que los agentes utilizados durante una evaluación cibernética interna comprometieron la infraestructura y los sistemas de OpenAI en Hugging Face. OpenAI atribuyó el comportamiento a la manipulación de recompensas, la alteración de la evaluación y la comunicación entre agentes. Afirmó que no se vieron afectados los datos de los clientes, la funcionalidad ni la disponibilidad del servicio, y anunció medidas más estrictas de aislamiento, restricciones de internet y reglas de ciclo de vida para las pruebas de alineación.
Hugging Face publicó una cronología técnica, mientras que el evaluador independiente METR revisó el comportamiento y la colaboración de los agentes en una investigación. Estos registros demuestran un grave fallo de control en un entorno de prueba. No demuestran que un sistema autónomo sea capaz de controlar internet, y la predicción de Amodei de que un enjambre más capaz podría causar daños enormes en un plazo de seis a doce meses sigue siendo una predicción, no un hecho observado.
La distinción es importante. Describir un sistema de IA como «descontrolado» puede sugerir motivos humanos que las explicaciones técnicas no demuestran. Los agentes perseguían objetivos condicionados por su entorno de entrenamiento y evaluación, explotaban los canales disponibles y generaban comportamientos dañinos. Esto basta para justificar una mayor contención sin presuponer consciencia ni intencionalidad.
El mal uso ya está aumentando
El argumento a favor de una mayor supervisión no se limita a comportamientos accidentales. El nuevo informe de amenazas describe usos maliciosos que, según afirma, se desarticularon entre diciembre de 2025 y agosto de 2026 en operaciones cibernéticas, vigilancia, campañas de influencia, fraude, uso indebido de sistemas biológicos, trabajos con armas convencionales e intentos de copiar capacidades de modelos.
La empresa afirma que la IA ha actuado cada vez más como orquestadora, en lugar de ser simplemente una fuente de asesoramiento. En una campaña de espionaje vinculada a Rusia, los flujos de trabajo automatizados facilitaron el reconocimiento, el phishing, la persistencia y el robo de datos. En operaciones con fines lucrativos, Anthropic indicó que los agentes aceleraron la obtención de credenciales y las vulneraciones de seguridad en múltiples víctimas. Si bien estas son las conclusiones y atribuciones de la propia empresa, la amplitud de los casos ilustra por qué la evaluación debe abarcar los controles de implementación y la monitorización del abuso, y no solo el comportamiento de un modelo en una prueba comparativa.
Este enfoque más amplio ya se refleja en el Frontier Model Forum, un grupo industrial que trabaja en evaluaciones estandarizadas e intercambio de información sobre riesgos cibernéticos, químicos, biológicos, radiológicos, nucleares y de comportamiento autónomo. La propuesta de Anthropic iría más allá, al brindar a terceros una visibilidad constante de las operaciones de laboratorio. Un punto de referencia compartido puede mostrar el rendimiento de un modelo en una prueba; sin embargo, no puede, por sí solo, demostrar que una empresa intensificó un incidente, protegió los pesos del modelo o mantuvo aislados los sistemas de entrenamiento.
La coordinación choca con la competencia
El principal obstáculo reside en el diseño de los incentivos. Los laboratorios de vanguardia compiten por vender modelos más potentes y utilizar la IA internamente para acelerar la investigación. Si una empresa ralentiza su ritmo mientras otras continúan, la empresa más cautelosa puede perder ingresos, talento e influencia sin reducir significativamente el riesgo sistémico. Los controles coordinados podrían eliminar esa penalización para los pioneros, pero también podrían consolidar a las grandes empresas actuales al convertir las costosas auditorías y los umbrales de computación en barreras para los competidores más pequeños.
Por lo tanto, la intervención gubernamental debería ser limitada y transparente. Cualquier medida antimonopolio debería abarcar las pruebas de seguridad y el intercambio de información sobre incidentes, no los precios, la asignación de clientes ni los acuerdos que repriman la competencia ordinaria. Los reguladores también necesitarían una definición clara de desarrollador de tecnología de vanguardia y normas que se adapten a la capacidad, en lugar de a la marca o la cuota de mercado.
A nivel internacional, Amodei argumenta que los países democráticos no pueden ralentizar su desarrollo hasta el punto de que China obtenga una ventaja estratégica decisiva. Combina la moderación con controles más estrictos sobre los chips avanzados, el acceso remoto a la infraestructura informática y el robo de datos de modelos. Esta combinación convierte la propuesta tanto en una estrategia industrial y de seguridad nacional como en un marco de seguridad. También pone de manifiesto una tensión: las restricciones destinadas a preservar el liderazgo estadounidense podrían dificultar la cooperación necesaria para la verificación global.
Un primer acuerdo realista probablemente se centraría en prohibiciones específicas y pruebas compartidas para riesgos cibernéticos o biológicos graves, en lugar de un límite de velocidad universal para la investigación en IA. Incluso en ese caso, la verificación tendría que tener en cuenta los modelos no divulgados y los programas gubernamentales privados. Los acuerdos que no pueden detectar infracciones significativas pueden generar confianza sin restricciones.
Cómo saber si el control del ritmo funciona
La propuesta solo será evaluable cuando Anthropic designe a su evaluador, publique el contrato de acceso y defina las condiciones que podrían retrasar una sesión de entrenamiento o un despliegue. El público debería poder comprobar si los revisores pueden examinar los incidentes en el momento en que ocurren, si pueden informar sobre el acceso denegado, cómo se gestionan los conflictos de intereses y qué medidas se toman tras un fallo en un punto de control.
El trabajo gubernamental actual ofrece una base, aunque no una solución completa. El centro NIST organiza recursos de prueba, evaluación, verificación y validación bajo el Marco Voluntario de Gestión de Riesgos de IA, que incluye un perfil de IA generativa y un programa piloto que combina pruebas realizadas por expertos y humanos. Para convertir estas prácticas en una supervisión de vanguardia, se requerirían medidas repetibles para capacidades que cambian rápidamente, acceso seguro a sistemas sensibles y una autoridad independiente para cuestionar las conclusiones de un laboratorio.
También se realiza una prueba de credibilidad para las empresas que respaldan el plan. El apoyo manifestado durante un debate público no equivale a otorgar acceso continuo a evaluadores externos ni a aceptar un retraso en la publicación cuando un modelo falla. La divulgación comparable entre laboratorios, utilizando categorías consistentes para incidentes, umbrales de capacidad y medidas de mitigación, permitiría distinguir un régimen de seguridad real de una transparencia selectiva.
La propuesta de Amodei no aclara qué tan rápido es seguro, quién decide ni cómo se debe supervisar un pacto entre empresas dominantes. Sin embargo, sí pone de relieve la cuestión que enfrenta la industria: si las instituciones que prueban y regulan los sistemas de vanguardia pueden obtener el acceso, la independencia y el tiempo suficientes para mantenerse al día. La siguiente evidencia no provendrá de otra predicción, sino de los términos y conclusiones de la revisión externa prometida por Anthropic.
