Meta lanzó el jueves los primeros modelos de su familia Llama 3, presentando versiones con 8.000 millones y 70.000 millones de parámetros, entrenadas con más de 15 billones de tokens, y los incorporó de inmediato a una de las competencias más dinámicas del sector tecnológico: la carrera por poner a disposición de desarrolladores y consumidores una inteligencia artificial generativa cada vez más potente. El comunicado técnico indica que los dos modelos iniciales están disponibles en versiones preentrenadas y optimizadas, mientras que un modelo mucho mayor, con más de 400.000 millones de parámetros, continúa en fase de entrenamiento.
Este lanzamiento es trascendental porque Meta está siguiendo dos estrategias de distribución simultáneamente. Por un lado, pone Llama 3 a disposición de los desarrolladores bajo la licencia comunitaria de la compañía, y por otro, lo utiliza para potenciar un asistente de IA Meta más avanzado en Facebook, Instagram, WhatsApp, Messenger y una experiencia web independiente. El anuncio de Meta del 18 de abril indica que el asistente se está expandiendo más allá de Estados Unidos a más de una docena de países, integrando Llama 3 en productos de consumo con miles de millones de usuarios.
Dos tamaños de modelo, un conjunto de entrenamiento mucho más grande
La versión inicial de Llama 3 consta de los modelos 8B y 70B, cada uno disponible en variantes base y optimizada para instrucciones. La ficha oficial del modelo 8B describe un transformador autorregresivo entrenado con una nueva combinación de datos públicos disponibles en línea, con una longitud de contexto de 8000 tokens y más de 15 billones de tokens de preentrenamiento. El modelo de instrucciones 70B utiliza la misma arquitectura general, con ajuste fino supervisado y aprendizaje por refuerzo a partir de la retroalimentación humana aplicados a la versión optimizada.
Meta afirma que el corpus de preentrenamiento es más de siete veces mayor que el utilizado para Llama 2 e incluye cuatro veces más código. La compañía también introdujo un tokenizador con un vocabulario de 128 000 tokens, diseñado para codificar el lenguaje de forma más eficiente, y entrenó los modelos en dos clústeres personalizados de 24 000 GPU. Estas decisiones de ingeniería son importantes porque la calidad del modelo depende no solo del número de parámetros, sino también del volumen y la composición de los datos de entrenamiento, la tokenización, los métodos posteriores al entrenamiento y la infraestructura disponible para ejecutar experimentos a gran escala.
Los distribuidores independientes actuaron con rapidez. La nota de lanzamiento indica que las cuatro variantes principales (dos modelos básicos y dos modelos optimizados para instrucciones) estaban disponibles a través de su plataforma el día del lanzamiento, junto con Llama Guard 2. Amazon Web Services también puso Llama 3 a disposición a través de SageMaker JumpStart el 18 de abril, con un anuncio de AWS que indicaba su disponibilidad inicial en las regiones de EE. UU., Europa y Asia.
Meta convierte su asistente de IA en un motor de distribución
La estrategia de consumo puede ser tan importante como el lanzamiento del modelo en sí. Meta AI se está integrando directamente en los cuadros de búsqueda, chats y feeds de las principales aplicaciones de la compañía. Los usuarios pueden activar el asistente sin salir de WhatsApp o Messenger, hacer preguntas mientras navegan por Facebook o Instagram y generar imágenes mediante la función Imagine de Meta. La compañía también está lanzando una plataforma web para Meta AI, lo que le proporciona una interfaz directa más comparable a la de los asistentes independientes de otras empresas de IA.
Esta distribución le otorga a Meta una ventaja inusual: no necesita convencer a los usuarios de instalar una nueva aplicación antes de presentarles el modelo. En cambio, Llama 3 puede integrarse en los servicios que la gente ya utiliza. Meta afirma que el asistente proporcionará información en tiempo real desde la web y estará disponible inicialmente en inglés en mercados como Australia, Canadá, Ghana, Jamaica, Malawi, Nueva Zelanda, Nigeria, Pakistán, Singapur, Sudáfrica, Uganda, Zambia y Zimbabue.
Este enfoque también crea un ciclo de retroalimentación entre las estrategias de Meta para desarrolladores y consumidores. Los desarrolladores pueden adaptar los modelos subyacentes a sus propias aplicaciones, mientras que Meta puede operar la misma familia de modelos a una escala de consumo enorme. Esto contrasta con una estrategia de modelos puramente propietarios, en la que el acceso se limita principalmente a la aplicación o API del proveedor.
Las herramientas de seguridad pasan a formar parte del paquete de lanzamiento
Meta combina los nuevos modelos con herramientas de seguridad adicionales. La descripción de su lanzamiento responsable detalla los pasos seguidos antes del lanzamiento y destaca los recursos para desarrolladores destinados a reducir los usos inseguros. La versión técnica de Llama 3 presenta Llama Guard 2, Code Shield y CyberSec Eval 2, herramientas diseñadas respectivamente para clasificar contenido inseguro, identificar código vulnerable y evaluar los riesgos de ciberseguridad.
Las fichas de modelos de la empresa también describen las limitaciones que los desarrolladores deben tener en cuenta. La versión de abril está diseñada principalmente para textos en inglés, y los modelos tienen límites de conocimiento fijos: marzo de 2023 para la versión 8B y diciembre de 2023 para la versión 70B. Al igual que otros modelos de lenguaje de gran tamaño, pueden generar resultados incorrectos o engañosos, y los desarrolladores posteriores siguen siendo responsables de probar su comportamiento en los entornos específicos donde los implementan.
El modelo de licencias es amplio, pero no ilimitado. La licencia comunitaria de Meta para Llama 3 permite el uso comercial y de investigación bajo condiciones específicas, a la vez que impone requisitos adicionales para plataformas muy grandes y prohíbe los usos que infrinjan la política de uso aceptable de la empresa. Esta estructura da continuidad al esfuerzo de Meta por posicionar a Llama como una herramienta ampliamente accesible sin que los recursos se conviertan en un software de dominio público.
La cuestión competitiva pasa del acceso al rendimiento
La afirmación inicial de Meta es que las versiones optimizadas para instrucciones son competitivas con los principales modelos de código abierto en pruebas de rendimiento comunes para razonamiento, codificación y seguimiento de instrucciones. Los resultados de las pruebas de rendimiento son indicadores útiles, pero incompletos, del desempeño en el mundo real, especialmente porque los sistemas prácticos dependen de la recuperación, las indicaciones, el ajuste fino, la latencia, el costo y los controles de seguridad, además de las puntuaciones del modelo.
Sin embargo, la combinación de disponibilidad y distribución de modelos transforma el panorama competitivo. Los desarrolladores pueden descargar o implementar Llama 3 a través de múltiples proveedores de infraestructura, en lugar de depender de una única API alojada. El soporte de AWS para SageMaker el mismo día y la integración de Hugging Face reducen el trabajo operativo necesario para probar los modelos. Meta afirma que se planea ampliar la disponibilidad a través de Microsoft Azure, Google Cloud, Databricks, IBM WatsonX, NVIDIA NIM, Snowflake y otros socios.
La pregunta clave es qué sucederá después del lanzamiento de los modelos 8B y 70B. Meta afirma que aún se está entrenando un modelo con más de 400 mil millones de parámetros y que el primer lanzamiento de Llama 3 es solo el comienzo. Hasta el sábado, el desarrollo tangible ya es considerable: Meta ha lanzado dos nuevos tamaños de modelo, los ha puesto a disposición de un amplio ecosistema de desarrolladores y, simultáneamente, ha integrado Llama 3 como asistente de IA en sus plataformas de consumo. La siguiente etapa pondrá a prueba si esta combinación de distribución abierta, despliegue a gran escala e iteración rápida del modelo se traduce en una ventaja duradera en la IA generativa.
