Esta semana, OpenAI presentó Sora, un modelo de inteligencia artificial generativa capaz de producir vídeos de hasta 60 segundos a partir de textos, ampliando así el trabajo de la compañía, que antes se centraba en texto e imágenes fijas, a escenas en movimiento más largas y con gran nivel de detalle. El modelo aún se encuentra en fase de investigación y no es un producto público, y su acceso está restringido a artistas visuales, cineastas, diseñadores y evaluadores de seguridad seleccionados, mientras OpenAI evalúa sus capacidades y riesgos.

En un informe técnico publicado el jueves, OpenAI describe a Sora como un transformador de difusión entrenado conjuntamente con vídeos e imágenes de diferentes duraciones, resoluciones y relaciones de aspecto. La compañía afirma que su modelo más avanzado puede generar un minuto de vídeo de alta fidelidad y también animar imágenes fijas, extender vídeos existentes hacia adelante o hacia atrás y realizar algunas tareas de edición de vídeo.

De tokens de lenguaje a parches visuales

La arquitectura de Sora toma prestada una idea central de los grandes modelos de lenguaje: representar información diversa en unidades estandarizadas que puedan procesarse a gran escala. En lugar de tokens de texto, el modelo representa datos visuales comprimidos como "parches espaciotemporales". OpenAI afirma que esto permite que un solo sistema aprenda de vídeos e imágenes con múltiples dimensiones, en lugar de estar limitado a clips de duración fija o a una única resolución.

de Sora , el sistema combina un proceso de difusión con una arquitectura de transformador. Comienza con ruido visual y lo transforma progresivamente en vídeo, procesando múltiples fotogramas de forma que se preserven los sujetos incluso cuando salen temporalmente del campo de visión de la cámara.

OpenAI también utiliza una técnica de recaptura desarrollada para DALL·E 3. Un modelo de subtitulado crea descripciones más completas de los vídeos de entrenamiento, y GPT puede ampliar una breve indicación del usuario para convertirla en instrucciones más detalladas antes de su generación. El objetivo es mejorar la capacidad del modelo para seguir indicaciones que incluyen sujetos, escenario, movimiento de la cámara y estilo visual.

La generación de un minuto eleva el nivel de competitividad

Si bien ya existen sistemas de conversión de texto a video de empresas como Runway, Meta y Google, los primeros ejemplos de Sora destacan por su duración y aparente coherencia visual. En un avance publicado por Wired el 15 de febrero, se describió el modelo como capaz de producir secuencias fotorrealistas de hasta un minuto de duración, aunque se hizo hincapié en que, por el momento, solo se está mostrando a un pequeño grupo de creadores e investigadores de seguridad.

El reportaje de Engadget destacó ejemplos que iban desde escenas urbanas nevadas hasta mamuts lanudos, así como la capacidad del modelo para generar una secuencia completa en lugar de simplemente unir clips cortos. Las demostraciones sugieren un progreso significativo en la consistencia temporal, uno de los principales problemas técnicos del vídeo generado.

No hay que confundir ese progreso con la comprensión física. El propio informe de OpenAI indica que Sora puede fallar en la relación causa-efecto básica, la permanencia del objeto y la física del mundo real. Una persona generada puede morder la comida sin dejar las marcas esperadas, los objetos pueden aparecer espontáneamente y las interacciones complejas pueden volverse incoherentes. El sistema puede crear escenas visualmente convincentes, pero aún así no comprende la mecánica de lo que representa.

El producto aún no es público por decisión propia

OpenAI está adoptando un enfoque de lanzamiento más cauteloso que el que utilizó con ChatGPT. informes de Associated Press , Sora no está disponible para el público en general y la compañía ha divulgado información limitada sobre el corpus de entrenamiento subyacente. El público está viendo ejemplos seleccionados, no un servicio que cualquiera pueda probar libremente.

La compañía afirma que está dando acceso a expertos en desinformación, contenido de odio y sesgos, así como a artistas y cineastas cuyos comentarios pueden identificar tanto aplicaciones creativas como modos de fallo. OpenAI está desarrollando un clasificador de detección diseñado para reconocer vídeos generados por Sora y afirma que podría utilizar estándares de procedencia como los metadatos C2PA si el modelo se implementa en un producto.

El momento es delicado, ya que los vídeos sintéticos realistas llegan en un año de importantes elecciones en todo el mundo. El riesgo no se limita a discursos políticos falsificados. Las grabaciones generadas podrían utilizarse para suplantación de identidad, fraude, acoso, falsificación de pruebas o representaciones engañosas de hechos reales. El informe de lanzamiento de The Guardian señaló que OpenAI está intentando evaluar estos riesgos antes de su lanzamiento generalizado.

Sora también se ve envuelta en un debate legal aún sin resolver sobre el material utilizado para entrenar modelos generativos. OpenAI no ha proporcionado un inventario detallado de los vídeos e imágenes utilizados para Sora. Según informes recientes, la empresa ha descrito el corpus en términos generales, indicando que incluye material disponible públicamente y con licencia.

Es probable que esto genere críticas por parte de cineastas, fotógrafos, editores y otros titulares de derechos. Las empresas de IA generativa ya se enfrentan a demandas judiciales sobre si se puede utilizar material protegido por derechos de autor para el entrenamiento sin autorización y sobre si los resultados de los modelos pueden reproducir expresiones protegidas. El vídeo añade otra dificultad, ya que el material de entrenamiento puede incluir cinematografía, actuaciones, personajes, música y otros derechos.

El potencial creativo del modelo es considerable. Un cineasta podría crear prototipos de escenas antes del rodaje, un publicista podría generar material conceptual, un estudio de videojuegos podría probar entornos o un educador podría visualizar situaciones difíciles de filmar. Sora también acepta imágenes y vídeos existentes como entrada, lo que sugiere usos que van más allá de la simple generación de texto a vídeo.

Un avance de la investigación con implicaciones que van más allá del vídeo

OpenAI presenta a Sora como algo más que una herramienta multimedia. Sus investigadores argumentan que escalar el vídeo generativo podría ser el camino hacia modelos que aprendan representaciones útiles del mundo físico. El artículo de investigación señala comportamientos emergentes, como el movimiento consistente de la cámara y algunas formas de interacción con objetos, si bien reconoce con cautela que estas capacidades aún son incompletas.

Esa afirmación requerirá pruebas independientes sustanciales. Generar píxeles plausibles no es lo mismo que comprender la física, la causalidad o la intención humana, y los errores visualmente convincentes de Sora pueden dificultar que los usuarios perciban esas distinciones. El modelo puede parecer experto incluso cuando la simulación subyacente es errónea.

Por ahora, la importancia de Sora radica en la brecha que parece cerrar entre los clips de IA cortos e inestables y las secuencias cinematográficas más largas. OpenAI ha demostrado un sistema capaz de generar un minuto de vídeo a partir del lenguaje y está limitando el acceso generalizado mientras prueba las consecuencias. Que Sora se convierta en una plataforma creativa de uso generalizado dependerá no solo de la calidad visual, sino también del coste, la velocidad, las normas de derechos de autor, la procedencia y la capacidad de los sistemas de seguridad para adaptarse a los medios sintéticos cada vez más convincentes.