Google ha suspendido la capacidad de Gemini para generar imágenes de personas tras una semana de críticas por resultados históricamente inexactos y sesgados, convirtiendo un fallo en la calidad del producto en una prueba más amplia sobre la rapidez con la que las grandes empresas tecnológicas pueden implementar IA generativa sin perder el control de los sistemas de seguridad integrados en sus modelos. El martes, el CEO Sundar Pichai comunicó a los empleados que algunas respuestas de Gemini eran «completamente inaceptables» y afirmó que la empresa realizaría cambios estructurales antes de restablecer la función.
La controversia surgió después de que los usuarios publicaran ejemplos en los que Gemini generaba representaciones raciales y de género poco creíbles para preguntas históricas. Google reconoció el problema y suspendió la generación de imágenes de personas el 22 de febrero. En una explicación detallada de la compañía, el vicepresidente sénior de Google, Prabhakar Raghavan, afirmó que el sistema había sobrecompensado la diversidad en algunas preguntas, mientras que se había vuelto excesivamente cauteloso en otras.
Un ajuste de seguridad produjo un fallo de precisión histórica
Los sistemas de generación de imágenes suelen estar configurados para reducir los resultados estereotipados o excluyentes. Google afirmó que las medidas de seguridad de Gemini tenían como objetivo evitar la repetición de sesgos presentes en sistemas de generación de imágenes anteriores, pero la implementación produjo el efecto contrario en algunos contextos históricos. El modelo generó personas que no se ajustaban al período o a la consigna y, en otros casos, rechazó peticiones inofensivas.
Associated Press , Google suspendió temporalmente la función tras la amplia difusión de ejemplos en línea. La compañía afirmó que mejoraría la precisión antes de reactivar la generación de imágenes de personas. Esta decisión es importante porque Gemini no es una demostración experimental; Google la ha posicionado como la identidad visual para el consumidor de sus productos de IA generativa más importantes.
un informe de Reuters, republicado por Yahoo Finance, la pausa se produjo apenas unas semanas después de que Google comenzara a ofrecer la generación de imágenes a través de Gemini y poco después de que Bard pasara a llamarse Gemini. Este ajustado cronograma ilustra la presión competitiva a la que se enfrenta Google en su carrera contra Microsoft y OpenAI en el ámbito de los asistentes para consumidores, la IA empresarial y las plataformas para desarrolladores.
Pichai promete cambios en los procesos de lanzamiento y evaluación
En un memorando interno publicado por Semafor, Pichai afirmó que las respuestas problemáticas, tanto en texto como en imágenes, habían ofendido a los usuarios y evidenciado parcialidad. Indicó que los equipos estaban trabajando sin descanso y describió una serie de medidas que incluían cambios estructurales, la actualización de las directrices del producto, la mejora de los procesos de lanzamiento, evaluaciones más rigurosas, la ampliación de las pruebas de penetración y recomendaciones técnicas.
Esa lista es importante porque plantea el incidente como algo más que un simple defecto en el modelo de imagen. Pichai indica que el fallo podría estar relacionado con la forma en que Google traduce las funcionalidades del modelo a productos de consumo: interpretación de las indicaciones, capas de políticas, filtros de seguridad, cobertura de pruebas y gobernanza de lanzamientos. En otras palabras, solucionar el problema podría requerir modificar el proceso que permitió que dicho resultado llegara a producción.
La compañía no ha dado una fecha concreta para la reactivación de la generación de imágenes de personas. Pichai indicó que Google espera mejoras en las próximas semanas, pero la función sigue desactivada hasta el sábado. Esto supone un retroceso significativo para una compañía que dedicó febrero a acelerar el lanzamiento público de Gemini.
La pausa se produce en medio de una expansión de Géminis inusualmente agresiva
El 8 de febrero, Google sustituyó oficialmente el nombre Bard por Gemini y presentó Gemini Advanced, basado en Ultra 1.0, además de una aplicación dedicada para Android. En el anuncio de lanzamiento, Pichai describió Gemini como un ecosistema que abarca productos de consumo, API, servicios en la nube y herramientas para desarrolladores, en lugar de un simple chatbot.
Una semana después, Google anunció Gemini 1.5, destacando una ventana de contexto que puede alcanzar 1 millón de tokens en vista previa limitada y procesar documentos extensos, vídeo, audio y grandes bases de código. Estos avances técnicos demuestran que la estrategia de producto subyacente continúa, incluso mientras una función visible para el consumidor está en pausa.
Esta tensión se está convirtiendo en un aspecto fundamental de la industria de la IA: la capacidad de los modelos avanza rápidamente, mientras que las medidas de seguridad de los productos siguen siendo difíciles de calibrar. Un sistema puede ser más capaz en razonamiento, codificación o análisis multimodal y aun así fallar porque el ajuste de políticas o las intervenciones de seguridad distorsionan resultados específicos.
La confianza se convierte en un requisito del producto, no en un problema de comunicación
El problema de Google es especialmente delicado porque el negocio principal de la empresa se basa en la recuperación de información y la confianza del usuario. Gemini se está integrando en productos que podrían influir en la búsqueda, la productividad, la publicidad y la informática móvil. Si los usuarios creen que el sistema tiene sesgos políticos o culturales, o simplemente que no es fiable en cuestiones históricas básicas, el problema puede extenderse más allá de una sola función de imagen.
La propia explicación de la compañía reconoce que la IA generativa seguirá cometiendo errores. Raghavan escribió que las alucinaciones y los resultados imperfectos siguen siendo desafíos conocidos y advirtió a los usuarios que no confiaran en Gemini para noticias de actualidad o temas delicados sin verificarlos. Esta admisión es realista, pero también pone de manifiesto la brecha entre la naturaleza probabilística de la tecnología y las expectativas depositadas en un producto informativo de la marca Google.
El objetivo inmediato de ingeniería es restaurar la generación de imágenes de personas sin recrear estereotipos ni producir escenas históricas inverosímiles. El objetivo más amplio es más complejo: crear un proceso de lanzamiento capaz de detectar cuándo una intervención de seguridad bien intencionada genera otro tipo de distorsión. A medida que Google continúa expandiendo Gemini en toda su cartera de productos, la pausa de esta semana nos recuerda que la competencia no se limita a modelos más grandes y ventanas de contexto más amplias. También se trata de si las empresas pueden lograr que esos sistemas se comporten de forma lo suficientemente predecible como para merecer la confianza necesaria para su uso masivo.
