SAN FRANCISCO — OpenAI publicó esta semana una versión preliminar pública de ChatGPT, un sistema de inteligencia artificial conversacional diseñado para responder preguntas de seguimiento, reconocer errores, cuestionar premisas incorrectas y rechazar algunas solicitudes inapropiadas. El anuncio de la compañía, del 30 de noviembre, presenta el sistema como un modelo similar a InstructGPT y lo pone a disposición de forma gratuita mientras OpenAI recopila comentarios sobre sus fortalezas, fallas y comportamiento seguro.
Este lanzamiento destaca menos por la capacidad de las computadoras para generar texto —los grandes modelos de lenguaje lo hacen desde hace años— que porque OpenAI ha integrado un potente modelo generativo en torno al diálogo y un proceso de entrenamiento basado en la retroalimentación, diseñado para que las respuestas sean más útiles para los usuarios comunes. Esta interfaz cambia la forma en que las personas interactúan con un modelo de lenguaje: en lugar de formular una sola pregunta y recibir una única respuesta, el usuario puede cuestionar, refinar, corregir y redirigir el sistema a lo largo de múltiples turnos.
De la predicción de texto al seguimiento de instrucciones
El linaje técnico se remonta al trabajo de OpenAI en modelos generativos cada vez más grandes. Su artículo de 2020 sobre GPT-3 demostró que escalar un modelo de lenguaje a 175 mil millones de parámetros podía producir un rendimiento sólido con pocos ejemplos en una amplia gama de tareas sin necesidad de ajustes específicos para cada tarea. Pero la predicción directa de la siguiente palabra también reveló una discrepancia fundamental: un modelo entrenado para continuar un texto no se entrena automáticamente para seguir la intención del usuario de forma segura o precisa.
La respuesta de OpenAI fue incorporar las preferencias humanas al proceso de entrenamiento. En enero, la compañía presentó InstructGPT, una familia de modelos ajustados primero con ejemplos escritos por personas y luego optimizados mediante clasificaciones de los resultados del modelo. El artículo de investigación reveló que los evaluadores humanos generalmente preferían los resultados de un modelo InstructGPT de 1300 millones de parámetros a los del modelo GPT-3, mucho más grande, de 175 000 millones de parámetros, lo que demuestra que la coherencia con las instrucciones puede ser tan importante como la escala bruta para la utilidad percibida.
ChatGPT aplica un método similar a las conversaciones. OpenAI afirma que entrenadores humanos de IA proporcionaron datos de diálogo interpretando ambos lados de una conversación, con acceso a sugerencias generadas por el modelo. Posteriormente, la empresa combinó ese conjunto de diálogos con sus datos de InstructGPT y utilizó el aprendizaje por refuerzo a partir de la retroalimentación humana (RLHF) para clasificar y mejorar las respuestas. El procedimiento de entrenamiento no elimina el error del modelo; busca orientarlo hacia respuestas que las personas consideren más útiles y apropiadas.
El diálogo crea nuevas capacidades y nuevos modos de fallo
El formato conversacional permite a ChatGPT mantener el contexto entre turnos y revisar una respuesta cuando el usuario señala un problema. También permite al modelo solicitar o responder aclaraciones y rechazar peticiones según las reglas de seguridad. Estos comportamientos se basan en los esfuerzos previos de OpenAI por utilizar el juicio humano en los sistemas de lenguaje. En 2020, los investigadores demostraron que los modelos podían entrenarse para generar resúmenes con retroalimentación humana, utilizando comparaciones entre resúmenes candidatos para mejorar la calidad de la salida en lugar de depender únicamente de un objetivo fijo supervisado.
OpenAI también exploró modelos que interactúan con información externa. Su proyecto WebGPT dotó a un modelo de lenguaje de un navegador basado en texto y lo entrenó para responder preguntas extensas con citas. Este trabajo es distinto de ChatGPT, que la versión preliminar actual de OpenAI describe como un modelo de diálogo en lugar de un servicio de investigación web en tiempo real, pero demuestra la dirección general de la investigación: combinar grandes modelos de lenguaje con interfaces, retroalimentación humana y herramientas que limitan o mejoran su comportamiento.
La empresa reconoce explícitamente que ChatGPT sigue siendo poco fiable. El aviso de lanzamiento advierte que el modelo puede generar respuestas que suenan plausibles pero incorrectas o sin sentido, puede ser sensible a pequeños cambios en la formulación, puede ser excesivamente prolijo y, en ocasiones, puede adivinar la intención del usuario en lugar de formular una pregunta aclaratoria. OpenAI también reconoce que los sistemas de seguridad pueden generar tanto falsos positivos como fallos al bloquear instrucciones dañinas.
Una vista previa controlada en lugar de un producto terminado
La decisión de OpenAI de lanzar ChatGPT como una versión preliminar para investigación refleja una tensión recurrente en el desarrollo de IA avanzada: las debilidades de un modelo son difíciles de caracterizar completamente dentro de un laboratorio. El uso público generalizado puede revelar sugerencias adversarias, aplicaciones inesperadas, sesgos sistemáticos y malentendidos comunes que la evaluación formal pasa por alto. La compañía solicita a los usuarios que envíen comentarios sobre los resultados problemáticos y ofrece un concurso de comentarios para los informes particularmente útiles.
Este enfoque se basa en las lecciones aprendidas de versiones anteriores. En el debate de OpenAI sobre GPT-2 , se hizo hincapié en el posible mal uso de la generación de texto cada vez más coherente y, en un principio, se optó por una estrategia de lanzamiento gradual en lugar de publicar inmediatamente el modelo más grande. Desde entonces, el sector ha avanzado rápidamente hacia sistemas más grandes y una mayor implementación, mientras que las cuestiones relativas a la desinformación, la suplantación de identidad, los sesgos y la persuasión automatizada se han vuelto más concretas.
ChatGPT se presenta, por lo tanto, como una interfaz de producto y un experimento en fase de implementación. Su utilidad depende de que el usuario comprenda que la prosa fluida no equivale a un hecho verificado. El modelo genera respuestas a partir de patrones aprendidos durante el entrenamiento; carece de juicio humano, y OpenAI no presenta la vista previa como una fuente infalible.
La interfaz puede ser tan importante como el modelo
La principal ventaja técnica de esta versión reside en la combinación de un modelo de lenguaje eficaz, una interfaz de chat intuitiva y un sistema de entrenamiento centrado en las preferencias humanas. Los modelos de lenguaje anteriores solían requerir que los usuarios aprendieran formatos de mensajes o interactuaran mediante herramientas de desarrollo. ChatGPT elimina esta barrera al convertir la conversación cotidiana en la interfaz de control.
Esa simplicidad podría ampliar el público de la IA generativa más allá de investigadores y programadores. Los usuarios pueden solicitar explicaciones, borradores, ayuda con el código, resúmenes o transformaciones en la misma ventana y luego refinar el resultado mediante una conversación. Al mismo tiempo, la facilidad de uso pone de manifiesto las limitaciones conocidas: un tono autoritario puede ocultar una respuesta errónea, y la conversación iterativa puede llevar a los usuarios a confiar en el sistema más de lo que justifica su fiabilidad subyacente.
Por ahora, OpenAI considera esas tensiones como el objetivo de la vista previa. ChatGPT no se presenta como el punto final del desarrollo de modelos de lenguaje. Es una prueba pública para determinar si el entrenamiento con retroalimentación humana y el diálogo pueden hacer que los modelos generativos complejos sean más útiles, manejables y seguros, y para identificar dónde fallan estos métodos cuando el sistema pasa a manos de un grupo de usuarios mucho más amplio.
