OpenAI es una ONG de investigación sobre inteligencia artificial (IA) sin fines de lucro que tiene como objetivo promover y desarrollar inteligencia artificial amigable de tal manera que beneficie a la humanidad en su conjunto. La organización tiene como objetivo «colaborar libremente» con otras instituciones e investigadores al hacer sus patentes e investigaciones abiertas al público. Sus fundadores Elon Musk y Sam Altman declaran estar motivados en parte por las preocupaciones sobre el riesgo existencial de la inteligencia artificial general. Sin embargo hoy Elon Musk pasó a segundo plano y quién lidera los aportes es la gente de Microsoft.

La tecnología que desarrolla Open AI corresponde al campo del Procesamiento del Lenguaje Natural, que se encarga de ver como funciona el lenguaje, como se construye y como generar nuevo lenguaje. Cuando esto lo integramos con Machine Lernning lo que logramos hacer es «poner el lenguaje a trabajar».

La gente de Open AI viene entrenando un modelo de lenguaje a gran escala que genera párrafos coherentes de texto sin supervisión, logrando un desempeño de vanguardia en muchos de los puntos de referencia de los modelos de lenguaje. También realiza una comprensión de lectura rudimentaria, traducción automática, respuesta a preguntas y resúmenes, sin capacitación específica para cada tarea… 

Los investigadores de Open AI han entrenado la herramienta GPT-2 para predecir la siguiente palabra entre 40GB de texto extraídos de 8 millones de páginas web. Hoy, esta aplicación sirve para múltiples usos y es la preocupación de los creadores para liberarla, dado las aplicaciones maliciosas para las que podría usarse… En su lugar están lanzando un modelo mucho más pequeño para los investigadores, así como un documento técnico.

¿Qué es y que hace?

El GPT-2 es un gran modelo de lenguaje basado en transformadores con 1.500 millones de parámetros, entrenado en un conjunto de datos de 8 millones de páginas web. La diversidad del conjunto de datos hace que este simple objetivo contenga demostraciones naturales de muchas tareas en diversos dominios. El GPT-2 es un escalamiento directo de GPT, con más de 10 veces los parámetros y entrenado en más de 10 veces la cantidad de datos. Si evaluamos la capacidad de crecimiento que tuvo en tan poco tiempo.

El sistema incluye la capacidad de generar muestras de texto sintético condicional de calidad sin precedentes, superando a otros modelos lingüísticos formados en dominios específicos (como Wikipedia, noticias o libros) sin necesidad de utilizar estos conjuntos de datos de formación específicos del dominio. En tareas lingüísticas como la respuesta a preguntas, la comprensión de lectura, el resumen y la traducción, el GPT-2 comienza a aprender estas tareas a partir del texto sin procesar, sin utilizar datos de formación específicos para cada tarea. Si bien las puntuaciones en estas tareas posteriores están lejos del estado actual de la técnica, sugieren que las tareas pueden beneficiarse de técnicas no supervisadas, si se les proporcionan suficientes datos (no etiquetados) y se calculan.

Con el fin de preservar la calidad de respuesta, Open AI sólo utiliza páginas que han sido curadas/filtradas por seres humanos-específicamente, utilizando enlaces salientes de Reddit que recibieron al menos la puntuación de 3 karma. Esto se puede considerar como un indicador heurístico de si otros usuarios encontraron el enlace interesante (ya sea educativo o divertido), lo que conduce a una mayor calidad de datos que otros conjuntos de datos similares, como CommonCrawl.

Como vemos en el video, la herramienta GPT-2 genera muestras de texto sintético en respuesta al modelo que se está cargando con una entrada arbitraria. El modelo se adapta al estilo y contenido del texto condicionante, permitiendo al usuario generar continuaciones realistas y coherentes sobre un tema de su elección.

¿Qué podemos observar en el siguiente ejemplo?

Los resultados se sienten cercanos a la calidad humana y muestran coherencia en una página o más de texto. Sin embargo se han observado varios modos de falla, tales como textos repetidos, fallas en los modelos mundiales (por ejemplo, el modelo a veces escribe sobre incendios que ocurren bajo el agua), y cambios de tema no naturales. Explorar este tipo de debilidades «conceptuales» de los modelos lingüísticos es un área activa de investigación en la comunidad de procesamiento del lenguaje natural.

De todas formas se necesitan unos pocos intentos para obtener una buena muestra, dependiendo de cuán familiarizado esté el modelo con el contexto. Cuando se le solicitan temas que están altamente representados en los datos (Brexit, Miley Cyrus, El Señor de los Anillos, etc.), parece ser capaz de generar muestras razonables aproximadamente el 50% del tiempo. Lo contrario también es cierto: en los tipos de contenido altamente técnicos o esotéricos, el modelo puede funcionar mal. El afinamiento ofrece la posibilidad de un control aún más detallado sobre las muestras generadas; por ejemplo, podemos afinar el GPT-2 en el conjunto de datos de Amazon Reviews y utilizarlo para escribir reseñas condicionadas a cosas como la clasificación por estrellas y la categoría.

Estas muestras tienen implicaciones políticas sustanciales: los modelos de lenguaje de gran tamaño son cada vez más fáciles de dirigir hacia la generación de textos escalables, personalizados y coherentes, que a su vez podrían utilizarse de varias maneras beneficiosas y maliciosas. Discutiremos estas implicaciones más adelante con más detalle, y esbozaremos un experimento de publicación que estamos llevando a cabo a la luz de tales consideraciones.

Performa del Sistema

GPT-2 logra puntajes de vanguardia en una variedad de tareas de modelado de lenguajes específicos del dominio. El modelo no está entrenado en ninguno de los datos específicos de ninguna de estas tareas y sólo se evalúa en ellos como prueba final; esto se conoce como la configuración de «tiro cero». GPT-2 supera a los modelos entrenados en conjuntos de datos específicos de dominio (por ejemplo, Wikipedia, noticias, libros) cuando se evalúan en esos mismos conjuntos de datos. La siguiente tabla muestra todos los resultados de tiro cero de última generación.

(+) significa que una puntuación más alta es mejor para este dominio. (-) significa que una puntuación más baja es mejor.

En otras tareas lingüísticas como la respuesta a preguntas, la comprensión de lectura, la síntesis y la traducción, el GPT-2 ha obtenido resultados sorprendentes sin necesidad de afinar sus modelos, simplemente incitando al modelo entrenado de la manera correcta, aunque todavía no estamos a la altura de los últimos avances en sistemas especializados.

Implicaciones Políticas

Los modelos lingüísticos generales de gran tamaño tendrán un impacto significativo en la sociedad y muchas aplicaciones a corto plazo, como por ejemplo:

  • Asistentes de redacción de IA
  • Agentes de diálogo más capaces
  • Traducción no supervisada entre idiomas
  • Mejores sistemas de reconocimiento de voz

También es posible imaginar la aplicación de estos modelos con fines maliciosos, incluyendo las siguientes (u otras aplicaciones que aún no podemos anticipar):

  • Generar artículos de noticias engañosos
  • Hacerse pasar por otros en línea
  • Automatizar la producción de contenido abusivo o falsificado para publicarlo en los medios sociales.
  • Automatizar la producción de contenido de spam/phishing

Estos hallazgos, combinados con resultados anteriores en imágenes sintéticas, audio y video, implican que las tecnologías están reduciendo el costo de generar contenido falso y llevar a cabo campañas de desinformación. El público en general tendrá que volverse más escéptico del texto que encuentran en línea, de la misma manera que el fenómeno de las «falsificaciones profundas» exige más escepticismo sobre las imágenes.

Los políticos podrían considerar la introducción de sanciones por el mal uso de tales sistemas, como algunos han propuesto para las falsificaciones profundas.

Hoy en día, los actores maliciosos -algunos de los cuales son de naturaleza política- ya han comenzado a apuntar a los bienes comunes compartidos en línea, utilizando cosas como «herramientas robóticas, cuentas falsas y equipos dedicados a acosar a individuos con comentarios o difamaciones que los hacen temerosos de hablar, o difíciles de ser escuchados o creídos». Deberíamos considerar cómo la investigación sobre la generación de imágenes, vídeos, audio y texto sintéticos puede combinarse para desbloquear nuevas capacidades aún no previstas para estos actores, y deberíamos tratar de crear mejores contramedidas técnicas y no técnicas.

Como si fuera poco, las innovaciones técnicas subyacentes inherentes a estos sistemas son fundamentales para la investigación de inteligencia artificial, por lo que no es posible controlar la investigación en estos campos sin frenar el progreso de la IA en su conjunto.

Estrategia de Liberación por parte de Open AI

Debido a la preocupación por los modelos de lenguaje de gran tamaño que se utilizan para generar lenguaje engañoso, sesgado o abusivo a escala, la gente de Open AI sólo está publicando una versión mucho más pequeña del GPT-2 junto con el código de muestreo.

Un año atrás sus creadores escribían en el blog de OpenAI: «esperamos que los problemas de seguridad y protección reduzcan nuestra publicación tradicional en el futuro, a la vez que aumentan la importancia de compartir la investigación sobre seguridad, políticas y estándares», y consideramos que este trabajo actual representa potencialmente el inicio temprano de tales problemas, que esperamos que crezcan con el tiempo.

Esta decisión y las discusiones del blog están en fase experimental. El hecho de declarar que no están seguros de que sea la decisión correcta hoy en día es preocupante para muchos usuarios, ya que gente como Microsoft seguramente está sacando con Azure beneficios por adelantado.

La gente de Open AI dice que necesitará eventualmente abordar el tema de las normas de publicación de una manera reflexiva en ciertas áreas de investigación. Otras disciplinas como la biotecnología y la ciberseguridad han tenido durante mucho tiempo debates activos sobre la publicación responsable en casos con un claro potencial de uso indebido, y esperan que este experimento les sirva como un estudio de caso para discusiones más matizadas sobre las decisiones de liberación de modelos y códigos en la comunidad de la IA.

Los creadores son conscientes de que algunos investigadores tienen la capacidad técnica para reproducir y abrir el código fuente de los resultados; por eso creen que la estrategia de lanzamiento limitaría el conjunto inicial de organizaciones que puedan elegir hacer esto, y le da a Open AI más tiempo para tener una discusión sobre las implicaciones de tales sistemas.

La gente de Open AI cree que los gobiernos deberían considerar la posibilidad de ampliar o poner en marcha iniciativas para monitorear más sistemáticamente el impacto social y la difusión de las tecnologías de IA, y para medir el progreso en las capacidades de dichos sistemas. De continuar, estos esfuerzos podrían proporcionar una mejor base de evidencia para las decisiones de los laboratorios de IA y de los gobiernos con respecto a las decisiones de publicación y a la política de IA en general. Mientras tanto están implementando dos mecanismos para publicar responsablemente el GPT-2 y esperan en el futuro: el lanzamiento por etapas y el intercambio basado en asociaciones.

Actualmente están lanzando una versión 345M más grande de GPT-2 como el siguiente paso en la versión escalonada, mientras comparten las versiones de 762M y 1.5B con socios de la IA y las comunidades de seguridad que están trabajando para mejorar la preparación de la sociedad para los modelos en idiomas grandes.

¿Qué comprende la Liberación Escalonada?

Una liberación gradual de una familia de modelos a lo largo del tiempo. El propósito de la liberación por etapas de GPT-2 es dar tiempo a la gente para evaluar las propiedades de estos modelos, discutir sus implicaciones sociales y evaluar los impactos de la liberación después de cada etapa.

Esperan que las investigaciones en curso sobre el sesgo, la detección y el uso indebido les den la confianza para publicar modelos más grandes de manera oportuna, y al cabo de seis meses compartirán un análisis más completo de las implicaciones sociales de los modelos de lenguaje y su heurística para las decisiones de publicación.

Asociaciones de Open AI

Desde febrero de 2019, han abierto conversaciones con muchos investigadores externos, compañías de tecnología y políticos sobre su estrategia de publicación y las implicaciones de los modelos de lenguaje cada vez más grandes. También han presentado o discutido su trabajo en eventos, incluyendo una cena organizada conjuntamente con la Asociación para la IA y una presentación a los responsables políticos en Washington DC en el Global Engagement Center.

Actualmente están formando asociaciones de investigación con instituciones académicas, organizaciones sin fines de lucro y laboratorios de la industria enfocados en aumentar la preparación social para modelos de lenguaje de gran tamaño. En particular, están compartiendo las versiones de los nuevos parámetros para facilitar la investigación sobre la detección de resultados del modelo de lenguaje, el análisis y mitigación de sesgos del modelo de lenguaje y el análisis del potencial de uso indebido. Además de observar los impactos de los modelos lingüísticos en la naturaleza, entablar un diálogo con las partes interesadas y llevar a cabo análisis internos, estas asociaciones de investigación serán una aportación clave para la toma de decisiones sobre modelos más amplios.

Socios y Competidores

Le recordamos que Open AI es el corazón de Azure, por lo cual creemos que han surgido como siempre ciertas dudas sobre el tema, que pueden estar impulsadas por un interés genuino o simple competencias de poder.

Recuerde que Google, por su parte, compró Deepmind e invirtió en Setiembre 3,3 Billones para construir centros de datos limpios en Europa convirtiéndose de alguna manera en una competencia del proyecto Open AI. Tres meses después ambos fundadores de Google comunican su retirada de la presidencia en Alphabet para ocuparse de la investigación y el asesoramiento… ¿Tendrán alguna relación con estos temas su retirada? ¿Le queda alguna duda de que en este momento es cuando se están jugando los grandes pasos en Inteligencia Artificial y que las implicancias de esto, cambiarán el mundo para siempre?

Te invitamos a que saques tus propias conclusiones leyendo este artículo de ComputerWorld.

¿Cómo Participar del Proyecto?

En Open AI están interesados en colaborar con investigadores que trabajan en la detección de resultados de modelos de lenguaje, sesgos y normas de publicación, y con organizaciones potencialmente afectadas por modelos de lenguaje de gran tamaño: Los interesados pueden contactarse a languagepartners@openai.com

Este artículo es una compilación del Dr Fabián Sorrentino para la Carrera de Mentoring.