El reciente lanzamiento de GPT-4 marca un hito significativo en el campo de la inteligencia artificial, particularmente en el procesamiento del lenguaje natural. En este artículo, ofrecemos un análisis exhaustivo de sus capacidades avanzadas y profundizamos en la historia y el desarrollo de los transformadores preentrenados generativos (GPT), y qué nuevas capacidades desbloquea GPT-4.
.
¿Qué son los Transformadores Generativos Pre-entrenados?
Los transformadores preentrenados generativos (GPT) son un tipo de modelo de aprendizaje profundo que se utiliza para generar texto similar al humano. Los usos comunes incluyen
- respondiendo preguntas
- resumen de texto
- traducir texto a otros idiomas
- generando código
- generar publicaciones de blog, historias, conversaciones y otros tipos de contenido.
Existen infinitas aplicaciones para los modelos GPT, e incluso puede ajustarlos en datos específicos para crear resultados aún mejores. Al usar transformadores, ahorrará costos en computación, tiempo y otros recursos.
Antes de GPT
La revolución actual de IA para el lenguaje natural solo fue posible con la invención de los modelos transformadores, comenzando con BERT de Google en 2017. Antes de esto, la generación de texto se realizaba con otros modelos de aprendizaje profundo, como redes neuronales recursivas (RNN) y largo plazo. redes neuronales de memoria (LSTM). Estos funcionaron bien para generar palabras sueltas o frases cortas, pero no pudieron generar contenido realista más largo.
El enfoque transformador de BERT fue un gran avance ya que no es una técnica de aprendizaje supervisado. Es decir, no requirió un costoso conjunto de datos anotados para entrenarlo. Google usó BERT para interpretar búsquedas en lenguaje natural; sin embargo, no puede generar texto a partir de un aviso.
GPT-1
Transformador arquitectura | Papel GPT-1
En 2018, OpenAI publicó un artículo ( Improving Language Understanding by Generative Pre-Training ) sobre el uso de la comprensión del lenguaje natural utilizando su modelo de lenguaje GPT-1. Este modelo fue una prueba de concepto y no se hizo público.
GPT-2
Desempeño del modelo en varias tareas | papel GPT-2
Al año siguiente, OpenAI publicó otro artículo ( Language Models are Unsupervised Multitask Learners ) sobre su último modelo, GPT-2. Esta vez, el modelo se puso a disposición de la comunidad de aprendizaje automático y encontró cierta adopción para tareas de generación de texto. GPT-2 a menudo podía generar un par de oraciones antes de descomponerse. Esto fue lo último en 2019.
GPT-3
Resultados de tres tareas de control de calidad de dominio abierto | papel GPT-3
En 2020, OpenAI publicó otro artículo ( Language Models are Few-Shot Learners ) sobre su modelo GPT-3. El modelo tenía 100 veces más parámetros que GPT-2 y se entrenó en un conjunto de datos de texto aún más grande, lo que resultó en un mejor rendimiento del modelo. El modelo continuó mejorándose con varias iteraciones conocidas como la serie GPT-3.5, incluido el ChatGPT centrado en la conversación.
Esta versión cautivó al mundo después de sorprenderlo con su capacidad para generar páginas de texto similares a los humanos. ChatGPT se convirtió en la aplicación web de más rápido crecimiento de la historia , llegando a 100 millones de usuarios en solo dos meses.
Puede obtener más información sobre GPT-3 , sus usos y cómo usarlo en un artículo separado.
¿Qué hay de nuevo en GPT-4?
GPT-4 se ha desarrollado para mejorar la «alineación» del modelo: la capacidad de seguir las intenciones del usuario y al mismo tiempo hacerlo más veraz y generar resultados menos ofensivos o peligrosos.
Mejoras de rendimiento
Como era de esperar, GPT-4 mejora los modelos GPT-3.5 con respecto a la exactitud de los hechos de las respuestas. La cantidad de «alucinaciones», en las que el modelo comete errores de razonamiento o de hechos, es menor, con GPT-4 con una puntuación un 40 % más alta que GPT-3,5 en el punto de referencia de rendimiento fáctico interno de OpenAI.
También mejora la «direccionabilidad», que es la capacidad de cambiar su comportamiento de acuerdo con las solicitudes de los usuarios. Por ejemplo, puede ordenarle que escriba en un estilo, tono o voz diferente. Intente comenzar las indicaciones con «Eres un experto en datos locuaz» o «Eres un experto en datos conciso» y haz que te explique un concepto de ciencia de datos. Puede obtener más información sobre el diseño de excelentes indicaciones para los modelos de GPT aquí .
Otra mejora está en la adherencia del modelo a las barandillas. Si le pide que haga algo ilegal o desagradable, es mejor rechazar la solicitud.
Uso de entradas visuales en GPT-4
Un cambio importante es que GPT-4 puede usar entradas de imagen (solo vista previa de investigación; aún no disponible para el público) y texto. Los usuarios pueden especificar cualquier tarea de visión o idioma ingresando texto e imágenes intercaladas.
Los ejemplos mostrados destacan que GPT-4 interpreta correctamente imágenes complejas como gráficos, memes y capturas de pantalla de trabajos académicos.
Puede ver ejemplos de la entrada de visión a continuación.
Puntos de referencia de rendimiento de GPT-4
OpenAI evaluó GPT-4 simulando exámenes diseñados para humanos, como el Uniform Bar Examination y LSAT para abogados, y el SAT para admisión universitaria. Los resultados mostraron que GPT-4 logró un desempeño a nivel humano en varios puntos de referencia académicos y profesionales.
OpenAI también evaluó GPT-4 en puntos de referencia tradicionales diseñados para modelos de aprendizaje automático, donde superó a los modelos de lenguaje grande existentes y a la mayoría de los modelos de última generación que pueden incluir elaboración específica de puntos de referencia o protocolos de capacitación adicionales. Estos puntos de referencia incluyeron preguntas de opción múltiple en 57 materias, razonamiento de sentido común sobre eventos cotidianos, preguntas de ciencia de opción múltiple de la escuela primaria y más.
OpenAI probó la capacidad de GPT-4 en otros idiomas al traducir el punto de referencia MMLU, un conjunto de 14 000 problemas de opción múltiple que abarcan 57 temas, a varios idiomas mediante Azure Translate. En 24 de los 26 idiomas probados, GPT-4 superó el rendimiento en inglés de GPT-3.5 y otros modelos de idiomas grandes.
En general, los resultados más fundamentados de GPT-4 indican un progreso significativo en el esfuerzo de OpenAI por desarrollar modelos de IA con capacidades cada vez más avanzadas.
Cómo obtener acceso a GPT-4
OpenAI está lanzando la capacidad de entrada de texto de GPT-4 a través de ChatGPT. Actualmente está disponible para los usuarios de ChatGPT Plus. Hay una lista de espera para la API GPT-4.
Aún no se ha anunciado la disponibilidad pública de la capacidad de entrada de imágenes.
OpenAI tiene OpenAI Evals de código abierto , un marco para la evaluación automatizada del rendimiento del modelo de IA, para permitir que cualquier persona informe las deficiencias en sus modelos y guíe mejoras adicionales.
Llévalo al siguiente nivel
Mientras tanto, puede leer más recursos sobre GPT-4, ChatGPT e IA en los siguientes recursos:
- Aprenda a usar ChatGPT de manera efectiva en el curso Introducción a ChatGPT .
- Aprenda a crear sus propios modelos de generación de texto de aprendizaje profundo en el curso Generación de lenguaje natural en Python .
- Descargue esta práctica hoja de trucos de referencia de las indicaciones de ChatGPT para la ciencia de datos .
- Escuche este episodio de podcast sobre cómo ChatGPT y GPT-3 aumentan los flujos de trabajo para comprender cómo ChatGPT puede beneficiar a su empresa.
Un artículo Original en el Idioma Inglés en Datacamp. Republicado y traducido exclusivamente con fines académicos. Recomendamos visualizar en fuente original. Fuente de traducción: Google Translate.
