¿Qué impactos de la IA generativa en la docencia y la investigación?
Resumen del 4º Seminario “AGIR” (Acciones de gobernanza iniciadas por la investigación) en la Université Paris Dauphine – PSL. IA generativa en docencia y en investigación.
Las inteligencias artificiales generativas han estado al frente de la escena mediática desde el lanzamiento de ChatGPT en noviembre de 2022. ¿Cómo funcionan? ¿Qué esperar?
«Nuestro papel como gran actor académico no es prohibir, sino reflexionar sobre la aparición de estas tecnologías para actuar mejor».
E.M. Mouhoud, presidente de la Université Paris Dauphine – PSL
Detrás de ChatGPT, la revolución de los “large language models”
Síntesis de la introducción de Alexandre Allauzen, profesor de informática en ESPCI-PSL e investigador LAMSADE (Université Paris Dauphine – PSL).
El 30 de noviembre de 2022, la empresa OpenAI lanzó oficialmente ChatGPT, un agente de conversación de nueva generación (o chatbot). En una semana, la plataforma para poner la herramienta a disposición tuvo a más de un millón de usuarios. En dos meses, más de cien millones. Fenómeno inmediato y global. Un éxito en gran parte por la versatilidad de la herramienta y el realismo de sus respuestas. La escritura de Chatbot hace blufs tanto a la hora de presentar ideas de nuevas empresas o start-ups a los inversores como a la hora de elaborar un esquema de disertación.
Modelo de lenguaje muy grande
La herramienta basa su rendimiento en un “large language model”, o en catalán: modelo de lenguaje muy grande. Un modelo de lenguaje es, en primer lugar, una representación estadística de una lengua. Permite predecir, a partir de una secuencia de palabras, cuál es la siguiente palabra más probable. Es más probable que la frase «El tiempo vuela si…» se complete con la palabra «rápidamente» que con la palabra «retroexcavadora». A cada palabra, por tanto, el modelo de lenguaje asocia un peso estadístico según las palabras anteriores, es decir, según el contexto. Así, el modelo puede generar, palabra a palabra, frases que tengan sentido para un ser humano.
Hoy existen más de un centenar de modelos de lenguaje. GPT-3, el que utiliza ChatGPT, es sólo uno. Gigante de la industria digital como Google, Amazon o Microsoft están trabajando en sus propios modelos de lenguaje, así como a actores académicos como las universidades de Berkeley, Stanford o Fundan. Si los modelos de lenguaje son tan numerosos, es sobre todo porque no son nuevos, y que los actores académicos e industriales de la inteligencia artificial se posicionan desde hace más de 20 años.
Representación de modelos lingüísticos existentes en marzo de 2023
Los “large language models” en 3 etapas
A principios de los años 2000, el campo de procesamiento automático del lenguaje experimentó un importante punto de inflexión con las “inserciones de palabras”. Esta técnica consiste en representar una palabra según su comportamiento. «yo», «tú» y «nosotros» tienen una función similar. Garraf, Olot y Barcelona tienen otro.
Gracias al auge de las redes neuronales en los años 200, fue posible que los modelos aprendieran automáticamente estas funciones de palabras, con un enfoque estadístico y no humano. Y para entrenar estas redes neuronales, el campo puede contar con otra tecnología que estaba en auge en este momento: Internet, y su colosal número de textos ahora disponibles online que alimentarán el aprendizaje. Éste es el primer paso hacia herramientas como ChatGPT.
Segunda etapa: mediados de los años 2010 y el concepto clave de atención, extraído de las herramientas de traducción automática. En la frase en francés “je livre une pizza en boîte”, ¿cómo traducir la palabra “livre” en inglés? ¿Libros? ¿Libra? ¿Entregar? Para ello, es necesario analizar la atención que se pone en la frase a traducir. En “libre” sigue el pronombre “je”. El pronombre es importante para el modelo de traducción porque condiciona la presencia de un verbo detrás, y permite seleccionar “entregar” en el ámbito de las posibilidades.
Y por último el tercer paso: los transformadores, que capitalizan los dos pasos anteriores. Los modelos no sólo pueden identificar correctamente la función de una palabra, sino que ahora los transformadores pueden determinar su significado mediante el análisis de palabras anteriores y siguientes. En otras palabras: ahora, los modelos lingüísticos tienen en cuenta el contexto de las palabras y las frases.
De la teoría a ChatGPT
GPT-3 se basa en estos transformadores. El acrónimo GPT significa Generative Pre-trained Transformers, o transformadores generativos pre-entrenados. La esencia de GPT es hacer cascada de esos ladrillos tecnológicos que son los transformadores para dar a cada palabra, cada frase, un significado comprensible por los humanos. Este modelo de lenguaje se llama “muy grande” (large) porque utiliza 175.000 millones de parámetros para representar un contexto. Tamaño de los parámetros que ha crecido de forma exponencial recientemente: los modelos de lenguaje mayores de hace 2 años sólo tenían varios cientos de millones de parámetros. Este rápido crecimiento es el que explica en gran medida el repentino rendimiento de herramientas recientes como ChatGPT. Y el crecimiento sigue a un ritmo sostenido.
Una vez que el modelo de lenguaje GPT sea suficientemente eficiente, sólo queda añadir la función de chat para convertirlo en la herramienta de conversación que es hoy. Esto requiere tres pasos. Primero, muestre manualmente al modelo la respuesta humana esperada a una pregunta para entrenarlo de forma supervisada. A continuación, pídele que formule las respuestas y las clasifique de mejor a peor. Por último, enseñar al modelo a autoevaluar sus respuestas para que pueda interactuar de forma autónoma.
Aplicaciones y limitaciones de los principales modelos lingüísticos
Esta capacidad de interactuar implica una nueva relación con la información, ya no basada en la investigación, sino en la generación. ChatGPT puede procesar información y ordenarla para refinarla. Puede generar código, resúmenes de temas complejos, transcribir una imagen… Tantas aplicaciones que plantean preguntas sobre el impacto de esta tecnología en nuestra vida cotidiana. Para el experimento, los investigadores realizaron exámenes ChatGPT. Derecho, arte, biología: el programa supera estas pruebas basadas en la adquisición de conocimientos.
De forma más pragmática, la aplicación de aprendizaje de idiomas Duolingo ha planeado utilizar ChatGPT en su sistema para enriquecer los comentarios de los estudiantes. La startup Be My Eyes lo utiliza para describir el entorno de las personas con discapacidad visual. Y las aplicaciones de trabajo colaborativo también lo integran para facilitar la toma de notas o interacciones entre los participantes.
Sin embargo, quedan algunas limitaciones. Los modelos y datos no están abiertos a la comunidad, el coste de la herramienta plantea problemas de accesibilidad y ChatGPT todavía no es adecuado para usos nichos como aplicaciones legales. Como todas las tecnologías digitales basadas en conjuntos de datos, la tecnología depende también de la calidad de los datos utilizados para la formación: sesgos sociales, étnicos o de género. Sin embargo, estos límites son perecederos. Los citados ayer en el nivel de rendimiento ya no tienen razón para serlo, y los mencionados anteriormente pueden dejar de ser relevantes en unos meses.
Consulta o repasa el seminario del jueves 30 de marzo
AUTO #4 | ChatGPT, Bard… ¿qué impactos tiene la IA generativa en la enseñanza y la investigación?
Acerca de AGIR
Organizados en torno a diversos temas clave relacionados con el programa de la presidencia de la universidad para el período 2021-24, los Seminarios AGIR (Acciones de Gobernación Iniciadas por la Investigación) invitan a los actores de la comunidad del Dauphiné a compartir los análisis y cuestiones que permitan fundamentar mejor las acciones de gobierno de la universidad. Las conferencias y debates están abiertos al público en general.
Leído en: