Si bien el modelado del lenguaje ocupa cada vez más espacio en las tecnologías de IA, creemos que es nuestro deber explicar qué es Chinchilla AI y cómo usarla para nuestros valiosos lectores.
Los investigadores de DeepMind crearon el modelo Chinchilla, que tiene 70 mil millones de parámetros y cuatro veces más datos que Gopher pero el mismo presupuesto informático. El rendimiento de Chinchilla es digno de mención no solo por el tamaño de la mejora, sino también porque es más pequeño que cualquier otro modelo de lenguaje importante creado en los dos años anteriores que demostraron el rendimiento de SOTA.
Chinchilla supera de manera constante y significativa a Gopher (280B), GPT-3 (175B), Jurassic-1 (178B) y Megatron-Turing NLG en una variedad de tareas de evaluación posteriores (530B). Utiliza sustancialmente menos computación para la inferencia y el ajuste fino, lo que aumenta en gran medida el uso posterior. ¿Te preguntas qué es Chinchilla AI? Vamos a investigarlo en este artículo.
¿Qué es Chinchilla AI?
Comencemos por comprender qué es Chinchilla AI antes de aprender a usar Chinchilla AI. Los desafíos recientes de modelado de lenguaje han tendido a aumentar la complejidad del modelo sin aumentar la cantidad de tokens de aprendizaje (alrededor de 300 mil millones durante el entrenamiento). El modelo de transformador más grande en este momento es el Megatron-Turing NLG, que es más de tres veces más grande que el GPT-3 de OpenAI. DeepMind ha presentado un nuevo modelo de lenguaje llamado Chinchilla.
Hay una diferencia significativa, aunque funciona de manera similar a los modelos de lenguaje grande como Megatron-Turing NLG (parámetros 530B), Jurassic-1 (parámetros 178B), GPT-3 (parámetros 175B), Gopher (parámetros 280B) y GPT- 3: Con solo 70 mil millones de parámetros y cuatro veces más datos que Gopher, logra una precisión promedio del 67,5 por ciento en el punto de referencia MMLU, que es una mejora del 7 por ciento con respecto a Gopher.
¿Cómo usar la IA de Chinchilla?
Ahora que le explicamos qué es Chinchilla AI, pasemos a responder sus preguntas sobre cómo usar Chinchilla AI, pero tenemos malas noticias para usted. Desafortunadamente, el público en general no puede acceder actualmente. Chinchilla AI finalmente estará disponible en los próximos meses, momento en el que podrá usarlo para desarrollar chatbots, asistentes virtuales, modelos predictivos y otras aplicaciones de IA.
Chinchilla logró una precisión promedio de vanguardia del 67,5 por ciento en el punto de referencia de MMLU, superando a Gopher en un 7 por ciento. La estrategia común en el entrenamiento de modelos de lenguaje grande ha sido construir el modelo sin aumentar el suministro de tokens de entrenamiento. El transformador denso más grande, MT-NLG 530B, ahora es más de tres veces más grande que los 170 mil millones de características de GPT-3.
Chinchilla AI va a ser una fuerza dominante en el modelado de lenguaje
Ahora que hemos respondido a su pregunta ¿Qué es Chinchilla AI y cómo usarla?, hablemos de las tecnologías de IA en general.
Hacer crecer el modelo sin aumentar la cantidad de tokens de entrenamiento ha sido el enfoque predominante en el entrenamiento de modelos de lenguaje grande. En comparación con las características de 170 mil millones de GPT-3, el transformador denso más grande, MT-NLG 530B, ahora es más de 3 veces más grande.
La mayoría de los modelos grandes actualmente en uso, incluido Chinchilla de DeepMind, han sido entrenados para más de 300 mil millones de tokens. La carrera para entrenar modelos cada vez más grandes está produciendo modelos que, según los investigadores, tienen un rendimiento significativamente inferior en comparación con lo que se podría lograr con el mismo presupuesto informático. Esto es cierto a pesar de que el deseo de entrenar estos megamodelos ha avanzado significativamente en la ingeniería.
Características de Chinchilla AI que superarán el presupuesto informático
El factor limitante en las tecnologías de IA suele ser el presupuesto informático, que es independiente y se conoce de antemano. La cantidad de dinero que la corporación puede gastar en un mejor hardware definirá en última instancia el tamaño del modelo y la cantidad de tokens de capacitación. Para superar este problema, las características de Chinchilla AI:
- Tamaño de modelo fijo: Los programadores de DeepMind crearon una familia de tamaños de modelos fijos (70M-16B) y ajustaron la cantidad de tokens de entrenamiento para cada modelo (4 variaciones). Luego se identificó la mejor combinación para cada presupuesto de cómputo. De acuerdo con este método, un modelo entrenado con la misma potencia informática que Gopher tendría tokens de 1,5T y parámetros de 67B.
- Curvas para isoFLOP: Los ingenieros de DeepMind experimentaron con el tamaño del modelo y el presupuesto informático fijo. Este método daría como resultado un modelo de cómputo óptimo con 63 mil millones de parámetros y 1,4 billones de tokens, entrenados con la misma cantidad de cómputo que Gopher.
- Creación de una función de pérdida paramétrica: Los ingenieros de DeepMind modelaron las pérdidas como funciones paramétricas del tamaño del modelo y el recuento de tokens utilizando los resultados de los métodos 1 y 2. El modelo de cómputo óptimo entrenado con este método tendría 40B parámetros y la misma cantidad de cómputo que Gopher.
Si tienes curiosidad, puedes examinar el enfoque de DeepMind sobre el tema a partir del artículo que publicaron.
Estamos llegando al final de nuestro artículo donde respondimos las preguntas de ¿Qué es Chinchilla AI y cómo usarla lo mejor que podamos para usted? Si bien las tecnologías de modelado del lenguaje lograron convertirse en la subcategoría de IA más destacada en 2022, nos preguntamos qué nos espera en 2023.
