Gracias por visitarnos y por leer el artículo: ChatGPT se está volviendo más tonto y nadie entiende lo que está pasando
Malas noticias para ChatGPT. Según las últimas investigaciones de Stanford, GPT-4, el modelo detrás de la versión más poderosa de este chatbot, es cada día más tonto y sus resultados están muy lejos de su rendimiento inicial.
“Descubrimos que el rendimiento y el comportamiento de GPT-3.5 y GPT-4 varían significativamente entre estas dos versiones y que su rendimiento en algunas tareas se ha deteriorado sustancialmente con el tiempo”, explica.
En el artículo publicado, los investigadores Lingjiao Chen, Matei Zaharia y James Zou descubrieron que, en comparación con los lanzamientos del modelo de idioma en marzo y junio, el rendimiento se ha degradado. El ejemplo más llamativo es preguntar si 17.077 es un número primo.
Si bien la respuesta es sí, ChatGPT experimentó una disminución masiva del 95,2% en la precisión. Mientras tanto, GPT-3.5, que impulsa la versión gratuita de ChatGPT, experimentó un aumento del 7,4 % al 86,8 % cuando se le hizo la misma pregunta.
Nadie entiende bien lo que está pasando con ChatGPT Plus y GPT-4
“Es muy difícil saber por qué sucede esto. Definitivamente podría ser RLHF y el ajuste fino golpeando una pared, pero también podrían ser errores. Definitivamente parece difícil gestionar la calidad”, explica Matei Zaharia, uno de los investigadores, en un tuit.
Teniendo en cuenta la posibilidad de que el RLHF y el fine tune (afinado) tengan algo que ver, es hora de saber cómo estas 2 variables podrían estar influyendo en la inteligencia artificial detrás de la versión más potente de ChatGPT:
1. RLHF (Aprendizaje de refuerzo a partir de la retroalimentación humana): Esta es una técnica de entrenamiento en la que la inteligencia artificial recibe retroalimentación y correcciones de los humanos para mejorar su desempeño.
Sin embargo, si el RLHF no se está aplicando correctamente, es posible que la retroalimentación proporcionada no esté siendo suficiente o no se esté utilizando de manera óptima para ajustar y mejorar el modelo, lo que podría afectar su rendimiento general y hacer que la IA parezca menos inteligente.
2. Fine Tuning (ajuste o puesta a punto): esta es otra técnica de entrenamiento que implica ajustar un modelo de IA existente para adaptarse a una tarea específica. Si el proceso de ajuste no se realiza correctamente o si el modelo base no es lo suficientemente potente, podría provocar un rendimiento desastroso.
Para darle una idea aproximada, si estos 2 elementos no se implementan correctamente o si hay problemas en su aplicación, es posible que GPT-4 y ChatGPT Plus no estén alcanzando su máximo potencial y, como resultado, parezcan menos inteligentes. o menos capaz en ciertas situaciones. Son variables fundamentales para el desarrollo y mejora de modelos de inteligencia artificial.
Con todo esto en mente, Kevin Welinder, vicepresidente de producto de OpenAI, salió en defensa de ChatGPT al comentar: “No, no hemos hecho que GPT-4 sea más tonto. Todo lo contrario: hacemos que cada nueva versión sea más inteligente que la anterior. Suposición actual: cuando lo usa más intensamente, comienza a notar problemas que no veía antes”.
