Millones de personas en todo el mundo están recurriendo a ChatGPT porque ofrece soluciones para casi cualquier cosa gracias a su amplia base de datos. Sin embargo, resolver un acertijo de palabras puede haber sido demasiado para el chatbot de IA.
ChatGPT reproduce Wordle
La última generación del chatbot de OpenAI, ChatGPT-4, ha conquistado al mundo con sus impresionantes capacidades.
Desde participar en largas conversaciones hasta resumir temas complejos, el chatbot de IA ha capturado la imaginación del público. Otras empresas de IA han estado luchando por lanzar sus propios modelos de lenguaje grandes (LLM) para mantenerse al día.
Pero, ¿cómo le va a ChatGPT-4 cuando se trata de juegos de palabras como Wordle? Para averiguarlo, Michael G. Madden, profesor establecido de Ciencias de la Computación en la Universidad de Galway, decidió probar las habilidades del chatbot en el popular juego de rompecabezas de palabras.
Los jugadores de Wordle tienen seis intentos para adivinar una palabra de cinco letras, y el juego indica qué letras, si las hay, están en las posiciones correctas de la palabra.
Madden descubrió que a pesar de que ChatGPT-4 fue entrenado en alrededor de 500 mil millones de palabras de fuentes como Wikipedia, artículos científicos y libros de dominio público, su desempeño en acertijos de Wordle fue sorprendentemente pobre.
Madden probó el chatbot en un rompecabezas de Wordle donde conocía la ubicación correcta de dos letras en una palabra con el patrón “#E#L#”, donde “#” representaba las letras desconocidas.
La respuesta fue “harinosa”. Sin embargo, cinco de las seis respuestas de ChatGPT-4 no coincidieron con el patrón, y algunas de sus sugerencias fueron “beryl”, “feral”, “heral”, “merle”, “revel” y “pearl”.
Aunque en ocasiones el chatbot logró encontrar soluciones válidas utilizando diferentes combinaciones de letras, su desempeño general en los rompecabezas de Wordle fue inconsistente.
Por ejemplo, cuando se le dio el patrón “##OS#”, el chatbot generó cinco opciones correctas, pero cuando se le presentó el patrón “#R#F#”, proporcionó solo dos palabras que no contenían la letra F y sugirió una palabra inexistente “Traff”.
Restricciones de los modelos de lenguaje
La razón de las dificultades de ChatGPT-4 radica en las limitaciones de cómo los modelos de lenguaje funcionan y representan palabras. En esencia, el chatbot se basa en una red neuronal compleja, que es esencialmente una función matemática que asigna entradas a salidas.
Sin embargo, dado que las redes neuronales solo pueden operar con entradas numéricas, se utiliza un programa tokenizador para traducir palabras en números para que la red neuronal las procese.
Desafortunadamente, este proceso de traducción no preserva la estructura de las letras dentro de las palabras, lo que dificulta que ChatGPT-4 razone de manera efectiva sobre letras individuales.
Si bien puede parecer sorprendente que un modelo de lenguaje entrenado con un vocabulario extenso tenga dificultades con los crucigramas básicos, el proceso de codificación utilizado por las redes neuronales es una limitación fundamental, según Madden.
Soluciones potenciales
Para abordar este desafío, Madden propone dos posibles soluciones para futuros modelos de lenguaje. El primero implica ampliar los datos de entrenamiento para incluir asignaciones de cada posición de letra dentro de cada palabra del diccionario.
La segunda solución es aún más interesante y ampliamente aplicable. El trabajo reciente de Madden en Toolformer ha demostrado el potencial de los modelos de lenguaje para generar código para resolver problemas, como los cálculos aritméticos, donde normalmente tienen dificultades.
En resumen, si bien ChatGPT-4 puede sobresalir en conversaciones y resúmenes, su desempeño en rompecabezas de Wordle resalta las complejidades de representar y manipular palabras usando redes neuronales.
ⓒ 2023 . .
