Gracias por visitarnos y por leer el artículo: Felicidades programador, ChatGPT no tomará tu trabajo, al menos por ahora
Una investigación realizada por la Universidad de Purdue arroja luz sobre el rendimiento del chatbot ChatGPT, desarrollado por OpenAI, en el campo de la programación informática. software que seguro deja a muchos bastante tranquilos.
Según este estudio, más de la mitad de las respuestas proporcionadas por ChatGPT a preguntas relacionadas con la programación de software Resultaron ser incorrectos en términos técnicos. Sin embargo, sorprendentemente, estas respuestas incorrectas lograron convencer a un tercio de los participantes del estudio, lo cual es muy preocupante.
En concreto, el equipo de investigación analizó detenidamente las respuestas generadas por ChatGPT a 517 preguntas relacionadas con el campo de la programación.
Los investigadores evaluaron aspectos como la corrección, consistencia, exhaustividad y concisión de las respuestas proporcionadas por el chatbot. Además, realizaron análisis lingüísticos y de sentimiento sobre las respuestas y preguntaron a los participantes voluntarios sobre la calidad y precisión de las respuestas generadas.
ChatGPT se mete con la programación y más del 50% de sus respuestas estaban equivocadas
Los resultados revelaron que aproximadamente el 52 % de las respuestas de ChatGPT eran incorrectas en términos técnicos. Sin embargo, a pesar de esta inexactitud, el 77% de las respuestas resultaron ser detalladas y muy bien respondidas.
Sorprendentemente, a pesar de la falta de precisión técnica, las respuestas de ChatGPT fueron preferidas en el 39,34 % de los casos debido a su estilo de lenguaje comprensivo y persuasivo. Entre estas respuestas preferidas, el 77% contenía información incorrecta.
Es importante señalar que el desarrollador de esta herramienta basada en inteligencia artificial, OpenAI, reconoce en su sitio web que su chatbot puede proporcionar información inexacta en ciertos casos.
Sin embargo, el equipo de Purdue ha realizado un análisis exhaustivo que sugiere que la falta de precisión técnica no siempre es identificada por los usuarios, especialmente cuando las respuestas se presentan de manera persuasiva y con un estilo en el que es casi imposible desconfiar.
“Los participantes ignoraron la incorrección cuando encontraron que la respuesta de ChatGPT era perspicaz. La forma en que ChatGPT transmite con confianza información perspicaz (incluso cuando la información es incorrecta) gana la confianza del usuario, lo que hace que prefiera la respuesta incorrecta”, mencionan los investigadores.
Mencione que los autores del estudio han compartido su conjunto de datos públicamente, alentando a otros investigadores a reproducir y mejorar sus hallazgos para obtener una imagen más completa de las capacidades del chatbot y las posibles mejoras.
“Sin embargo, siempre sería beneficioso tener un tamaño de muestra más grande”, comentan. “También invitamos a otros investigadores a replicar nuestro estudio: nuestro conjunto de datos está disponible públicamente para fomentar futuras investigaciones”.
