Los modelos de lenguaje grande (LLM) han atraído una atención significativa por su capacidad para generar textos similares a los humanos y realizar diversas tareas relacionadas con el lenguaje. Sin embargo, un nuevo estudio por Kevin Matthe Caramancion de la Universidad de Wisconsin-Stout ha explorado si los LLM pueden identificar eficazmente noticias falsas.
El estudio evaluó el desempeño de destacados LLM, incluidos Chat GPT-3.0 y Chat GPT-4.0 de OpenAI, Bard/LaMDA de Google y Bing AI de Microsoft, proporcionándoles noticias verificadas y evaluando su capacidad para distinguir entre verdadero, falso, e información parcialmente verdadera/falsa.
Utilizando un conjunto de pruebas de 100 noticias verificadas de agencias independientes de verificación de hechos, los modelos se evaluaron en función de su precisión al clasificar las noticias en comparación con los hechos verificados proporcionados por las agencias.
¿Pueden los LLM verificar los hechos?
El estudio encontró que GPT-4.0 de OpenAI demostró un rendimiento superior entre los LLM probados. Sin embargo, es importante señalar que todos los modelos todavía estaban por detrás de los verificadores de datos humanos, lo que subraya el invaluable papel de la cognición humana en la detección de información errónea.
Si bien la desinformación sigue siendo un desafío apremiante en la era digital, el desarrollo de herramientas y plataformas confiables de verificación de datos ha sido una prioridad para los informáticos. A pesar de los avances logrados, es necesario un modelo confiable y ampliamente adoptado para combatir la desinformación de manera efectiva.
El estudio de Caramanción arroja luz sobre el potencial de los LLM para abordar este problema, pero también enfatiza la importancia de combinar capacidades de IA con verificadores de hechos humanos para lograr resultados óptimos.
La investigación destaca la necesidad de avances continuos en los LLM y la integración de la cognición humana en los procesos de verificación de hechos. Los estudios futuros podrían explorar una gama más amplia de escenarios de noticias falsas para evaluar más a fondo el desempeño de los LLM.
Los planes de investigación futuros de Caramanción se centran en estudiar las capacidades cambiantes de la IA y cómo aprovechar estos avances reconociendo al mismo tiempo las capacidades cognitivas únicas de los humanos.
Refinar los protocolos de prueba, explorar nuevos LLM e investigar la relación simbiótica entre la cognición humana y la tecnología de inteligencia artificial en la verificación de datos de noticias son las áreas clave de interés de Caramancion.
Alucinaciones de IA
La cuestión de las alucinaciones de la IA también puede ser relevante para el estudio sobre los LLM y su capacidad para detectar noticias falsas. Las alucinaciones de IA se refieren a casos en los que los modelos de IA generan información falsa o engañosa que parece convincente o precisa pero que carece de base real.
La posibilidad de que los modelos de IA generen información falsa ha preocupado durante mucho tiempo a muchos expertos. Al equipar estos modelos con más capacidades de verificación de hechos, se pueden abordar las preocupaciones sobre las alucinaciones de la IA.
ⓒ 2023 . .
