Una nueva investigación de la Universidad de Washington, la Universidad Carnegie Mellon y la Universidad Xi’an Jiaotong ha revelado que los modelos de lenguaje de IA albergan diversos sesgos políticos. En un estudio que involucró 14 grandes modelos de lenguaje, los investigadores descubrieron que ChatGPT y GPT-4 de OpenAI se inclinaban hacia el libertario de izquierda, mientras que LLaMA de Meta se inclinaba hacia el autoritarismo de derecha.
Para determinar estas inclinaciones políticas, los investigadores plantearon preguntas sobre feminismo, democracia y otros temas a los modelos lingüísticos. Estas respuestas luego se trazaron en una brújula política, Revisión de tecnología del MIT informó.
Curiosamente, el estudio encontró que entrenar los modelos con datos más sesgados políticamente condujo a cambios en su comportamiento y capacidad para identificar el discurso de odio y la desinformación.
¿ChatGPT de OpenAI a la izquierda?
A medida que los modelos de lenguaje de IA se integran más en productos y servicios ampliamente utilizados, comprender sus sesgos políticos se vuelve imperativo debido a las consecuencias tangibles que estos sesgos conllevan.
OpenAI, la empresa detrás de ChatGPT, ha sido criticada por comentaristas de derecha que sostienen que el chatbot encarna una perspectiva liberal.
OpenAI ha respondido asegurando que está abordando activamente estas preocupaciones y guiando a los revisores humanos para evitar favorecer a ningún grupo político en particular durante el proceso de refinamiento del modelo de IA.
Sin embargo, el equipo de investigación sigue teniendo dudas. Según Chan Park de la Universidad Carnegie Mellon, es poco probable que cualquier modelo de lenguaje de IA esté completamente exento de sesgos políticos.
Los investigadores deconstruyeron la evolución de los modelos de lenguaje de IA mediante un análisis de tres etapas. Inicialmente, incitaron a los modelos a responder a declaraciones con carga política, trazando sus inclinaciones políticas inherentes. Sorprendentemente, los modelos de IA mostraron orientaciones políticas distintivas.
Por ejemplo, los modelos BERT de Google mostraron una sensación de conservadurismo social en comparación con los modelos GPT de OpenAI. Esta divergencia podría deberse a que los modelos BERT más antiguos se entrenaron en fuentes de libros más conservadoras, mientras que los modelos GPT más nuevos se influenciaron en textos liberales de Internet.
En la fase posterior del estudio, los modelos GPT-2 y RoBERTa de Meta se sometieron a un reentrenamiento utilizando conjuntos de datos que contenían noticias y contenido de redes sociales de fuentes tanto de izquierda como de derecha. Este proceso afianzó aún más los sesgos preexistentes de los modelos.
La etapa final reveló cómo las inclinaciones políticas de los modelos de IA influyeron en su clasificación del discurso de odio y la desinformación. Los modelos entrenados con datos de izquierda fueron más sensibles al discurso de odio dirigido a grupos minoritarios, mientras que los entrenados con datos de derecha fueron sensibles al discurso de odio contra hombres cristianos blancos.
¿Puede la limpieza de datos ayudar a reducir el sesgo de la IA?
A pesar de los intentos de eliminar los sesgos de los conjuntos de datos, los sesgos de los modelos de IA persisten debido a las limitaciones inherentes a la limpieza de datos. Soroush Vosoughi, del Dartmouth College, subraya que, si bien la limpieza de datos podría ayudar, es insuficiente para erradicar por completo el sesgo.
Además, los modelos de IA pueden descubrir sesgos incluso sutiles presentes en los datos. Aunque el estudio tiene limitaciones, incluido el examen de modelos relativamente más antiguos y la falta de acceso a sistemas de última generación, los hallazgos enfatizan la importancia de comprender y abordar los sesgos políticos en los modelos de IA.
A medida que se acelera la integración de la IA, los investigadores reconocen que la prueba de la brújula política, si bien se utiliza ampliamente, no es una manera perfecta de medir todos los matices que rodean la política.
Los hallazgos del estudio fueron publicado en la conferencia de la Asociación de Lingüística Computacional y ganó el premio al mejor artículo.
ⓒ 2023 . .
