Los investigadores se están embarcando en un esfuerzo pionero para integrar una característica innata humana, que es la “incertidumbre”, en los sistemas de aprendizaje automático. Esta empresa ofrece beneficios potenciales para mejorar la confianza y la confiabilidad en las colaboraciones entre humanos y máquinas.
Integración del error humano en el aprendizaje automático
Los sistemas de inteligencia artificial (IA) a menudo enfrentan desafíos a la hora de comprender el error humano y la incertidumbre, especialmente en escenarios donde la retroalimentación humana influye en la conducta de los modelos de aprendizaje automático.
Muchos de estos sistemas están diseñados bajo la presunción de que la aportación humana sigue siendo consistentemente precisa y concluyente, descuidando la practicidad de la toma de decisiones humana que abarca errores ocasionales y distintos niveles de seguridad.
Este esfuerzo de colaboración que involucra a la Universidad de Cambridge, el Instituto Alan Turing, Princeton y Google DeepMind tiene como objetivo abordar este problema entre el comportamiento humano y el aprendizaje automático.
Al incorporar la incertidumbre como elemento dinámico, esta investigación se esfuerza por amplificar la efectividad de las aplicaciones de IA en contextos donde la colaboración entre humanos y máquinas es fundamental, mitigando así los riesgos potenciales y reforzando la confiabilidad de estas aplicaciones.
Los investigadores modificaron un conocido conjunto de datos para la clasificación de imágenes para adaptarse a la retroalimentación humana y cuantificar el grado de incertidumbre relacionado con el etiquetado de imágenes específicas.
Significativamente, esta investigación iluminó que entrenar sistemas de IA usando etiquetas inciertas podría mejorar su competencia en el manejo de retroalimentación indeterminada. Sin embargo, también subrayó que la introducción de la participación humana podría resultar en una disminución en el rendimiento general del sistema.
‘Humano-en-el-circuito’
El concepto de sistemas de aprendizaje automático “human-in-the-loop”, diseñados para incorporar retroalimentación humana, es prometedor en situaciones donde los modelos automatizados carecen de la capacidad de tomar decisiones de forma independiente. Sin embargo, surge una pregunta crítica cuando los propios humanos se enfrentan a la incertidumbre.
“La incertidumbre es fundamental en la forma en que los humanos razonan sobre el mundo, pero muchos modelos de IA no tienen esto en cuenta”. dicho primera autora Katherine Collins del Departamento de Ingeniería de Cambridge.
“Muchos desarrolladores están trabajando para abordar la incertidumbre del modelo, pero se ha trabajado menos para abordar la incertidumbre desde el punto de vista de la persona”, añadió Collins.
Matthew Barker, coautor y recién graduado en MEng de Gonville and Caius College, Cambridge, enfatizó la necesidad de recalibrar los modelos de aprendizaje automático para tener en cuenta la incertidumbre humana. Si bien las máquinas pueden entrenarse con confianza, los humanos a menudo enfrentan desafíos para brindar una seguridad similar.
Para sondear esta dinámica, los investigadores utilizaron algunos de los conjuntos de datos de aprendizaje automático de referencia que involucran la clasificación de dígitos y la clasificación de radiografías de tórax e imágenes de aves.
Si bien se simuló la incertidumbre para los dos primeros conjuntos de datos, los participantes humanos indicaron sus niveles de certeza para el conjunto de datos de aves. En particular, la intervención humana dio lugar a “etiquetas suaves”, que indican incertidumbre, que luego los investigadores analizaron para comprender el impacto en los resultados del modelo de IA.
Aunque los hallazgos enfatizaron el potencial de mejorar el desempeño al integrar la incertidumbre humana, también subrayaron los desafíos para alinearlos con el aprendizaje automático.
Reconociendo las limitaciones de su estudio, los investigadores publicaron sus conjuntos de datos para una mayor exploración, invitando a la comunidad de IA a ampliar esta investigación e incorporar la incertidumbre en los sistemas de aprendizaje automático.
El equipo postula que tener en cuenta la incertidumbre en el aprendizaje automático fomenta la transparencia y puede conducir a interacciones más naturales y seguras, particularmente en aplicaciones como los chatbots.
Subrayan la importancia de discernir cuándo confiar en un modelo de máquina y cuándo confiar en el juicio humano, especialmente en la era de la IA. Se presentarán los hallazgos del equipo. Conferencia AAAI/ACM sobre Inteligencia Artificial, Ética y Sociedad (AIES 2023) esta semana.
ⓒ 2023 . .
