El MIT e IBM han colaborado para desarrollar una nueva herramienta destinada a ayudar a los usuarios a seleccionar el método de inteligencia artificial (IA) apropiado, según Noticias del MIT.
En escenarios del mundo real donde se utilizan modelos de aprendizaje automático, es crucial que los usuarios humanos determinen cuándo confiar en las predicciones hechas por estos modelos.
Sin embargo, debido a la complejidad de estos modelos, incluso sus creadores a menudo carecen de una comprensión integral de cómo generan predicciones. Para abordar este desafÃo, los investigadores han desarrollado métodos de prominencia que tienen como objetivo explicar el comportamiento de estos modelos.
Tarjetas de prominencia
Al reconocer que continuamente se introducen nuevos métodos de prominencia, investigadores del MIT e IBM Research han ideado una herramienta para ayudar a los usuarios a elegir el método de prominencia más adecuado para sus tareas especÃficas.
Han creado tarjetas de prominencia, que ofrecen documentación estandarizada de cómo opera un método, que contienen información sobre sus fortalezas, debilidades y explicaciones para facilitar una interpretación precisa.
La coautora principal Angie Boggust, estudiante de posgrado en ingenierÃa eléctrica e informática en el MIT, explica que la intención es capacitar a los usuarios para que seleccionen deliberadamente el método de prominencia apropiado según el tipo de modelo de aprendizaje automático que están utilizando y la tarea que realizan. está realizando.
Los investigadores realizaron entrevistas con expertos en inteligencia artificial y profesionales de diversos campos, revelando que las tarjetas de prominencia facilitan una comparación rápida de diferentes métodos, lo que permite a los usuarios elegir la técnica más adecuada para su tarea.
Al seleccionar el método correcto, los usuarios obtienen una comprensión más precisa del comportamiento de su modelo y pueden interpretar correctamente sus predicciones.
Boggust enfatiza que las tarjetas de prominencia están diseñadas para proporcionar un resumen conciso de un método de prominencia, destacando sus atributos más crÃticos de una manera centrada en el usuario.
Las tarjetas están dirigidas a una amplia gama de usuarios, incluidos investigadores de aprendizaje automático e individuos que buscan comprender y seleccionar un método destacado por primera vez.
Lo que provocó una mayor investigación
Además de facilitar la selección del método, las tarjetas de relevancia sirven como medio para identificar lagunas en la investigación. Los investigadores descubrieron que no pudieron identificar un método de prominencia que fuera computacionalmente eficiente y universalmente aplicable a cualquier modelo de aprendizaje automático.
Este hallazgo ha provocado más investigaciones para explorar si existe dicho método o si existe un conflicto inherente entre estos dos requisitos.
El equipo llevó a cabo un estudio de usuarios en el que participaron ocho expertos en el campo, incluidos informáticos y un radiólogo que no estaba familiarizado con el aprendizaje automático. Los participantes encontraron que las descripciones concisas proporcionadas por las tarjetas de prominencia eran valiosas para priorizar atributos y comparar métodos.
En particular, incluso el radiólogo, a pesar de no estar familiarizado con el aprendizaje automático, pudo comprender las tarjetas y utilizarlas para participar en el proceso de selección del método.
De cara al futuro, los investigadores pretenden investigar los atributos que han recibido menos evaluación y potencialmente crear métodos de prominencia diseñados especÃficamente para determinadas tareas.
Además, buscan mejorar su comprensión de cómo los individuos perciben los resultados de los métodos de prominencia, lo que podrÃa resultar en representaciones visuales mejoradas.
Para fomentar la colaboración y recibir aportes valiosos, los investigadores están haciendo que su trabajo sea accesible en un repositorio público.
Boggust visualiza las tarjetas de prominencia como documentos vivos que evolucionarán junto con el desarrollo de nuevos métodos y evaluaciones de prominencia. En última instancia, esta iniciativa marca el comienzo de una conversación más amplia sobre los atributos de los métodos de prominencia y su relevancia para diferentes tareas.
â“’ 2023 . .
