Un nuevo estudio encontró que ChatGPT de OpenAi casi puede aprobar el examen de licencia médica de los Estados Unidos (USMLE) después de obtener alrededor del 60 por ciento del umbral de aprobación.
Los investigadores afirman que la herramienta de IA proporcionó respuestas coherentes con conocimientos frecuentes, según un presione soltar.
Rendimiento USMLE de ChatGPT
ChatGPT es relativamente nuevo, pero ya está circulando y algunos afirman que es el futuro de la tecnología. Lo que hace que la herramienta de inteligencia artificial sea tan popular es su capacidad para generar escritura similar a la humana al predecir con precisión secuencias de palabras gracias a su modelo de lenguaje grande (LLM).
El equipo de investigación encabezado por Tiffany Kung y Victor Tseng evaluó el desempeño de ChatGPT en el USMLE a través de tres pruebas (Pasos 1, 2CK y 3) que están altamente estructuradas y son necesarias para obtener una licencia médica en los EE. UU.
Los estudiantes de medicina toman el USMLE para evaluar su comprensión de las disciplinas médicas, la bioquímica, la bioética y muchas más.
Después de eliminar las preguntas basadas en imágenes, los autores evaluaron la herramienta de inteligencia artificial en 350 de las 376 preguntas públicas de la publicación USMLE de junio de 2022.
Las puntuaciones de ChatGPT en las tres pruebas oscilaron entre el 52,4% y el 75%. Se trata de una tasa casi aprobatoria, ya que el umbral anual ronda el 60%.
ChatGPT mostró una concordancia del 94,6 % en todas sus respuestas y el 88,9 % contenía al menos una idea central o algo novedoso, original y clínicamente válido, según el equipo de investigación.
Más interesante aún, ChatGPT superó a PubMedGPT, un modelo rival entrenado únicamente en literatura del dominio biomédico, que obtuvo una puntuación del 50,8% en un conjunto de datos anterior de preguntas de estilo USMLE.
El potencial de ChatGPT en el campo médico
Aunque el tamaño de entrada relativamente pequeño limitó la profundidad y amplitud de los análisis, los autores señalan que sus hallazgos muestran cómo ChatGPT tiene el potencial de mejorar la práctica clínica y la educación médica.
También citaron el uso de ChatGPT por parte de los médicos de AnsibleHealth para simplificar los informes con mucha jerga para los pacientes.
Según los investigadores, aprobar este desafiante examen de experto sin refuerzo humano es un paso sustancial en el desarrollo clínico de la IA.
Kung también señaló que el papel de ChatGPT en el estudio fue más allá de ser el tema de la investigación, ya que les ayudó a escribir el manuscrito. Trataron a la herramienta de IA como a un colega y le pidieron su opinión de vez en cuando.
Sin embargo, los expertos advierten que los resultados del estudio no indican que la herramienta esté a la altura del conocimiento humano.
“Esto no sugiere ni remotamente que chatGPT tenga conocimientos comparables a los de un humano, ya que la prueba podría ser un buen predictor del rendimiento sólo para aquellos que ya tienen un título de médico y han realizado una residencia, es decir, para una población muy preseleccionada. GPT no sería parte de esto”, dijo Nello Cristianini, profesor de Inteligencia Artificial en la Universidad de Bath, en un comunicado con Centro de medios científicos.
Pero Cristianini señala que el enfoque puede ayudar a los científicos a desarrollar formas de gestionar mejor grandes cantidades de literatura, lo que acelera significativamente el proceso de investigación.
Los resultados del estudio fueron publicados en Más salud digital.
ⓒ 2023 . .
