OpenAI ha anunciado su enfoque para garantizar la seguridad de su sistema de inteligencia artificial, ChatGPT, al revelar sus planes para abordar los desafÃos asociados con la alineación de la superinteligencia.
La organización reconoce que la superinteligencia tiene el potencial de ser a la vez revolucionaria y peligrosa, capaz de resolver problemas globales cruciales o conducir al desempoderamiento humano e incluso a la extinción.
Aunque el desarrollo de la superinteligencia todavÃa puede parecer lejano, OpenAI cree que podrÃa convertirse en realidad dentro de esta década.
Evitar que la IA superinteligente se vuelva deshonesta
Al reconocer la necesidad de una gobernanza y alineación efectivas de los sistemas de IA superinteligentes, OpenAI tiene como objetivo establecer nuevas instituciones y soluciones para garantizar que estos sistemas se adhieran a la intención humana.
“Actualmente, no tenemos una solución para dirigir o controlar una IA potencialmente superinteligente y evitar que se vuelva deshonesta. Nuestras técnicas actuales para alinear la IA, como el aprendizaje reforzado a partir de la retroalimentación humana, dependen de la capacidad de los humanos para supervisar la IA”. OpenAI escribió en un entrada en el blog.
“Pero los humanos no podrán supervisar de manera confiable sistemas de inteligencia artificial mucho más inteligentes que nosotros, por lo que nuestras técnicas de alineación actuales no alcanzarán la superinteligencia. Necesitamos nuevos avances cientÃficos y técnicos”.
Para afrontar este desafÃo, OpenAI pretende construir un investigador de alineación automatizado con capacidades similares a las de un experto humano. Al aprovechar importantes recursos computacionales, OpenAI apunta a escalar sus esfuerzos y alinear iterativamente la superinteligencia.
El enfoque implica varios pasos clave. En primer lugar, OpenAI planea desarrollar un método de formación escalable que emplee sistemas de IA para ayudar a evaluar otros sistemas de IA.
Este enfoque, conocido como supervisión escalable, permite la evaluación de tareas que son difÃciles de evaluar para los humanos. Además, OpenAI pretende comprender y controlar cómo sus modelos generalizan la supervisión a tareas que no pueden supervisarse directamente.
En segundo lugar, OpenAI pretende validar la alineación de sus sistemas automatizando la búsqueda de comportamientos internos y problemáticos. Esto implica garantizar la solidez frente a posibles problemas y desarrollar una interpretabilidad automatizada para comprender los procesos de toma de decisiones del sistema.
Por último, OpenAI llevará a cabo pruebas exhaustivas de su proceso de alineación entrenando deliberadamente modelos desalineados. Esta prueba contradictoria verificará si sus técnicas identifican y abordan eficazmente las desalineaciones más graves.
Principales investigadores de aprendizaje automático
Si bien OpenAI reconoce que las prioridades de investigación pueden evolucionar con el tiempo, la organización sigue comprometida a compartir su hoja de ruta en el futuro.
Para encabezar estos esfuerzos, OpenAI está reuniendo un equipo de los mejores investigadores e ingenieros de aprendizaje automático. Con un enfoque dedicado a la alineación de la superinteligencia, este equipo abordará los desafÃos técnicos centrales durante los próximos cuatro años.
La experiencia de Ilya Sutskever, cofundador y cientÃfico jefe de OpenAI, y Jan Leike, jefe de alineación, serán fundamentales para liderar este equipo. Además, investigadores e ingenieros del equipo de alineación anterior de OpenAI, asà como talentos de otros departamentos, contribuirán a esta iniciativa.
OpenAI anima a los investigadores e ingenieros, incluso aquellos que no han trabajado previamente en alineación, a unirse a su misión. La organización enfatiza la importancia de la alineación de la superinteligencia como un problema acuciante del aprendizaje automático y cree que las contribuciones de las mejores mentes en el campo serán invaluables.
â“’ 2023 . .
