El equipo de investigación de IA de Qualcomm ha logrado recientemente un avance significativo al implementar Stable Diffusion, un popular modelo generativo de texto a imagen basado en IA, en un teléfono inteligente que utiliza AI Stack de la compañía.
Stable Diffusion, que consta de más de mil millones de parámetros, anteriormente estaba restringido a servidores en la nube debido a su tamaño. Sin embargo, al utilizar Qualcomm AI Stack, los investigadores de Investigación de IA de Qualcomm Pudieron llevar a cabo optimizaciones de IA de pila completa para permitir que Stable Diffusion se ejecutara en un teléfono inteligente Android.
Según la compañía, esta es la primera vez que Stable Diffusion se implementa utilizando un dispositivo móvil.
Cómo Qualcomm hizo esto posible
La compañía afirma que Qualcomm AI Stack permite a los OEM y desarrolladores crear, optimizar e implementar aplicaciones de IA en los productos de Qualcomm mientras maximizan el rendimiento de Qualcomm AI Engine.
¿Pero cómo lo han hecho? IA de Qualcomm La investigación comenzó con el modelo de código abierto FP32 versión 1-5 de abrazando la cara, una plataforma de ciencia de datos. Luego, los investigadores realizaron optimizaciones de cuantificación, compilación y aceleración de hardware para que el modelo Stable Diffusion se ejecutara en el último conjunto de chips Snapdragon 8 Gen 2 operado en un teléfono móvil.
Los investigadores de Qualcomm AI utilizaron la cuantificación posterior al entrenamiento del AI Model Efficiency Toolkit para reducir el modelo. La cuantificación mejora el rendimiento y ahorra energía al permitir que el modelo funcione bien en hardware específico de IA y utilice menos ancho de banda de memoria.
El marco directo de Qualcomm AI Engine organiza las operaciones correctamente. Esto ayuda a mejorar el rendimiento y reducir las pérdidas de memoria. Estas mejoras surgieron porque los investigadores de optimización de la IA y los equipos de ingeniería de compiladores trabajaron juntos para mejorar la forma en que se gestiona la memoria en la inferencia de la IA.
Generador de arte AI ahora disponible en Android
Como resultado de esta optimización de pila completa, Stable Diffusion ahora puede generar una imagen de 512×512 píxeles a partir de 20 pasos de inferencia en menos de 15 segundos en un teléfono inteligente, con entrada de texto completamente ilimitada por parte del usuario. Mira este vídeo de Qualcomm:
Qualcomm afirma que este es el tiempo de inferencia más rápido jamás registrado en un teléfono inteligente y es comparable a la latencia de la nube. Aunque Stable Diffusion es un modelo grande, codifica conocimientos sustanciales sobre el habla y las imágenes, lo que le permite generar prácticamente cualquier imagen imaginable.
según ZDNetQualcomm demostrará Stable Diffusion ejecutándose localmente en un teléfono inteligente premium con el último chipset Snapdragon 8 Gen 2 de la compañía por primera vez en el Mobile World Congress (MWC).
Qualcomm reclamó un récord de velocidad para su software Stable Diffusion, que, según dice, nunca antes se había ejecutado localmente en Android. Sin embargo, El borde informa que el desarrollador Ivon Huang ha demostrado que la tecnología se puede ejecutar en un Sony Xperia 5 II usando un Qualcomm Snapdragon 865 y 8 GB de RAM. Huang señaló que generar una imagen de 512 x 512 tomó una hora.
Apple también lanzó las optimizaciones necesarias para ejecutar Stable Diffusion en su marco Core ML en aproximadamente un minuto. Sin embargo, el software de Qualcomm es aún más rápido y solo tarda un minuto en generar una imagen de 512 x 512 en un iPhone 13.
Manténgase informado aquí en Tech Times.
ⓒ 2023 . .
Etiquetas:
