Investigadores de la Universidad de Washington han creado una IA llamada Audeo que puede reproducir música realista simplemente analizando vídeos de piano mudos.
Ahora incluso la inteligencia artificial es capaz de reproducir digitalmente cualquier sonido de un piano de forma realista, simplemente analizando un vídeo mudo.
Un equipo de investigadores de la Universidad de Washington ha creado la inteligencia artificial llamada Audeo que incorpora una especie de software inteligente previamente entrenado con 172.000 fotogramas de vídeo del pianista Paul Barton tocando música de compositores clásicos como Mozart o Bach.
Audeo AI es capaz de tocar el piano virtualmente
Simplemente analizando un vídeo silencioso, Audeo AI es capaz de aprender cuidadosamente qué teclas se presionan y cuál es su orden. De esta manera determina las notas individuales y su disposición. También es capaz de sentir con qué fuerza se toca cada una de las teclas y cuánto tiempo se mantienen presionadas, lo que le permite calcular la intensidad de cada nota y cuánto tiempo permanece bajo el sonido de las notas tocadas posteriormente. Por si fuera poco, la IA también es capaz de comprender las características acústicas distintivas de los pianos.
Estos datos se convierten a un formato que puede ser entendido por un sintetizador digital, y cuando ese sintetizador reproduce el archivo de música, es muy parecido al sonido del piano original.
En una de sus sorprendentes pruebas, Audeo AI pudo aprender una canción a través de videos mudos del compositor Barton mientras tocaba piezas musicales distintivas.
Luego, aplicaciones de reconocimiento musical como SoundHound analizaron dichas producciones realizadas por la inteligencia artificial, siendo capaces de reconocer la pieza musical con una precisión de alrededor del 86%. A modo de comparación, cuando esta aplicación analizó el audio del piano original, su precisión de reconocimiento aumentó al 93%.
