VALÈNCIA (EP). Un equipo de la Universidad de Washington se preguntó si la inteligencia artificial podría recrear la experiencia interpretativa de los músicos y sus instrumentos utilizando solo señales visuales.
Los investigadores utilizaron el aprendizaje automático para crear un sistema, llamado Audeo, que crea audio a partir de interpretaciones de piano silenciosas.
Cuando el equipo probó la música que Audeo creó con aplicaciones de reconocimiento de música, como SoundHound, las aplicaciones identificaron correctamente la pieza que Audeo reproducía aproximadamente el 86% del tiempo. A modo de comparación, estas aplicaciones identificaron la pieza en las pistas de audio de los videos fuente el 93% del tiempo.
Los investigadores presentaron Audeo en la conferencia NeurIPS 2020, en diciembre.
"Crear música que suene como si pudiera tocarse en una interpretación musical se creía anteriormente imposible", dijo en un comunicado el autor principal Eli Shlizerman, profesor asistente en los departamentos de matemáticas aplicadas y de ingeniería eléctrica e informática.
"Un algoritmo necesita descubrir las señales, o 'características', en los fotogramas de video que están relacionados con la generación de música, y necesita 'imaginar' el sonido que está sucediendo entre los fotogramas de video. Requiere un sistema que sea a la vez preciso e imaginativo. El hecho de que logramos una música que sonaba bastante bien fue una sorpresa ".
Audeo usa una serie de pasos para decodificar lo que está sucediendo en el video y luego traducirlo a música. Primero, tiene que detectar qué teclas se presionan en cada cuadro de video para crear un diagrama a lo largo del tiempo. Luego, debe traducir ese diagrama en algo que un sintetizador de música realmente reconozca como un sonido que haría un piano. Este segundo paso limpia los datos y agrega más información, como con qué fuerza se presiona cada tecla y durante cuánto tiempo.
"Si intentamos sintetizar música desde el primer paso, encontraríamos que la calidad de la música es insatisfactoria", dijo Shlizerman. "El segundo paso es como cómo un maestro repasa la música de un estudiante de compositor y ayuda a mejorarla".
Los investigadores entrenaron y probaron el sistema utilizando videos de YouTube del pianista Paul Barton. La formación consistió en unos 172.000 fotogramas de vídeo de Barton tocando música de compositores clásicos conocidos, como Bach y Mozart. Luego probaron Audeo con casi 19.000 fotogramas de Barton tocando música diferente de estos compositores y otros, como Scott Joplin.
Una vez que Audeo ha generado una transcripción de la música, es hora de dársela a un sintetizador que pueda traducirla en sonido. Cada sintetizador hará que la música suene un poco diferente; esto es similar a cambiar la configuración de "instrumento" en un teclado eléctrico. Para este estudio, los investigadores utilizaron dos sintetizadores diferentes.
"Fluidsynth produce sonidos de piano de sintetizador con los que estamos familiarizados. Son algo mecánicos pero bastante precisos", dijo Shlizerman. "También usamos PerfNet, un nuevo sintetizador de IA que genera música más rica y expresiva. Pero también genera más ruido".
Audeo fue entrenado y probado solo en videos de piano de Paul Barton. Se necesitan investigaciones futuras para ver cómo de bien puede transcribir música para cualquier músico o piano, dijo Shlizerman.
"El objetivo de este estudio era ver si la inteligencia artificial podía generar música interpretada por un pianista en una grabación de video, aunque no pretendíamos replicar a Paul Barton porque es un virtuoso", dijo Shlizerman. "Esperamos que nuestro estudio permita formas novedosas de interactuar con la música. Por ejemplo, una aplicación futura es que Audeo se puede extender a un piano virtual con una cámara que graba solo las manos de una persona. Además, colocando una cámara encima de un piano, Audeo podría potencialmente ayudar en nuevas formas de enseñar a los estudiantes a tocar".