La música y la inteligencia artificial (IA) es el desarrollo de programas de software musical que utilizan IA para generar música. [1] Al igual que con las aplicaciones en otros campos, la IA en la música también simula tareas mentales. Una característica destacada es la capacidad de un algoritmo de IA para aprender basándose en datos pasados, como en la tecnología de acompañamiento por computadora, donde la IA es capaz de escuchar a un intérprete humano y realizar un acompañamiento. [2] La inteligencia artificial también impulsa la tecnología de composición interactiva, donde una computadora compone música en respuesta a una presentación en vivo. Hay otras aplicaciones de IA en la música que cubren no solo la composición, producción e interpretación musical, sino también cómo se comercializa y consume la música. También se han desarrollado varios programas de reproducción de música para utilizar el reconocimiento de voz y la tecnología de procesamiento del lenguaje natural para el control de la voz musical. La investigación actual incluye la aplicación de IA en la composición musical , la interpretación , la teoría y el procesamiento de sonido digital .
Erwin Panofsky propuso que en todo arte existen tres niveles de significado: el significado primario, o el tema natural; el significado secundario, o el tema convencional; y el significado terciario, el contenido intrínseco del tema. [3] [4] La música de IA explora el más importante de estos, creando música sin la "intención" que generalmente está detrás de ella, lo que deja a los compositores que escuchan piezas generadas por máquinas sintiéndose inquietos por la falta de significado aparente. [5]
La inteligencia artificial tiene sus orígenes en la música, con el problema de la transcripción: registrar con precisión una interpretación en notación musical a medida que se toca. El esquema de un "rollo de piano" de Père Engramelle , un modo de registrar automáticamente el tiempo y la duración de las notas de una manera que pudiera transcribirse fácilmente a la notación musical correcta a mano, fue implementado por primera vez por los ingenieros alemanes JF Unger y J. Hohlfield en 1752. [6]
En 1957, el ILLIAC I (Illinois Automatic Computer) produjo la "Suite Illiac para cuarteto de cuerdas", una pieza musical completamente generada por computadora. La computadora fue programada para lograr esto por el compositor Lejaren Hiller y el matemático Leonard Isaacson . [5] : v–vii En 1960, el investigador ruso Rudolf Zaripov publicó el primer artículo mundial sobre composición musical algorítmica utilizando la computadora Ural-1 . [7]
En 1965, el inventor Ray Kurzweil desarrolló un software capaz de reconocer patrones musicales y sintetizar nuevas composiciones a partir de ellos. La computadora apareció por primera vez en el concurso de preguntas y respuestas I've Got a Secret . [8]
En 1983, el sistema musical Kansei de Yamaha Corporation había ganado impulso y en 1989 se publicó un artículo sobre su desarrollo. El software utilizó técnicas de procesamiento de información musical e inteligencia artificial para resolver esencialmente el problema de transcripción de melodías más simples, aunque las melodías de nivel superior y las complejidades musicales se consideran incluso hoy en día como tareas difíciles de aprendizaje profundo, y la transcripción casi perfecta sigue siendo un tema de investigación. [6] [9]
En 1997, un programa de inteligencia artificial llamado Experimentos en Inteligencia Musical (EMI) pareció superar a un compositor humano en la tarea de componer una pieza musical para imitar el estilo de Bach . [10] EMI luego se convertiría en la base de un algoritmo más sofisticado llamado Emily Howell , llamado así por su creadora.
En 2002, el equipo de investigación musical del Laboratorio de Ciencias Informáticas de Sony en París, dirigido por el compositor y científico francés François Pachet , diseñó el Continuator, un algoritmo excepcionalmente capaz de reanudar una composición después de que un músico en vivo la detuviera. [11]
Emily Howell continuaría realizando avances en inteligencia artificial musical, publicando su primer álbum From Darkness, Light en 2009. [12] Desde entonces, se han publicado muchas más piezas de inteligencia artificial y de diversos grupos.
En 2010, Iamus se convirtió en la primera IA en producir un fragmento de música clásica contemporánea original, en su propio estilo: "Iamus' Opus 1". Ubicado en la Universidad de Málaga (España), el ordenador puede generar una pieza totalmente original en una variedad de estilos musicales. [13] [5] : 468–481 Agosto de 2019, un gran conjunto de datos que consta de 12.197 canciones MIDI, cada una con sus letras y melodías (https://github.com/yy1lab/Lyrics-Conditioned-Neural-Melody-Generation), fue creado para investigar la viabilidad de la generación de melodías neuronales a partir de letras utilizando un método LSTM-GAN condicional profundo.
Con el avance de la IA generativa , han comenzado a surgir modelos capaces de crear composiciones musicales completas (incluidas las letras) a partir de una simple descripción de texto. Dos aplicaciones web notables en este campo son Suno AI , lanzada en diciembre de 2023, y Udio , que le siguió en abril de 2024. [14]
Desarrollado en la Universidad de Princeton por Ge Wang y Perry Cook, ChucK es un lenguaje multiplataforma basado en texto. [15] Al extraer y clasificar las técnicas teóricas que encuentra en las piezas musicales, el software puede sintetizar piezas completamente nuevas a partir de las técnicas que ha aprendido. [16] La tecnología es utilizada por SLOrk (Stanford Laptop Orchestra) [17] y PLOrk (Princeton Laptop Orchestra).
Jukedeck era un sitio web que permitía a las personas usar inteligencia artificial para generar música original libre de regalías para usar en videos. [18] [19] El equipo comenzó a desarrollar la tecnología de generación de música en 2010, [20] formó una empresa en torno a ella en 2012, [21] y lanzó el sitio web públicamente en 2015. [19] La tecnología utilizada fue originalmente un sistema de composición algorítmica basado en reglas , [22] que luego fue reemplazado por redes neuronales artificiales . [18] El sitio web se utilizó para crear más de 1 millón de piezas musicales, y las marcas que lo utilizaron incluyeron Coca-Cola , Google , UKTV y el Museo de Historia Natural de Londres . [23] En 2019, la empresa fue adquirida por ByteDance . [24] [25] [26]
MorpheuS [27] es un proyecto de investigación de Dorien Herremans y Elaine Chew en la Queen Mary University de Londres , financiado por un proyecto Marie Skłodowská-Curie de la UE. El sistema utiliza un enfoque de optimización basado en un algoritmo de búsqueda de vecindad variable para transformar piezas de plantilla existentes en piezas nuevas con un nivel establecido de tensión tonal que cambia dinámicamente a lo largo de la pieza. Este enfoque de optimización permite la integración de una técnica de detección de patrones para reforzar la estructura a largo plazo y los temas recurrentes en la música generada. Las piezas compuestas por MorpheuS se han interpretado en conciertos tanto en Stanford como en Londres.
Creado en febrero de 2016 en Luxemburgo , AIVA es un programa que produce bandas sonoras para cualquier tipo de medio. Los algoritmos detrás de AIVA se basan en arquitecturas de aprendizaje profundo [28] AIVA también se ha utilizado para componer una canción de rock llamada On the Edge [29] , así como una melodía pop Love Sick [30] en colaboración con la cantante Taryn Southern [ 31 ] para la creación de su álbum de 2018 "I am AI".
El equipo Magenta de Google ha publicado varias aplicaciones musicales de IA y documentos técnicos desde su lanzamiento en 2016. [32] En 2017 lanzaron el algoritmo y el conjunto de datos NSynth , [33] y un instrumento musical de hardware de código abierto , diseñado para facilitar a los músicos el uso del algoritmo. [34] El instrumento fue utilizado por artistas notables como Grimes y YACHT en sus álbumes. [35] [36] En 2018, lanzaron una aplicación de improvisación de piano llamada Piano Genie. A esto le siguió más tarde Magenta Studio, un conjunto de 5 complementos MIDI que permiten a los productores musicales elaborar sobre la música existente en su DAW. [37] En 2023, su equipo de aprendizaje automático publicó un documento técnico en GitHub que describía MusicLM, un generador privado de texto a música que habían desarrollado. [38] [39]
Riffusion es una red neuronal , diseñada por Seth Forsgren y Hayk Martiros, que genera música utilizando imágenes de sonido en lugar de audio. [40] Fue creada como un ajuste fino de Stable Diffusion , un modelo de código abierto existente para generar imágenes a partir de indicaciones de texto, en espectrogramas . [40] Esto da como resultado un modelo que utiliza indicaciones de texto para generar archivos de imagen, que pueden pasar por una transformada de Fourier inversa y convertirse en archivos de audio. [41] Si bien estos archivos solo duran unos segundos, el modelo también puede usar el espacio latente entre las salidas para interpolar diferentes archivos juntos. [40] [42] Esto se logra utilizando una funcionalidad del modelo Stable Diffusion conocida como img2img . [43]
La música resultante ha sido descrita como " de otro mundo ", [44] aunque es poco probable que reemplace a la música creada por el hombre. [44] El modelo se puso a disposición el 15 de diciembre de 2022, y el código también está disponible de forma gratuita en GitHub . [41] Es uno de los muchos modelos derivados de Stable Diffusion. [43]
Riffusion se clasifica dentro de un subconjunto de generadores de texto a música con IA. En diciembre de 2022, Mubert [45] utilizó de manera similar Stable Diffusion para convertir texto descriptivo en bucles musicales. En enero de 2023, Google publicó un artículo sobre su propio generador de texto a música llamado MusicLM. [46] [47]La inteligencia artificial tiene la oportunidad de influir en la manera en que los productores crean música al ofrecer repeticiones de una canción que siguen una indicación dada por el creador. Estas indicaciones permiten que la IA siga un determinado estilo que el artista está intentando seguir. [5]
La IA también se ha utilizado en el análisis musical, donde se ha utilizado para la extracción de características, el reconocimiento de patrones y las recomendaciones musicales. [48]
La inteligencia artificial ha tenido un gran impacto en el sector de la composición, ya que ha influido en las ideas de los compositores y productores y tiene el potencial de hacer que la industria sea más accesible para los recién llegados. Con su desarrollo en la música, ya se ha visto que se utiliza en colaboración con los productores. Los artistas utilizan este software para ayudar a generar ideas y sacar a la luz estilos musicales al incitar a la IA a seguir requisitos específicos que se ajusten a sus necesidades. Los futuros impactos de la tecnología en la composición incluyen la emulación y fusión de estilos, y la revisión y el refinamiento. El desarrollo de este tipo de software puede facilitar el acceso a los recién llegados a la industria de la música. [5] Los productores han utilizado software como ChatGPT para realizar estas tareas, mientras que otros software como Ozone11 se han utilizado para automatizar actividades que consumen mucho tiempo y son complejas, como la masterización . [49]
En Estados Unidos, el marco legal actual tiende a aplicar las leyes tradicionales de derechos de autor a la IA, a pesar de sus diferencias con el proceso creativo humano. [50] Sin embargo, las producciones musicales generadas únicamente por IA no reciben protección por derechos de autor. En el compendio de las Prácticas de la Oficina de Derechos de Autor de Estados Unidos , la Oficina de Derechos de Autor ha declarado que no concedería derechos de autor a “obras que carezcan de autoría humana” y “la Oficina no registrará obras producidas por una máquina o un mero proceso mecánico que funcione de forma aleatoria o automática sin ningún aporte creativo o intervención de un autor humano”. [51] En febrero de 2022, la Junta de Revisión de Derechos de Autor rechazó una solicitud de protección por derechos de autor de obras de arte generadas por IA sobre la base de que “carecían de la autoría humana requerida necesaria para sustentar una reclamación por derechos de autor”. [52]
La situación en la Unión Europea (UE) es similar a la de los EE. UU., porque su marco legal también enfatiza el papel de la participación humana en una obra protegida por derechos de autor. [53] Según la Oficina de Propiedad Intelectual de la Unión Europea y la jurisprudencia reciente del Tribunal de Justicia de la Unión Europea , el criterio de originalidad requiere que la obra sea una creación intelectual propia del autor, que refleje la personalidad del autor evidenciada por las elecciones creativas realizadas durante su producción, requiere un nivel distinto de participación humana. [53] El proyecto reCreating Europe, financiado por el programa de investigación e innovación Horizonte 2020 de la Unión Europea, profundiza en los desafíos que plantean los contenidos generados por IA, incluida la música, y sugiere seguridad jurídica y protección equilibrada que fomente la innovación respetando las normas de derechos de autor. [53] El reconocimiento de AIVA marca un alejamiento significativo de las opiniones tradicionales sobre la autoría y los derechos de autor en el ámbito de la composición musical, permitiendo a los artistas de IA ser capaces de lanzar música y ganar regalías. Esta aceptación marca a AIVA como una instancia pionera en la que una IA ha sido formalmente reconocida dentro de la producción musical. [54]
Los recientes avances en inteligencia artificial realizados por grupos como Stability AI , OpenAI y Google han generado una enorme cantidad de demandas por derechos de autor contra la tecnología generativa, incluida la música con inteligencia artificial. Si estas demandas prosperan, los conjuntos de datos de los modelos de aprendizaje automático que sustentan estas tecnologías quedarían restringidos al dominio público. [55]
Un desarrollo más incipiente de la IA en la música es la aplicación de deepfakes de audio para convertir la letra o el estilo musical de una canción preexistente en la voz o el estilo de otro artista. Esto ha suscitado muchas preocupaciones con respecto a la legalidad de la tecnología, así como a la ética de su empleo, en particular en el contexto de la identidad artística. [56] Además, también ha planteado la cuestión de a quién se atribuye la autoría de estas obras. Como la IA no puede tener autoría propia, la especulación actual sugiere que no habrá una respuesta clara hasta que se dicten más sentencias sobre las tecnologías de aprendizaje automático en su conjunto. [57] Las medidas preventivas más recientes han comenzado a desarrollarse por parte de Google y el grupo Universal Music, que han incorporado regalías y atribución de créditos para permitir que los productores repliquen las voces y los estilos de los artistas. [58]
En 2023, un artista conocido como ghostwriter977 creó un deepfake musical llamado " Heart on My Sleeve " que clonó las voces de Drake y The Weeknd al ingresar una variedad de pistas solo vocales de los respectivos artistas en un algoritmo de aprendizaje profundo, creando un modelo artificial de las voces de cada artista, al que este modelo podría asignarse sobre voces de referencia originales con letras originales. [59] La pista fue presentada para su consideración al Grammy como mejor canción de rap y canción del año. [60] Se volvió viral y ganó tracción en TikTok y recibió una respuesta positiva de la audiencia, lo que llevó a su lanzamiento oficial en Apple Music , Spotify y YouTube en abril de 2023. [61] Muchos creyeron que la pista estaba completamente compuesta por un software de inteligencia artificial, pero el productor afirmó que la composición, la producción y las voces originales (antes de la conversión) todavía las hizo él. [59] Más tarde sería rescindido de cualquier consideración de los Grammy debido a que no seguía las pautas necesarias para ser considerado para un premio Grammy. [61] La canción terminaría siendo eliminada de todas las plataformas de música por Universal Music Group . [61] La canción fue un momento decisivo para la clonación de voz por IA, y desde entonces se han creado modelos para cientos, si no miles, de cantantes y raperos populares.
En 2013, el cantante de música country Randy Travis sufrió un derrame cerebral que lo dejó sin poder cantar. Mientras tanto, el vocalista James Dupré realizó una gira en su nombre, cantando sus canciones para él. Travis y el productor de toda la vida Kyle Lehning lanzaron una nueva canción en mayo de 2024 titulada " Where That Came From ", la primera canción nueva de Travis desde su derrame cerebral. La grabación utiliza tecnología de inteligencia artificial para recrear la voz de Travis, habiendo sido compuesta a partir de más de 40 grabaciones vocales existentes junto con las de Dupré. [62] [63]
El Dr. Larson se sintió herido cuando el público concluyó que su pieza (una forma sencilla y atractiva llamada invención en dos partes) fue escrita por la computadora. Pero se sintió un poco apaciguado cuando los oyentes decidieron que la invención compuesta por EMI (pronunciado
Emmy
) era Bach genuino.