stringtranslate.com

Sonificación

Vídeo con datos sobre la contaminación del aire de Pekín transmitidos en formato de pieza musical

La sonificación es el uso de audio no hablado para transmitir información o percibir datos. [1] La percepción auditiva tiene ventajas en resolución temporal, espacial, de amplitud y frecuencia que abren posibilidades como alternativa o complemento a las técnicas de visualización .

Por ejemplo, la frecuencia de clic de un contador Geiger transmite el nivel de radiación en las inmediaciones del dispositivo.

Aunque se han explorado muchos experimentos con sonificación de datos en foros como la Comunidad Internacional para la Visualización Auditiva (ICAD), la sonificación enfrenta muchos desafíos para su uso generalizado para presentar y analizar datos. Por ejemplo, los estudios muestran que es difícil, pero esencial, proporcionar un contexto adecuado para interpretar las sonificaciones de datos. [1] [2] Muchos intentos de sonificación se codifican desde cero debido a la falta de herramientas flexibles para la investigación de la sonificación y la exploración de datos. [3]

Historia

El contador Geiger , inventado en 1908, es una de las primeras y más exitosas aplicaciones de la sonificación. Un contador Geiger tiene un tubo de gas a baja presión; cada partícula detectada produce un pulso de corriente cuando ioniza el gas, lo que produce un clic audible. La versión original solo era capaz de detectar partículas alfa. En 1928, Geiger y Walther Müller (un estudiante de doctorado de Geiger) mejoraron el contador para que pudiera detectar más tipos de radiación ionizante.

En 1913, el Dr. Edmund Fournier d'Albe de la Universidad de Birmingham inventó el optófono , que utilizaba fotosensores de selenio para detectar la letra negra y convertirla en una salida audible. [4] Un lector ciego podía acercar un libro al dispositivo y sostener un aparato en el área que quería leer. El optófono reproducía un grupo determinado de notas: sol do' re' mi' sol' si' do mi . Cada nota correspondía a una posición en el área de lectura del optófono, y esa nota se silenciaba si se detectaba tinta negra. Por lo tanto, las notas que faltaban indicaban las posiciones en las que había tinta negra en la página y podían usarse para leer.

En 1954, Pollack y Ficks publicaron los primeros experimentos perceptivos sobre la transmisión de información a través de una pantalla auditiva. [5] Experimentaron combinando dimensiones del sonido como el tiempo, la frecuencia, la intensidad, la duración y la espacialización y descubrieron que podían lograr que los sujetos registraran cambios en múltiples dimensiones a la vez. Estos experimentos no entraron en muchos más detalles, ya que cada dimensión tenía solo dos valores posibles.

En 1970, Nonesuch Records lanzó una nueva composición de música electrónica del compositor estadounidense Charles Dodge , "The Earth's Magnetic Field". Fue producida en el Centro de Música Electrónica de Columbia-Princeton . Como sugiere el título, los sonidos electrónicos de la composición fueron sintetizados a partir de datos del campo magnético de la Tierra. Como tal, bien puede ser la primera sonificación de datos científicos con fines artísticos, en lugar de científicos. [6]

John M. Chambers , Max Mathews y FR Moore de los Laboratorios Bell realizaron el primer trabajo sobre gráficos auditivos en su memorando técnico "Inspección de datos auditivos" en 1974. [7] Ampliaron un diagrama de dispersión utilizando sonidos que variaban a lo largo de las dimensiones de frecuencia, contenido espectral y modulación de amplitud para usarlos en la clasificación. No realizaron ninguna evaluación formal de la efectividad de estos experimentos. [8]

En 1976, el filósofo de la tecnología, Don Ihde, escribió: "Así como la ciencia parece producir un conjunto infinito de imágenes visuales para prácticamente todos sus fenómenos (los átomos y las galaxias nos resultan familiares en los libros de mesa de café y en las revistas científicas), así también las 'músicas' podrían producirse a partir de los mismos datos que producen visualizaciones". [9] Esta parece ser una de las primeras referencias a la sonificación como práctica creativa.

A principios de 1982, Sara Bly, de la Universidad de California en Davis, publicó dos publicaciones (con ejemplos) de su trabajo sobre el uso de sonido generado por computadora para presentar datos. En ese momento, el campo de la visualización científica estaba ganando impulso. Entre otras cosas, sus estudios y los ejemplos que los acompañaban comparaban las propiedades entre la presentación visual y auditiva, demostrando que "el sonido ofrece una mejora y una alternativa a las herramientas gráficas". Su trabajo proporciona datos experimentales tempranos para ayudar a informar sobre la correspondencia de la representación de datos adecuada con el tipo y el propósito. [10] [11]

También en la década de 1980, los oxímetros de pulso se empezaron a utilizar de forma generalizada. Los oxímetros de pulso pueden sonificar la concentración de oxígeno en sangre emitiendo tonos más altos para concentraciones más altas. Sin embargo, en la práctica, esta característica particular de los oxímetros de pulso puede no ser ampliamente utilizada por los profesionales médicos debido al riesgo de demasiados estímulos de audio en entornos médicos. [12]

En 1992, Gregory Kramer fundó la Comunidad Internacional para la Visualización Auditiva (ICAD, por sus siglas en inglés) como un foro para la investigación sobre la visualización auditiva , que incluye la sonificación de datos. Desde entonces, la ICAD se ha convertido en un hogar para investigadores de muchas disciplinas diferentes interesados ​​en el uso del sonido para transmitir información a través de sus conferencias y actas revisadas por pares. [13]

En mayo de 2022, la NASA informó sobre la sonificación (conversión de datos astronómicos asociados a ondas de presión en sonido ) del agujero negro en el centro del cúmulo de galaxias de Perseo . [14] [15]

En 2024, Adhyâropa Records lanzó The Volcano Listening Project de Leif Karlstrom, que fusiona la investigación geofísica y la síntesis de música por computadora con interpretaciones instrumentales y vocales acústicas de Billy Contreras , Todd Sickafoose y otros músicos acústicos. [16]

Algunas aplicaciones y proyectos existentes

Técnicas de sonificación

Se pueden alterar muchos componentes diferentes para cambiar la percepción del sonido por parte del usuario y, a su vez, su percepción de la información subyacente que se está representando. A menudo, un aumento o disminución en algún nivel de esta información se indica mediante un aumento o disminución del tono , la amplitud o el tempo , pero también se podría indicar variando otros componentes menos utilizados. Por ejemplo, un precio de la bolsa de valores se podría representar mediante un tono ascendente a medida que el precio de la acción subiera y un tono descendente a medida que bajara. Para permitir que el usuario determine que se está representando más de una acción, se podrían utilizar diferentes timbres o brillos para las diferentes acciones, o se podrían reproducir para el usuario desde diferentes puntos en el espacio, por ejemplo, a través de diferentes lados de sus auriculares.

Se han realizado muchos estudios para intentar encontrar las mejores técnicas para presentar los distintos tipos de información, pero hasta el momento no se ha formulado ningún conjunto concluyente de técnicas que se puedan utilizar. Como el área de la sonificación todavía se considera incipiente, los estudios actuales están trabajando para determinar el mejor conjunto de componentes de sonido que se puedan variar en diferentes situaciones.

Se pueden clasificar varias técnicas diferentes para la representación auditiva de datos:

Un enfoque alternativo a la sonificación tradicional es la "sonificación por reemplazo", por ejemplo, el procesamiento afectivo melódico pulsado (PMAP). [53] [54] [55] En PMAP, en lugar de sonificar un flujo de datos, el protocolo computacional son los datos musicales en sí mismos, por ejemplo, MIDI. El flujo de datos representa un estado no musical: en PMAP, un estado afectivo. Los cálculos se pueden realizar directamente sobre los datos musicales y los resultados se pueden escuchar con un mínimo de traducción.

Véase también

Referencias

  1. ^ ab Kramer, Gregory, ed. (1994). Visualización auditiva: sonificación, audificación e interfaces auditivas . Santa Fe Institute Studies in the Sciences of Complexity. Vol. Actas, volumen XVIII. Reading, MA: Addison-Wesley. ISBN 978-0-201-62603-2.
  2. ^ Smith, Daniel R.; Walker, Bruce N. (2005). "Efectos de las señales de contexto auditivo y el entrenamiento en el desempeño de una tarea de sonificación por estimación puntual". Revista de psicología cognitiva aplicada . 19 (8): 1065–1087. doi :10.1002/acp.1146.
  3. ^ Flowers, JH (2005), "Trece años de reflexión sobre gráficos auditivos: promesas, trampas y posibles nuevas direcciones" (PDF) , en Brasil, Eoin (ed.), Actas de la 11.ª Conferencia Internacional sobre Visualización Auditiva , págs. 406–409
  4. ^ Fournier d'Albe, EE (mayo de 1914), "Sobre un optófono lector de tipos", Actas de la Royal Society de Londres
  5. ^ Pollack, I. y Ficks, L. (1954), "Información de las representaciones auditivas multidimensionales elementales", Journal of the Acoustical Society of America , 26 (1): 136, Bibcode :1954ASAJ...26Q.136P, doi : 10.1121/1.1917759
  6. ^ Dodge, C. (1970), El campo magnético de la Tierra, vol. Nonesuch Records-H-71250
  7. ^ Chambers, JM; Mathews, MV; Moore, F. R (1974), Inspección de datos de auditoría (Memorando técnico), AT&T Bell Laboratories, 74-1214-20
  8. ^ Frysinger, SP (2005), "Una breve historia de la representación de datos auditivos hasta la década de 1980" (PDF) , en Brasil, Eoin (ed.), Actas de la 11.ª Conferencia Internacional sobre Visualización Auditiva , págs. 410–413
  9. ^ Ihde, Don (4 de octubre de 2007). Escucha y voz: fenomenologías del sonido, segunda edición . SUNY Press. pág. xvi. ISBN 978-0-7914-7256-9.
  10. ^ Bly, S. (1982), Sound and Computer Information Presentation, vol. Tesis doctoral, Universidad de California, Davis, págs. 1–127, doi : 10.2172/5221536
  11. ^ Bly, S., "Presentación de información en sonido", Actas de la conferencia de 1982 sobre factores humanos en sistemas informáticos - CHI '82 , págs. 371–375, doi : 10.1145/800049.801814
  12. ^ Craven, RM; McIndoe, AK (1999), "Monitoreo auditivo continuo: ¿cuánta información registramos?" (PDF) , British Journal of Anaesthesia , 83 (5): 747–749, doi : 10.1093/bja/83.5.747 , PMID  10690137[ enlace muerto ]
  13. ^ Kramer, G.; Walker, BN (2005), "Ciencia del sonido: diez conferencias internacionales sobre visualización auditiva", ACM Transactions on Applied Perception , 2 (4): 383–388, CiteSeerX 10.1.1.88.7945 , doi :10.1145/1101530.1101531, S2CID  1187647 
  14. ^ Watzke, Megan; Porter, Molly; Mohon, Lee (4 de mayo de 2022). "Nuevas sonificaciones de agujeros negros de la NASA con un remix". NASA . Consultado el 11 de mayo de 2022 .
  15. ^ Overbye, Dennis (7 de mayo de 2022). "Escuche los extraños sonidos del canto de un agujero negro: como parte de un esfuerzo por "sonificar" el cosmos, los investigadores han convertido las ondas de presión de un agujero negro en algo audible". The New York Times . Consultado el 11 de mayo de 2022 .
  16. ^ "El proyecto de escucha de volcanes". volcanolisteningproject.org . Consultado el 16 de septiembre de 2024 .
  17. ^ Quincke, G. (1897). "Un termómetro acústico para temperaturas altas y bajas". Annalen der Physik . 299 (13): 66–71. Código bibliográfico : 1897AnP...299...66Q. doi : 10.1002/andp.18972991311. ISSN  0003-3804.
  18. ^ Ismailogullari, Abdullah; Ziemer, Tim (2019). "Reloj de paisaje sonoro: composiciones de paisajes sonoros que muestran la hora del día". Conferencia internacional sobre visualización auditiva . Vol. 25. págs. 91–95. doi : 10.21785/icad2019.034 . hdl :1853/61510. ISBN . 978-0-9670904-6-7.
  19. ^ LIGO Gravitational Wave Chirp, 11 de febrero de 2016, archivado desde el original el 22 de diciembre de 2021 , consultado el 15 de septiembre de 2021
  20. ^ Hunt, A.; Hermann, T.; Pauletto, S. (2004). "Interacción con sistemas de sonificación: cerrando el círculo". Actas. Octava Conferencia Internacional sobre Visualización de la Información, 2004. IV 2004. págs. 879–884. doi :10.1109/IV.2004.1320244. ISBN 0-7695-2177-0.S2CID 9492137  .
  21. ^ Thomas Hermann y Andy Hunt. La importancia de la interacción en la sonificación . Actas de la décima reunión de la Conferencia internacional sobre visualización auditiva de la ICAD, Sydney, Australia, 6 al 9 de julio de 2004. Disponible en línea
  22. ^ Sandra Pauletto y Andy Hunt. Un conjunto de herramientas para la sonificación interactiva . Actas de la décima reunión de la Conferencia Internacional sobre Visualización Auditiva de la ICAD, Sydney, Australia, 6 al 9 de julio de 2004. Disponible en línea.
  23. ^ Kather, Jakob Nikolas; Hermann, Thomas; Bukschat, Yannick; Kramer, Tilmann; Schad, Lothar R.; Zöllner, Frank Gerrit (2017). "Sonificación polifónica de señales de electrocardiografía para diagnóstico de patologías cardíacas". Informes científicos . 7 : Número de artículo 44549. Bibcode :2017NatSR...744549K. doi :10.1038/srep44549. PMC 5357951 . PMID  28317848. 
  24. ^ Edworthy, Judy (2013). "Alarmas audibles médicas: una revisión". J Am Med Inform Assoc . 20 (3): 584–589. doi :10.1136/amiajnl-2012-001061. PMC 3628049. PMID  23100127 . 
  25. ^ Woerdeman, Peter A.; Willems, Peter WA; Noordsmans, Herke Jan; Berkelbach van der Sprenken, Jan Willem (2009). "Retroalimentación auditiva durante la cirugía guiada por imágenes sin marco en un modelo fantasma y experiencia clínica inicial". J Neurosurg . 110 (2): 257–262. doi :10.3171/2008.3.17431. PMID  18928352.
  26. ^ Ziemer, Tim; Black, David (2017). "Sonificación motivada psicoacústicamente para cirujanos". Revista internacional de radiología y cirugía asistida por computadora . 12 ((Suppl 1):1): 265–266. arXiv : 1611.04138 . doi :10.1007/s11548-017-1588-3. PMID  28527024. S2CID  51971992.
  27. ^ Ziemer, Tim; Black, David; Schultheis, Holger (2017). Diseño de sonificación psicoacústica para navegación en intervenciones quirúrgicas . Actas de reuniones sobre acústica. Vol. 30. p. 050005. doi : 10.1121/2.0000557 .
  28. ^ Ziemer, Tim; Black, David (2017). "Sonificación psicoacústica para la guía de instrumentos médicos rastreados". Revista de la Sociedad Acústica de América . 141 (5): 3694. Código Bibliográfico :2017ASAJ..141.3694Z. doi :10.1121/1.4988051.
  29. ^ Nagel, F; Stter, FR; Degara, N; Balke, S; Worrall, D (2014). "Guía rápida y precisa: tiempos de respuesta a los sonidos de navegación". Conferencia internacional sobre visualización auditiva . hdl :1853/52058.
  30. ^ Flórez, L (1936). "Verdadero vuelo a ciegas". J Aeronauta Ciencia . 3 (5): 168-170. doi :10.2514/8.176.
  31. ^ abc Ziemer, Tim; Schultheis, Holger; Black, David; Kikinis, Ron (2018). "Sonificación interactiva psicoacústica para navegación de corto alcance". Acta Acustica United with Acustica . 104 (6): 1075–1093. doi :10.3813/AAA.919273. S2CID  125466508.
  32. ^ abc Ziemer, Tim; Schultheis, Holger (2018). "Pantalla auditiva psicoacústica para navegación: un sistema de asistencia auditiva para tareas de orientación espacial". Journal on Multimodal User Interfaces . 2018 (Número especial: Sonificación interactiva): 205–218. doi :10.1007/s12193-018-0282-2. S2CID  53721138 . Consultado el 24 de enero de 2019 .
  33. ^ Mannone, Maria (2018). "Nudos, música y ADN". Revista de sistemas musicales creativos . 2 (2). arXiv : 2003.10884 . doi :10.5920/jcms.2018.02. S2CID  64956325.
  34. ^ "SPDF - Sonificación". jcms.org.uk/ . 2005-11-13. Archivado desde el original el 2005-11-13 . Consultado el 2021-09-15 .
  35. ^ Hinckfuss, Kelly; Sanderson, Penelope; Loeb, Robert G.; Liley, Helen G.; Liu, David (2016). "Nuevas sonificaciones de oximetría de pulso para la monitorización de la saturación de oxígeno neonatal". Factores humanos . 58 (2): 344–359. doi :10.1177/0018720815617406. PMID  26715687. S2CID  23156157.
  36. ^ Sanderson, Penelope M.; Watson, Marcus O.; Russell, John (2005). "Pantallas avanzadas de monitorización de pacientes: herramientas para la información continua". Anesthesia & Analgesia . 101 (1): 161–168. doi : 10.1213/01.ANE.0000154080.67496.AE . PMID  15976225.
  37. ^ Schwarz, Sebastian; Ziemer, Tim (2019). "Un diseño de sonido psicoacústico para la oximetría de pulso". Conferencia internacional sobre visualización auditiva . Vol. 25. págs. 214–221. doi : 10.21785/icad2019.024 . hdl :1853/61504. ISBN. 978-0-9670904-6-7.
  38. ^ Schuett, Jonathan H.; Winton, Riley J.; Batterman, Jared M.; Walker, Bruce N. (2014). "Informes meteorológicos auditivos". Actas de la 9.ª edición de Audio Mostly: una conferencia sobre interacción con el sonido . AM '14. Nueva York, NY, EE. UU.: ACM. págs. 17:1–17:7. doi :10.1145/2636879.2636898. ISBN . 978-1-4503-3032-9.S2CID5765787  .​
  39. ^ Polli, Andrea (6–9 de julio de 2004). ATMOSPHERICS/WEATHER WORKS: UN PROYECTO DE SONIFICACIÓN DE TORMENTAS MULTICANAL (PDF) . ICAD 04-Décima Reunión de la Conferencia Internacional sobre Visualización Auditiva. Archivado desde el original (PDF) el 2021-07-11.
  40. ^ Yang, Jiajun; Hermann, Thomas (20-23 de junio de 2017). COMPUTACIÓN PARALELA DE LA SONIFICACIÓN DE LA TRAYECTORIA DE PARTÍCULAS PARA HABILITAR LA INTERACTIVIDAD EN TIEMPO REAL (PDF) . La 23.ª Conferencia Internacional sobre Visualización Auditiva.
  41. ^ "Justin Joque". justinjoque.com . Consultado el 21 de mayo de 2019 .
  42. ^ Banf, Michael; Blanz, Volker (2013). "Sonificación de imágenes para personas con discapacidad visual mediante un enfoque multinivel". Actas de la 4.ª Conferencia Internacional sobre Humanos Aumentados . Nueva York, Nueva York, EE. UU.: ACM Press. pp. 162–169. doi :10.1145/2459236.2459264. ISBN . 978-1-4503-1904-1.S2CID 7505236  .
  43. ^ Banf, Michael; Mikalay, Ruben; Watzke, Baris; Blanz, Volker (junio de 2016). "PictureSensation: una aplicación móvil para ayudar a los ciegos a explorar el mundo visual a través del tacto y el sonido". Revista de Ingeniería de Tecnologías de Rehabilitación y Asistencia . 3 : 205566831667458. doi :10.1177/2055668316674582. ISSN  2055-6683. PMC 6453065. PMID 31186914  . 
  44. ^ CURAT. «Juegos y entrenamiento para cirugía mínimamente invasiva». Proyecto CURAT . Universidad de Bremen . Consultado el 15 de julio de 2020 .
  45. ^ Winkler, Helena; Schade, Eve Emely Sophie; Kruesilp, Jatawan; Ahmadi, Fida. "Inclinación: el nivel de burbuja que utiliza el sonido". Inclinación . Universidad de Bremen . Consultado el 21 de abril de 2021 .
  46. ^ Silberman, S. (6 de febrero de 2012). "Dentro de la mente de un sinestésico". PLOS ONE.
  47. ^ Weidenfeld, J. 28 de septiembre de 2013. "10 formas geniales de crear música con tecnología". Listserve.
  48. ^ Byrne, M. 14 de febrero de 2012. "Con imágenes para los oídos, Sonified gana en realidad aumentada con sinestesia personalizada". Vice / Motherboard
  49. ^ "PriceSquawk". pricesquawk.com . 15 de enero de 2014.
  50. ^ Barrass S. (2012) Fabricación digital de sonificaciones acústicas, Journal of the Audio Engineering Society, septiembre de 2012. en línea
  51. ^ Barrass, S. y Best, G. (2008). Diagramas de sonificación basados ​​en flujos. Actas de la 14.ª Conferencia internacional sobre visualización auditiva, IRCAM, París, 24-27 de junio de 2008. en línea
  52. ^ Barrass S. (2009) Desarrollo de la práctica y la teoría de la sonificación basada en flujos. Scan: Journal of Media Arts Culture , Universidad Macquarie .
  53. ^ Kirke, Alexis; Miranda, Eduardo (6 de mayo de 2014). "Procesamiento afectivo melódico pulsado: estructuras musicales para aumentar la transparencia en el cómputo emocional". Simulación . 90 (5): 606. doi :10.1177/0037549714531060. hdl : 10026.1/6621 . S2CID  15555997.
  54. ^ "Hacia extensiones armónicas del procesamiento afectivo melódico pulsado: nuevas estructuras musicales para aumentar la transparencia en el cálculo emocional" (PDF) . 2014-11-11 . Consultado el 2017-06-05 .
  55. ^ "Un estudio de caso de computación híbrida para computación virtual no convencional". 2015-06-01 . Consultado el 2017-06-05 .

Enlaces externos

Wikimedia Commons tiene medios relacionados con Sonificación .