Data Sonification

ClimArt – als künstlerisches Projekt – hat sich letzte Woche zusammen mit Boris Joens, www.felsenbein.com, die Frage gestellt, wie man Daten, jenseits der klassischen Form von Tabellen oder Diagrammen, auch alternativ darstellen könnte. Häufig werden Daten visualisiert, Grafana bietet uns da ja jede Menge Möglichkeiten, von Linien-, Balken, Kreisdiagrammen bis hin zu Carpet-Plots oder anderen eher ausgefallenen charts. Hier z.B. ein klassisches Linien-Diagramm mit Temperatur-Daten am ZK/U der letzen 2 Tage:

Eine weitere Möglichkeit – intuitiver oder weniger intuitiv sei erst einmal dahin gestetllt – ist die Umwandlung von Daten zu Sound, engl. Sonification.

Nach einer (sehr) kurzen Recherche ist mir als webbasiertes tool TwoTone https://twotone.io (direkt https://twotone-midiout-beta.netlify.app) aufgefallen. Dort kann man Daten (z.B. als CSV) hochladen und bekommt eine im Browser abspielbare aber auch downloadbare Sound-Datei, die man mit einigen Parametern über die Weboberfläche anpassen kann:

Aus meinen etwas aufbereiteteten Rohdaten (ich habe nur jeden 8. Datensatz verwendet, sonst wird die sound file zu lange) …

zku-weather-station_temperature_2023-07-14-12h-to-2023-07-16-12h.csv (12.8 KB)

… wurde aus den Temperatur-Daten oben diese sound-Datei:

Als base line habe ich den timestamp einfach mit sonifiziert, das gibt etwas mehr Abwechslung mit den wechselnden dissonanten und konsonanten Intervallen. :-)

Was meint ihr? Cool, hot oder Kunstsch … halt! :-)

Witzigerweise gibt es bei TwoTone auch zwei Beispiel-Daten mit Bezug zu “uns”, einmal Honey Production in the USA (1998-2012) und dann Declines in abundance of insects in Denmark over 22 years! Hier ein Auszug aus Honey Production in Online-Tutoria von TwoTone!

Ein interessantes feature von TwoTone ist die Daten zu filtern, damit kann man verschiedenen ranges der Daten, z.B. hoch, mittel, niedrig mit unterschiedlichen Instumenten belegen oder auch – wie hier – mit Arpeggios aus unterschiedlich vielen Noten, in der UI etwas komisch mit “Track Tempo” benannt, sehr cool, wie man hier hören kann:

1 Like

Sehr interessant zuzuhören. Sir Simon Rattle hatte ich einmal in der Philharmonie bei einem Konzert bewundert, wo hauptsächlich seine Lieblingsmusiker die Schlagzeuger das sagen hatten. Deine erzeugte Musik geht in diese Richtung. Ich finde es einen tollen Ansatz, der dir hier gelungen ist. Man muss es halt mögen!

Hier unsere Temperaturdaten von oben ähnlich aufbereitet:

Hi Clemens,

schöne Idee - wenn es was mit FOSS Code / API gibt, bau ich Dir gern eine Exporteumelei für Kotori dazu. UX: Zu wenig Bass, zu viel Geklimper – macht zu wenig :boom: – gibt es was mit mehr Pfeffer?

Liebe Grüße,
Andreas.

1 Like

Ah, ist es ja. – GitHub - sonifydata/twotone: An open-source data sonification and data-driven music web app

Wollt Ihr das in den Live Betrieb nehmen bei ClimArt? Dann sag Bescheid.

1 Like

Lieben Dank, @Andreas für das Angebot! Erst einmal finde ich es super, dass wir hier ein tool gefunden haben, dass tatsächlich open source ist. Unter die Haube habe ich noch gar nicht geschaut, wie z.B. die Web-UI Parameter übergibt und dann die MP3 ausgespuckt wird. Cool wäre natürlich, wenn wir diesen Prozess server- und kommandozeilenbasiert anstoßen könnten, damit man etwa automatisch einen link für die sonification der letzten Woche erstellen kann o.ä. Lass uns erst mal etwas experimentieren, ob das eine gute Möglichkeit ist, bevor du da Arbeit reinsteckst.

Als weiteres tool habe ich Sonify http://sonify.wpi.edu gefunden. Der Download-Link für Windows ist da leider broken und die Entwickler haben sich auf eine Mail bisher nicht gemeldet. Code unter https://github.com/EAMIRorg/sonify (aber nicht die Windows binary).

Hier eine Liste von Astronomy Sonification Projects Audio Universe - Other Sonification Projects