Daten auf neue Weise hörbar machen

Daten lassen sich nicht nur grafisch darstellen, sondern sie können auch hörbar gemacht werden. Das bezeichnet man als Sonifikation. Dr. Thomas Hermann vom Exzellenzcluster CITEC hat dafür ein grundlegend neuartiges Verfahren entwickelt – und wurde nun von der International Community for Auditory Display (ICAD) ausgezeichnet.

Dr. Thomas Hermann vom CITEC ist mit dem „Best Paper Award“ ausgezeichnet worden. Foto: CITEC/Universität Bielefeld Ob es sich um ein Klimadiagramm handelt, ein EKG oder um den Strömungswiderstand, dem ein Schwimmer bei seinen Bewegungen ausgesetzt ist: Das alles sind Daten. Sie lassen sich auf Papier oder auf einem Bildschirm betrachten und auswerten. Das aber ist nicht der einzige Zugang: Man kann sie auch hörbar machen.

Dafür sind ganz verschiedene Verfahren möglich, die im Wesentlichen Varianten von fünf Ansätzen sind. Dr. Thomas Hermann vom Exzellenzcluster Kognitive Interaktionstechnologie (CITEC) der Universität Bielefeld hat mit der Wave Space Sonification einen weiteren Ansatz entwickelt. Dafür wurde er nun mit dem Best Paper Award der International Community for Auditory Display (ICAD) ausgezeichnet. 

Doch warum sollte man Daten überhaupt vertonen? Reicht es nicht, sie zu sehen? „Wir wandeln Daten in Klänge um, damit wir sie besser verstehen können, denn das Ohr und Auge sind auf das Interpretieren unterschiedlicher Muster spezialisiert“, sagt Hermann. „Wenn ich zum Beispiel ein Audiogramm eines Musikstücks von Mozart und von Bon Jovi sehe, dann wirkt das auf dem Papier zunächst einmal relativ ähnlich.“ Hört man die Signale aber, werden die Unterschiede sofort offensichtlich. Das Hören hilft dabei, harmonische und rhythmische Strukturen intuitiv zu erfassen, die man auf den ersten Blick nicht sieht. Um Unterschiede zu hören, braucht man nicht einmal ein besonders feines Gehör. „Wir Menschen haben ein ausgezeichnetes Gespür für Klänge und für ihre Veränderungen“, sagt der Forscher.

Methoden, um Daten hörbar zu machen, werden seit den frühen 1990er Jahren entwickelt. Die Ansätze unterscheiden sich in der Weise, wie Daten zu Klang werden. So lassen sie sich beispielsweise 1:1 vertonen wie bei einem Geigerzähler. Das Verfahren, dass Hermann nun am CITEC entwickelt hat, bettet die Daten in einen virtuellen Raum ein, in dem sie sich auf einer Bahn oder Kurve bewegen. 

Dies eignet sich besonders gut für rhythmische Daten, wie zum Beispiel dem EKG des Herzschlags. Der mehrdimensionale Raum wird mit Audiodaten befüllt und so zum Wellenraum oder Wave Space. Das Verfahren heißt entsprechend Wave Space Sonification (WSS). Der Wave Space wird entlang der virtuellen Bahnen abgetastet und in Klang umgesetzt. Auf diese Weise hat Hermann periodisch auftretende Sonnenflecken und Epilepsie hörbar gemacht (Klangbeispiele unter https://pub.uni-bielefeld.de/data/2919709).

Mit der WSS lassen sich auch Nuancen gut erfassen – im Grunde ähnlich wie bei der menschlichen Sprache. „Über Sprache können wir durch Wörter Sachinformationen übermitteln“, sagt der Wissenschaftler. „Aber dabei schwingt viel mit – man hört zum Beispiel, ob die Sprecherin oder der Sprecher aufgeregt oder müde ist oder vielleicht Halsschmerzen hat.“ Ähnlich ermöglicht die WSS es, solche Nebendaten zu hören.

Hermann sieht insbesondere zwei Anwendungsgebiete für die WSS. Zum einen bietet sie sich für biomedizinische Daten an. „Wenn eine Ärztin operiert, dann hat sie die Augen beim Patienten – aber sie kann weiterhin hören“, sagt er. Auch für Sport und Rehabilitationstraining könnte die WSS gut geeignet sein. Wer sich bewegt, hört damit sofort eine Rückmeldung und kann Bewegungen direkt anpassen. „Ich will WSS als nächstes auf Bewegungsdaten anwenden und die Nützlichkeit in mehreren Studien erforschen“, sagt Hermann. 

Über die Auszeichnung mit dem „Best Paper Award“ der ICAD freut sich Hermann sehr. „Es ist nicht selbstverständlich, dass ein qualitativ gänzlich neuer Ansatz sofort so gut angenommen wird“, sagt er. Die Arbeit wurde aus rund 60 Einsendungen ausgewählt. Es ist damit bereits das zweite Mal, dass Hermann einen grundlegenden Ansatz zur Sonifikation entwickelt hat. 1999 erfand er bereits die mittlerweile international etablierte modellbasierte Sonifikation.

Originalveröffentlichung:
Hermann, T. (2018). Wave Space Sonification. Proceedings of the 24th International Conference on Auditory Display (ICAD 2018) Michigan: ICAD. https://pub.uni-bielefeld.de/publication/2919707

Kontakt:
Dr. rer. nat. Thomas Hermann, Universität Bielefeld
Exzellenzcluster Kognitive Interaktionstechnologie (CITEC) / Technische Fakultät
Telefon: 0521 106-12140
E-Mail: thermann@techfak.uni.bielefeld.de

Autorin des Artikels: Maria Berentzen