Musik stellt die abstrakteste Kunstform dar. Ihr materieller Wert besteht einzig aus der impulsiven Kompression von Luft. Im Unterschied zu Malerei, zu Dichtkunst, zu Literatur oder zu den darstellenden Künsten hat die Musik von sich aus keine visuelle Repräsentation.
      Es gibt zahlreiche Versuche, Musik zu visualisieren. Das Handwerk der Musikdarbietung greift auf verschiedene Formen der Notation zurück, um das Gedächtnis bei der Bedienung des Instruments zu unterstützen. Das Verhältnis von Notation und musikalischem Klang ist in der Moderne fragwürdig geworden und zugleich immer mehr perfektioniert worden. Notenlesen ist eine Liebhaber-Technik zur virtuosen Reproduktion von harmonischen Zusammenhängen. Zum Zweck der technischen Reproduktion von Musik wird die Tonspur eingesetzt. Sei es in der Spieluhr, der Drehorgel, der Vinylschallplatte oder der CD - musikalischer Klang wird als Notation fixiert, um einer technischen Apparatur das Abspielen von Musik zu ermöglichen. Die Notation wird zur Gravur im Material.
      Die Notation bemüht sich um eine Fixierung des Gehörten zum Zweck der menschlichen oder technischen Reproduktion. Die Notation stellt damit keine künstlerische Umsetzung von Musik im Sinne einer Visualisierung dar. Die Notation ist ein Mittel der Wiedergabe.
      Visualisierung von Musik dagegen nimmt die Klänge der Musik als Ausgang, um illusionäre Szenarien zu erstellen, die mit der Musik auf zwingende und swingende Weise verkoppelt sind.
      Hierbei lassen sich verschiedene Formen und Grade der kreativen Umsetzung unterscheiden.

Ein Instrument der technischen Repräsentation ist das Oszilloskop. Das Oszilloskop nimmt den Klang als regelmäßige Schwingung auf und stellt ihn als Kurvenform dar. Sosehr es sich dabei scheinbar um eine unmittelbare technische Übersetzung des physikalischen Phänomens handelt, stellt die Visualisierung als Kurvenform auch eine Interpretation dar. Das musikalische Phänomen wird auf die sinusoidale Schwingung reduziert, um von daher die Universalität der Wellenform behaupten zu können. Die Musik ist Schwingung, das Licht ist Schwingung - und alle Empfindung ist nur Dekoration der synaptischen Impulse.
      Einen originellen Beitrag zur physikalischen Interpretation und Figuration von Klangwellen hat E.F.F. Chladni zu Beginn des 19. Jahrhunderts geleistet. Er streute feines Pulver auf Metallplatten. Wurde ein reiner Geigenton gespielt, gerieten die Metallplatten in Schwingung, und das Pulver formierte sich zu regelmäßigen geometrischen Figuren. Die kreisförmigen Figuren weisen eine direkte Entsprechung zum gespielten Ton auf. Sofern der gleiche Ton gespielt wird, ergibt sich immer die gleiche Figuration. Die Experimente von Chladni stellen ein Prinzip heraus, das bei der automatischen Visualisierung befolgt werden sollte: die Reproduzierbarkeit des visuellen Musters durch Einspielung gleichartiger akustischer Impulse. Da die automatische Visualisierung mehr Variationsmöglichkeiten bietet als das physikalische Experiment, können sich die visuellen Ergebnisse innerhalb einer Visualisierung unterscheiden, auch wenn die musikalischen Impulse identisch sind. Die automatische Visualisierung wird von internen Parametern gesteuert, die eine Rückkopplungsbeziehung zwischen dem Visuellen und dem Akustischen herstellen können. Auch die zeitliche Dimension fließt in die Gestaltung mit ein, da das bereits Gezeigte als gespeicherte Information dem aktuellen Prozess zur Verfügung steht und als Gestaltungsparameter genutzt werden kann. Es muss also nicht die konkrete Form reproduzierbar sein, wohl aber die in der Visualisierung ausgedrückte audio-visuelle Stimmung.
      Die Analogie von Musik und Figuration findet sich noch deutlicher in der Interpretation der Wellenlänge ausgedrückt. Die Analogisierung der akustischen mit der optischen Impression der Wellenlänge gibt der Begriff der Klangfarbe wieder. Die Obertoncharakteristik eines Instruments wird als Farbton imaginiert. Noch weitergehend kann die Chromatik in Analogie gesetzt werden: Die Skala der Spektralfarben lässt sich in Beziehung setzen zur Chromatik der Tonleiter. So verführerisch diese Analogien dem Geist erscheinen mögen, so schematisch sind sie doch andererseits. Eine exakte Entsprechung löst das Rätsel der Farbempfindung ebensowenig wie das der Musikpsychologie; stattdessen werden die offenen Fragen in das Reich der Spekulation über mögliche abstrakte Schemata und Entsprechungen von Skalenwerten verwiesen. Erst jenseits der Spekulation um schematische Lösungen reizt das Verhältnis von Klang und Farbe zu kreativen Auseinandersetzungen.
      Als eine populäre Form von technischer Musik-Illumination kann die Lichtorgel angesehen werden. Die Lichtorgel gibt nicht vor, unmittelbare Repräsentation der physikalischen Wirklichkeit zu sein, sondern stellt eine freie und unterhaltsame Interpretation der klanglichen Intensität dar. Oftmals mit den drei Primärfarben rot, grün, blau werden die Klangimpulse auf einfache Art in Frequenzbänder unterteilt, so dass sich ein Flackern ergibt, wenn die Musik dramatisch wird, während in den ruhigen Passagen ein mildes Glimmen die Musik begleitet. Metrische Regelmäßigkeiten wie der Beat können auf diese Weise zudem teilweise optisch veranschaulicht werden. Die darstellerischen Möglichkeiten der Lichtorgel reichen weiter als die des Oszilloskops, sind aber auch primitiv. Einen Teil ihrer Faszination bezieht die Lichtorgel aus der Einfachheit ihrer Mittel.
      Während das Oszilloskop die Interpretation aus der Wahrnehmung des musikalischen Klangs eliminieren möchte, reizt die Lichtorgel dazu an. Die Lichtorgel baut einen Interpretationsspielraum auf in der audio-visuellen Kommunikation der vibrierenden und sensorischen Elemente. Bei der Betrachtung der Lichtimpulse wird der Zusammenhang zur Musik ideell immer wieder auf neue Weise hergestellt.
      Zwischen diesen beiden Polen der Repräsentation bewegt sich in technischer Hinsicht vermutlich der größte Teil der bekannten Formen von Musik-Visualisierung.

Als prominentes Beispiel von Musikvisualisierung hat sich das Musikvideo herausgebildet. Seit seiner Etablierung als eigenständiger TV-Kanal und Event-Stream Ende der 80er-Jahre hat das Musikvideo mittlerweile wieder viel von seiner Attraktivität verloren. Die Entwürfe innovativer multimedialer Kommunikation sind teilweise von einer Realität überholt worden, deren Effizienzcharakter die Ikonen der Avantgarde zur Staffage degradiert. In ihrer kommerziellen Ausprägung haben sich die Sender der Musikvideos vorschnell den vermeintlichen Bedürfnissen primitiver Identitfikation unterworfen. Die anfangs und zum großen Teil auch heute noch offenen Fragen des Zusammenhangs von Klang und Schema sind einer Bestätigungskultur gewichen. Heute werden die Clips zwischen Moderationsbeiträgen gezeigt. Zur Zeit der Einführung des Musikfernsehens waren die Musikvideos in einen Fluss der Bilder integriert, der weitgehend unmoderiert war, und nur unterbrochen wurde von kunstvoll produzierten Kurzclips, die das Senderlogo variierten. Die in den Pioniertagen ausgespielte Klaviatur der Synästhesie entfaltet sich nicht mehr. Stattdessen sorgt das System der Arbeitsteilung dafür, dass die Musik als Wiedererkennungsmuster genommen werden kann und als Einstiegsmittel dient für kulturelle Stimulation und Distinktion. Musik ist eine Konfektionsware, die Bilder sind dabei bloße Farben des Musters.
      Das Musikvideo greift auf die Tradition der Avantgarde zurück. Im Zeitalter der Maschine erschien die abstrakte Kombination von Musik, Rhythmus und Bild als Vision (Entr'cte und Ballet Méchanique). So wie die Kamera zum Auge werden konnte, und damit die starre Beobachterperspektive aufgelöst wurde, setzte der junge Film abstrakte Bilder in Beziehung zu Rhythmen und Klang (W. Ruttmann).
      Auf der anderen Seite bezieht sich das moderne Musikvideo auch auf die körperliche Umsetzung von Musik im Tanz. Die Kombination von Musik und Tanz hat im Ballet sein künstlerisches Genre. Die konfektionierte Präsentation des Musikvideos bietet heute weniger eine avantgardistische Interpretationen des audio streams, vielmehr handelt es sich um eine choreographierte Inszenierung.
      In der jüngeren Zeit begreifen sich die VJs als künstlerische Fortsetzung der DJ-Kultur. Während die DJ-Praxis zu einem erweiterten Musikbegriff führte, setzen die VJs beim multimedialen Erlebnischarakter des Dance- und Trance-Events an, um diesen zu verfremden, zu erweitern und als solchen erlebbar zu machen. Die VJs knüpfen damit an die ursprüngliche Faszination des Musikvideos an, indem Synästhesie und Integration von Musik und Bild angestrebt wird (vgl. Eye Scratch in Neid #4). Die Techniken der Montage, wie sie in der modernen Musik praktiziert werden, sollen ihre Entsprechung auf der visuellen Ebene finden.
      Auch in der zeitgenössischen Musikvideo-Produktion finden sich Ansätze mit künstlerischem Anspruch. So unterschiedliche Musiker und Image-Strategen wie David Bowie, Pet Shop Boys, Kylie Minogue, Madonna oder Missy Elliot verbinden ihre Musikproduktion mit der Herstellung von visuellem art work, das sich von Sleeve Design über Bühnenshow bis zum Video-Clip erstreckt. Die visuelle Arbeit ist mit dem musikalischen Werk auf eine Art verbunden, die über die Promotion des Tonträgers hinausgeht.
      Während die kreativen Interpretationen von Musik personell gebunden sind und als Ausdruck einer künstlerischen Persönlichkeit aufgenommen werden, ergeben sich im Zusammenhang mit der automatisierten Verarbeitung von Musik neue Formen des visuellen Ausdrucks. Brian Eno hat mit seinem Begriff von Ambient ein frühes Verständnis für den depersonalisierten Raumklang entworfen.
      Schließt man die Augen, ergeben sich vor dem geistigen Auge Bilder. Hört man dazu gleichzeitig Musik, werden die Bilder des geistigen Auges automatisch in Beziehung zur Musik gesetzt. Mit "Fantasia" hat Walt Disney (zusammen mit Oskar Fischinger und anderen) in den 30er-Jahren an die Tradition der Modernen Avantgarde angeknüpft und eine popularisierte Version der "inner mind eye's vision" geliefert. Andere künstlerische Musikvisionen sind im Bereich der angewandten Graphik als Filmtitel-Vorspänne umgesetzt worden. Bei den Filmvorspännen treffen typographischer und bewegter Text mit Musik und modernem Design zusammen. Maurice Binder (James Bond Filme) und Saul Bass (einige Filme von Hitchcock und Scorsese) haben in dieser Gattung künstlerische Arbeiten hervorgebracht, deren Flow das ästhetische Vorbild für die algorithmische Visualisierung von Musik darstellt.
      Durch die algorithmische Interpretation von Musikdaten wird die Visualisierung dynamisiert. Die Visualisierung ist nicht mehr personell gebunden, aber auch nicht bloße Anzeige von Messdaten. Zwischen Musik und Darbietung vermittelt ein spiritueller Automat.

Auf dem Gebiet der Psychoakustik wurden in den letzten Jahren erhebliche Anstrengungen unternommen, die Musikwahrnehmung und -empfindung zu beschreiben und zu begreifen. Dabei wird der Standpunkt eines Gehörlosen eingenommen. Wie lässt sich Musik einem Menschen erklären, dessen akustische Wahrnehmung versiegt ist? Die Psychoakustik liefert entpsychologisierte Paradigmen, mit denen sich jedes Musikerlebnis kategorial beschreiben lässt. In der Hauptsache konzentriert sich die Psychoakustik auf die Metrik und die Dynamik von Musik. Das Spektrogramm wird nicht mehr als Ergebnis einer Analyse angesehen, sondern als Ausgangspunkt für weitergehende Fragen.
      Die Musik an sich ist ein Phantasma, das in seiner ursprünglichen Form zu amorph ist, um als psychisches Erlebnis wahrgenommen zu werden. Die Wahrnehmung von Musik bedeutet die Herstellung von Mustern und Gruppierungen aus dem Gehörten. Erst durch die Strukturierung des Gehörten entsteht die Musik als Klang und Gebilde. Frequenz, Melodie, Harmonie, Dynamik und auch kulturelle Genrezuordnungen sind kategoriale Bestimmungen, die sich im menschlichen Geist sukzessive im Verlauf des Musikhörens herausbilden. Die zeitliche Komponente der Musik ist wesentlich für die kognitive Erfassung von Audioströmen.
      Die Psychoakustik benutzt die avancierten Mittel algorithmisch strukturierbarer Logik, um in der auditory scene analysis die mechanischen Prozesse der Musikwahrnehmung nachzubilden. Die menschliche Wahrnehmung wird als konditionierter Vorgang aufgefasst, dessen Bedingungen in Frage zu stellen oder aufzulösen nicht als Aufgabe der Disziplin angesehen wird, stattdessen sollen die mechanischen und kognitiven Herstellungsprozesse für die algorithmische Analyse und Reproduktion nutzbar gemacht werden.
      In der gewöhnlichen Musikwahrnehmung werden zeitgebundene Impulse in höherwertige Informationen übersetzt. Der Strom von akustischen Ereignissen wird gebündelt und als Rhythmus, Tempo, Klangfarbe etc. wahrgenommen. Neben den technischen Attributen werden der Musik psychologische Attribute gegeben: wild, ruhig, fordernd, flehend etc. Die psychologische Beschreibung von Musik kann als eine höherwertige Kategorisierung von Musik angesehen werden, die sich aus der Kombination der "harten" Daten (Rhythmus, Dynamik, Pitch etc.) ergibt. Die "harten" Daten werden als Features klassifiziert und zu Feature Sets gruppiert, um daraus die höherwertigen Beschreibungsmodelle zu gewinnen.
      Die Psychoakustik versucht, einem Automaten das Musikhören zu erklären. Der Mensch hört zunächst mit dem Ohr und erst an zweiter Stelle mit Hilfe seines gesamten neuronalen Systems. Die Mechanik des Ohrs kann algorithmisch nachgebildet werden. Die Härchen des Innenohrs bieten aufgrund ihrer Mechanik eine gewisse Trägheit der Wahrnehmung, die sich beispielsweise bei der Wahrnehmung von Frequenzunterschieden beobachten lässt. So können wir Tonhöhenunterschiede im tieferen Bereich weitaus besser wahrnehmen als im hohen Frequenzbereich. Auch die Lautstärkenempfindung verläuft nicht linear, sondern logarithmisch. Während die physikalische Druckintensität von Audioereignissen in Pascal oder auch Dezibel gemessen wird, wurden für die psychologisch angemessene Beschreibung verschiedene andere Skalen entwickelt, wie phone oder sone. Die Intensität des Drucks wird nicht linear beschrieben, sondern in den Maßen der empfundenen Lautstärkenentwicklung, da die Empfindlichkeit im lauten Bereich ansteigt. Zudem ist die Lautstärkeempfindung bei verschiedenen Frequenzen unterschiedlich.
      Sammelt man die Features zusammen, die sich aus einem Audiostrom mit den Mitteln psychoakustischer, algorithmischer Intelligenz extrahieren lassen, können die höherwertigen Charakteristiken der Musik unter einfacher Zuhilfenahme einer allgemeinen Tabelle gewonnen werden. Die Charakteristik der Musik kann aus ihrer "materiellen" Form ermittelt werden, ohne dass manuell zugewiesene Metadaten notwendig wären.

Heute sind wir in der Lage, mit der Computertechnik parallel zu Echtzeit-Musik bewegte Bilder zu erzeugen, die nicht mehr statisch an einen künstlerischen Entwurf gebunden sind, sondern sich mit jedem Aufruf neu erzeugen und gleichzeitig die Beziehung zur Musik wahren.
      Die Computer-erzeugten Bildwelten haben eine eigene Ikonographie, die aufgrund des jungen Alters der Technik oftmals noch eng an ihren technischen Herstellungsprozess gebunden ist. So gibt es in der 3D-Graphik bestimmte Muster wie Image Warping, Particle Systems oder Plasma Tunneling, die sich mit erprobten Methoden in Bildsequenzen umsetzen lassen. Ein großer Teil der kursierenden Bildschirmschoner bedient sich des Reservoirs an kanonisierten Methoden, um bewegte Bilder zu erzeugen.
      Die hard- und softwaretechnischen Voraussetzungen zur Musikvisualisierung haben seit der Mitte der 90er Jahre einen Stand erreicht, der es ermöglicht, auf Consumer-Geräten parallel zur Bilderzeugung Audiodaten zu verarbeiten. Eine der ersten softwaretechnischen Umsetzungen ist das Programm "Cthugha", das sich selbst den Beinamen "An Oscilloscope on Acid" gab. Die Software zeichnete in fließender Geschwindigkeit feuerartige Farbflächen in den 256 Farben des Bildschirms. Die Musikdaten lieferte die Soundkarte des Computers, die zu der Zeit erstmalig kommerzielle Musik-CDs wiedergeben konnten. Der Zusammenhang zwischen Audio und Video wurde auf pragmatische Weise hergestellt: Die sinusoidale Form der aktuell gespielten Frequenzwelle wurde als Input genommen für die Erzeugung der Bildformen. Eine pragmatische, aber auch mechanische Lösung, die heute noch oftmals benutzt wird. Auf diese Weise lässt sich mit einfachen Mitteln ein augenfälliger Zusammenhang auf dynamischer Ebene herstellen. Auch Konfigurationsdateien wurden in die Software integriert; die Dateien wurden beim Start des Programms eingelesen und zur Parametrisierung und Alleatorisierung der Formgebung genutzt. Auch dieses Prinzip ist heute noch bei Musikvisualisierungs-Software verbreitet.
      Die Komprimierung von Audiodaten gegen Ende der 90er Jahre führte dazu, dass umfangreiche Sammlungen auf Festplatte archiviert werden können. Zur Verwaltung der Musiksammlungen existieren verschiedene Jukebox-Player. WinAmp ist eines der populärsten Programme auf der Windows-Plattform. Es bietet über eine offen deklarierte Plug-In-Schnittstelle Dritten die Möglichkeit, auf die prozessierten Musikdaten zuzugreifen und den Bildschirm zu colorisieren. Damit liegt es in der Verantwortung der Entwickler von Plug-Ins, auf welche Art und Weise die visuelle Ebene auf die bereitgestellten Audiodaten reagiert. Mit der Definition der Plugin-Schnittstelle fand eine klare Trennung statt zwischen der Digitalen Signalverarbeitung durch die Player-Software und der Visualisierung durch das Plug-In. Durch die klare Trennung konnte der Bezug zwischen den Audiodaten und der Visualisierung eigenständiges Thema der Visualisierung werden. Eines der originellesten Plugins für WinAmp ist "Geiss", das avancierte Transformations-Matrix-Berechnungen für die Erzeugung der visuellen Effekte nutzt.
      Auf der Macintosh-Plattform entwickelte sich SoundJam als eine Playersoftware, die über eine Schnittstelle für Plugins verfügte. Andy O'Meara hat später die Quelldateien für seine Visualisierungen "WhiteCap" und "G-Force" offengelegt. Als Apple Computer Anfang 2001 die Jukebox-Software iTunes für MacOS herausbrachte, brachte der voreingestellte Visualizer die von "G-Force" eingeführten Formen auf den Bildschirm. Apple veröffentlichte eine definierte Schnittstelle zur Einbindung von Visualisierungs-PlugIns, deren Konzeption den Vorgaben von G-Force und WinAmp folgte.
      Seit Ende 2003 existiert ein iTunes-Pendant für die Windows-Plattform, dessen Cross-Plattform-Plugin-Schnittstelle vom Effekt-Programmierer nur verlangt, einen CGrafPort gegen ein HWND auszutauschen. Möglicherweise stellt sich damit iTunes auch für die Windows-Plattform als attraktiver Player für Musik-Visualisierung dar, da WinAmp einen Versionssprung machte, der die Qualität der Software verminderte, und WindowsMediaPlayer oder der Player von RealNetworks als Instrumente von Dominanz und Kommerz-Restriktion gelten.
      Die Visualisierung von Musik kann heute von jedem (Multimedia-)PC geleistet werden. Algorithmische Bilderzeugung, die bei der Übersetzung der Musik in den visuellen Raum die Parameter der Psychoakustik benutzt, kann den betrachtenden Geist in besonderer Weise herausfordern. Da die psychoakustischen Regeln der Musikwahrnehmung in das algorithmische Regelwerk eingebaut werden können, wird man in den Bildern nicht nur ein Abbild der Musik wahrnehmen, sondern auch eine Spiegelwelt, in der die aktive Interpretation Teil der Aufführung ist.
      Am wichtigsten aber ist, dass die Visualizer originelle Beiträge zur Musik liefern, gleichgültig welche vermittelnden Quellen sie für ihre bilderzeugenden Algorithmen benutzen. Visualizer müssen sich in ihrer Bezugnahme auf die Musik ebenso von Bildschirmschonern unterscheiden wie von Oszillographen. Dann könnten Visualizer möglicherweise einmal ein eigenes Software-Genre darstellen.

Writings