SignalBiome

Die meisten Visualizer beginnen beim Audio und entscheiden, wie sie es zeichnen. SignalBiome stellt eine andere Frage:

Was wäre, wenn Musik eine künstliche Welt beeinflussen könnte, statt einen Equalizer anzutreiben?

Ein Beat stört einen Schwarm, Bassenergie ändert die Viskosität eines Fluids, ein MIDI-Controller bewegt einen Wirbel durch Tausende Partikel, und eine Kraft lässt sich auf ein Wort oder eine Webcam-Silhouette begrenzen. Das Ergebnis liegt zwischen VJ-Tool, modularem visuellem Synthesizer und kleinem GPU-Simulationslabor.

• Boids Schwarmverhalten aus Separation, Ausrichtung und Kohäsion, mit Nachbarschaftssuche auf der GPU und optionalen Verbindungslinien.
• Physarum Schleimpilz-Agenten, die ein Spurenfeld wahrnehmen und hinterlassen und daraus Adern, Flächen und verzweigte Netze wachsen lassen. Skaliert bis zu einer Million Agenten.
• SPH Fluid Smoothed Particle Hydrodynamics, von Tropfen bis zu schweren, zusammenhängenden Körpern.
• Life Diskrete zelluläre Automaten neben kontinuierlichen Regeln wie SmoothLife, Lenia und MNCA.
• Reaction Gray-Scott-Reaktions-Diffusion, bei der die Parameter Feed und Kill Muster von Punkten über Würmer bis zu zellteilungsartigen Strukturen erzeugen.
• Fractal Escape-Time-Fraktale, seltsame Attraktoren aus Hunderttausenden Punkten und per Raymarching gerenderte Mandelbulbs und Mandelboxes.
• Particle Life Bis zu sechs Arten bilden, gesteuert von einer asymmetrischen Interaktionsmatrix, Cluster, Membranen, Ketten und instabile Ökologien.
• Plant Samen treiben Spitzen aus, die sich verzweigen, Blätter und Blüten bilden, altern und welken.

Ein Off-Modus blendet die Simulation aus, während Hintergründe, Audio-Scopes, Farbe, Spuren, Bloom und Post-Processing weiterlaufen.

Der gesamte Simulationszustand bleibt auf der GPU, in WebGPU-Compute- und -Render-Pipelines, geschrieben in WGSL. Statt eines eigenen Renderers pro Simulation teilen sich sechs Ebenen (Hintergrund, Verbindungen, Simulation, Farbfüllung, Spektrum und Metaballs) einen gemeinsamen Akkumulations- und Compositing-Pfad, gefolgt von Bloom und Post-Processing. Deshalb funktionieren Bloom, Masken, Kaleidoskop, Color Grading, Spuren, Kacheln und Displacement in jedem Modus gleich.

• 1.000.000 Physarum-Agenten
• 200.000 Boids
• 150.000 SPH-Partikel
• 10¹³ Fraktal-Zoom

Jedes Signal kann jeden bindbaren Parameter setzen, addieren oder skalieren, sodass keine neue Simulation die Audio-Reaktivität neu erfinden muss:

• Frequenzbänder
• Energie
• Spektrale Helligkeit
• Build-up / Drop
• Beat und Onset
• Stereo-Balance und -Breite
• LFOs
• Timer
• Tap-Tempo (BPM)
• MIDI-CC, Noten, Pitch Bend, Aftertouch
• OSC

Spektrum, Wellenform und Vektorskop werden direkt in die Szene gerendert und bekommen so wie alles andere Bloom, Spuren und Verzerrung ab. Ein Spektrum kann zur radialen Geometrie in einem Kaleidoskop werden, und das Vektorskop ist zugleich Messung des Mixes und Bildelement. Die Wellenform triggert wie ein Hardware-Oszilloskop auf den Nulldurchgang.

Bis zu 16 Kraftfelder ziehen an, stoßen ab, rotieren, schieben, fügen Turbulenz oder Widerstand hinzu, begrenzen oder schicken Wellen durch die Simulation. Formen begrenzen Kräfte und Modulation auf einen Bereich:

• Kreise
• Rechtecke
• Ringe
• Sterne
• Polygone
• Text
• Bilder
• Video
• Live-Webcam-Maske

Bereiche lassen sich gruppieren. So sammeln sich Partikel nur innerhalb von Schrift, eine Kraft folgt der Silhouette eines Performers, ein Schwarm bekommt links im Bild einen anderen Parameterbereich als rechts, und ein Wort wird zur Spawn-Region statt zum Overlay. Die Geometrie wirkt auf das System, statt es nur zu dekorieren.

• Zwei Decks und ein Crossfader Räumliche Wipes sowie Schnitte, die im Tap-Tempo sitzen.
• Playlists Presets in einer Abfolge nach Zeit oder musikalischem Timing.
• Direkte Steuerung MIDI, OSC, Tastenkürzel, Suche, Rückgängig und ein Bedienfeld, das sich auf einen zweiten Bildschirm auslagern lässt.
• Beat-Effekte Blitze, Zoom-Impulse, Kamerawackeln und kurzes Anhalten der Simulationszeit.
• Aufnahme Live-WebM mit der aktuellen Audiospur.
• Frame-genauer Export Berechnet die Simulation Frame für Frame und kodiert sie mit WebCodecs. Braucht eine Szene 40 ms pro Frame, dauert der Export einfach länger und ergibt trotzdem ein lückenloses 60-fps-Video: Renderqualität, getrennt von Echtzeit-Tempo.

• VJs Ein gemeinsames Vokabular aus Kräften, Modulation, Spuren und Post-Effekten über alle Presets, MIDI auf echte Dynamik gemappt, beatquantisierte Übergänge und generative Szenen, die sich nie exakt wiederholen.
• Indie-Bands Sets, vorbereitet als Presets und Playlists, die der Musik folgen, mit ein paar wirkungsvollen Reglern für jemanden auf der Bühne. Eine optionale DAW-Bridge (als CLAP-Plugin erprobt; VST3 lässt sich ebenfalls bauen, muss aber je Host noch getestet werden) überträgt MIDI und Transport: Ein Songteilwechsel kann zum visuellen Ereignis werden, eine Automationsspur eine Kraft bewegen. Dieselben Presets lassen sich offline für Videos und Clips rendern.
• Kleine Clubs und Bühnen Ein Laptop mit moderner GPU und ein Browser, die Steuerung auf einem zweiten Bildschirm und Shows, die vor dem Soundcheck vorbereitet sind. Das Ziel: Probleme zeigen sich vor der Show, nicht währenddessen.

KI ist stark an Implementierung, Tests, Dokumentation und Code-Review beteiligt, aber nicht an der Erzeugung der Visuals: Die Runtime ist konventionelle Software aus TypeScript, WebGPU, WGSL und deterministischen Algorithmen. So ist SignalBiome zwei Projekte zugleich: ein audiovisuelles Instrument und ein Experiment mit einem disziplinierten Entwicklungsprozess, in dem Mensch und KI zusammenarbeiten.

Geplant, noch nicht ausgeliefert:

• Gekoppelte Simulationen Eine gemeinsame GPU-Feldschnittstelle, über die ein Fluid-Geschwindigkeitsfeld Boids oder Pflanzen steuern kann, und ein inkompressibler 2D-Fluid-Solver als Infrastruktur.
• Wachstum auf Geometrie Pflanzen, die Konturen folgen und Formen umranken.
• Art Direction Eine Palettenebene, eine Kompositionskamera und reichhaltigeres zeitliches Feedback.
• Show-Ausgabe Native Ausgabe über Spout und später NDI, das Abspielen aufgezeichneter Performance-Takes und ein Show-Preflight, der Szenen über dem Frame-Budget schon vor der Show auf dem Show-Rechner meldet.

Spannend ist nicht ein einzelnes Feature, sondern was passiert, wenn die Systeme dieselben Felder, Clocks, Modulationen und denselben Renderer teilen.