Event Media/Spatial Experience

Geschicklichkeitsspiele, wie unseres, fordern eine durchdachte Programmierung mit vielen Komponenten und Ebenen. Darum bauen wir unsere Logik anfangend vom Basisspielprinzip immer weiter aus. Mit dem node-basierten Programm Touchdesigner entstehen so immer größere Codenetzwerke, die den Spielablauf in sich tragen. Dabei sind einige Dinge zu beachten.

Der erste Schritt liegt darin, Touchdesigner mit der Audio-Software Ableton zu verbinden. Da das passende Plugin dazu bereits in Touchdesigner installiert ist, gelingt die Einbindung ohne große Schwierigkeiten. Geht es allerdings darum, sich in Ableton zurecht zu finden, ist die Hilfe von unseren Ton-Spezialisten gefragt.

Regelmäßig kommen neue Versionen der Tracks, bei denen die zu spielenden Noten auf vier MIDI-Spuren für die vier Spieler*innen aufgeteilt sind. In Touchdesigner muss jede MIDI-Datei in fünf Tasten aufgegliedert werden. Diese Einteilung jedes Mal per Hand durchzuführen, wäre sehr umständlich. Darum benutzen wir das von uns geschriebene Skript, mit dem man per Buttondruck die MIDI-Noten automatisch auf die fünf Tasten verteilt. Jedoch kann dabei der Fall eintreten, dass Noten, die direkt hintereinander kommen, auf dieselbe Taste gelegt werden. Das ist unvorteilhaft, da die Spieler*innen während dem Spiel für die ganze Länge der Note auf der Taste bleiben müssen. Für die folgende Note müssten sie erst wieder ihr Gewicht von der Taste nehmen und dann wieder darauf verlagern. In der nötigen Geschwindigkeit für die perfekte Punktzahl ist das allerdings nicht möglich. Dazu kommt, dass die LED-Streifen-Impulse, die die Noten symbolisieren und den Trittzeitpunkt angeben, direkt nacheinander laufen und somit wie ein einzelner Impuls aussehen würden. Dieses Problem ist im aktuellen Skript behoben.

Wie bereits angesprochen, können mehrere LED-Impulse zur gleichen Zeit auf einem LED-Streifen laufen. Damit das funktioniert müssen mehrere Elemente passen.

Um es erklären zu können, muss man am Anfang des Spiels beginnen. Startet das Spiel, wird die MIDI-Datei ausgelesen und das Programm gibt zu den passenden Zeitpunkten an, wann welche Note gespielt wird. Diese Signale werden als Startsignale für die Impulse auf den LED-Streifen verwendet. Erst nach der Zeit, die ein Impuls braucht um vom Anfang des LED-Streifens, bis zu seiner jeweiligen Taste zu kommen, wird der Backtrack des Lieds gestartet. So wird sichergestellt, dass die nächste zu spielende Note klar ist, bevor sie zeitmäßig gespielt werden soll. Denn wird ein LED-Impuls gestartet, trägt er in Touchdesigner auch die Information in sich, welche Note gespielt werden soll.

In dem Bereich in Touchdesigner, wo herausgefunden wird, welche Note bei einem Tastendruck gespielt werden soll, kommen auch diese Informationen der LED-Impulse an. Die Impulse werden dort laufen gelassen, indem man einen Timer startet, wenn der Impuls startet und ihn stoppt, wenn er am Ende angekommen ist. Das wird für jeden Impuls gemacht, der sich gerade auf dem LED-Streifen befindet. Eine Logik findet heraus, welcher der laufenden Impulse gerade der ist, der als nächstes an der Taste ankommt. Wird die Taste gedrückt, findet man diesen Impuls und lässt seine jeweilige Note ertönen. Diese Herangehensweise stellt sicher, dass logiktechnisch mehrere Impulse gleichzeitig laufen können und bei einem Tastendruck der richtige Ton gespielt wird. Das war bei den ersten Versionen unserer Logik noch nicht so. Doch nicht nur sie muss stimmen, sondern auch die tatsächliche Anzeige der Impulse auf den LED-Streifen. Unser erster Ansatz, das mit Arduino IDE und über OSC umzusetzen, wird nicht weiter verfolgt.

Für unseren Anwendungszweck ist diese Methode zu unflexibel und dauert zu lang. Stattdessen verwenden wir ein ähnliches Prinzip, wie das gerade angesprochene bei den Tastendrücken. Dabei kommt uns WLED, DMX und ArtNet zu Gute. Kommt ein Startsignal für einen Impuls eines LED-Streifens an, so wird derjenige Touchdesinger-Impuls gestartet, der gerade noch nicht oder nicht mehr läuft. Mehrere Nodes rechnen daraufhin die Eigenschaften eines Rechtecks aus, das dadurch erst wächst und dann von der einen Seite des Screens zur anderen wandert. Dieses Bild benutzen wir, um es auf die LED-Streifen zu mappen. So entstehen die LED-Impulse, die die Spieler*innen sehen.

Durch das Bühnendepartment haben wir eine Prototyptaste mit einem Schalter, der auslöst, wenn die Taste gedrückt wird. Um den Tastendruck an Touchdesigner senden zu können, verwenden wir OSC. Der Code dazu befindet sich auf einem ESP32, an den der Schalter angeschlossen ist. Die entsprechende Emfang-Node ist in Touchdesigner. Bekommt sie ein Signal, wird über eine Logik die zu spielende Note herausgefunden und per MIDI an Ableton geschickt.

Der Schwierigkeitsgrad unserer Installation für die Spieler*innen wird zu einem großen Teil über die Definition des Punktesystems geregelt. Wie genau die Punkte zusammengezählt werden und ab wann ein Multiplikator greift, entscheidet, wie gut die Spieler*innen sein müssen, um eine bestimmte Punktzahl zu erreichen. Die Logik dafür muss mit mehreren Iterationen verfeinert werden. Zurzeit greift ein Multiplikator auf die Punkte, wenn der Durchschnitt der letzten 8-10 gesammelten Punkte über einem bestimmten Schwellenwert liegt. Wie genau die Werte dafür sein müssen, ergibt sich aus folgenden Tests.

Damit das Spiel programmiertechnisch so einfach änderbar ist, muss die Logik entsprechend aufgebaut sein. Ein großer Teil der Programmierung fokussiert sich darum, alles so zu strukturieren, dass spätere Änderungen von maßgeblichen Variablen keine Probleme verursachen.

Wir haben einen Prototyp, mit dem man das Spiel für einen Spieler testen kann. Dieser Prototyp hilft uns nicht nur dabei, Besucher*innen einen greifbaren Einblick in unser Projekt zu geben, sondern auch, unseren Code zu verbessern. Anhand von mehreren Testspieldurchläufen werden Unstimmigkeiten erkannt und in unseren Nodes beseitigt.

Beitrag von Alina Wahl.

Wir möchten Wireworx unseren herzlichsten Dank für Ihre großzügige Unterstützung aussprechen! Wenn Sie wüssten, wie seht wir ihre Hilfe begrüssen. Sie wissen ja selbst wie schwierig es ist mit engen Budgets zu arbeiten. Die studentischen sind auch nicht übel knapp. Jeder Cent ist prima und sie geben uns immer ziemlich viel. Damit können wir jede Menge veranstalten. Danke.

Mit herausragender Expertise in der AV-Medientechnik setzt Wireworx Maßstäbe in ihrem Feld. Besonders in der Raumplanung für Hochschulen und Universitäten, zum Beispiel an der HdM, hat sich das Unternehmen einen exzellenten Ruf erarbeitet. Ihre beeindruckende Erfahrung, die sich in der Planung von über 300 Hörsälen widerspiegelt, sowie die ständige Bereitschaft zu Innovation machen Wireworx zu einem unverzichtbaren Partner in diesem Bereich.

Seit den 1990er-Jahren verbindet Wireworx eine enge und vertrauensvolle Zusammenarbeit mit der Hochschule der Medien (HdM) in Stuttgart. In dieser Zeit wurden nicht nur drei neue Hochschulgebäude geplant und ausgestattet, sondern auch bestehende medientechnische Anlagen optimiert – ein Beweis für die nachhaltige Qualität ihrer Arbeit.

Dank der großzügigen finanziellen Unterstützung von Wireworx können wir wichtige Schritte zur Umsetzung unseres Projekts realisieren. Dafür sagen wir von Herzen: Danke, Wireworx!

Beitrag von Ursula Drees

Die Erlebnisinstallation „AufTritt“ verbindet vier Spieler zu einer Band und lässt diese in die Welt eines Konzertauftritts eintauchen. Die Band bildet sich im Backstage Bereich, wählt dort einen Bandnamen und läuft anschließend durch einen Gang hintenrum auf die Bühne. Dort erwartet die Spieler ein eindrucksvolles Bild. Eine große offene Bühne, viele Lautsprecher, Lichter, LED-Streifen auf dem Boden, eine große LED-Wand und das Herz des Spiels – das große klavierähnliche Instrument auf dem Boden, das mit den Füßen bedient wird. Jeder Spieler hat fünf Tasten vor sich. Das Spielprinzip ist einfach: Passend zur Musik läuft ein Lichtsignal durch die LED-Streifen auf dem Boden auf die Spieler zu. Sobald das Signal bei einem Spieler ankommt, leuchtet eine der fünf Tasten auf und der Spieler drückt die Taste mit dem Fuß. Je besser der richtige Zeitpunkt erwischt wird, desto mehr Punkte gibt es.

Die Spielidee steht und die Aufgaben des Spielers sind klar. Zur Stirnseite wird eine grosse LED Wall aufgebaut. Dort befinden sich die virtuellen Fans. Dieser Beitrag beschäftigt sich mit der Gestaltung der LED-Wand und welche Herausforderungen uns hierbei begegnen.

Umrisse und Silhouetten eines Publikums um die Spieler herum sind sichtbar. Dieses Publikum reagiert auf die Leistung der Spieler-Band. Je besser gespielt wird, desto lauter wird der Jubel im virtuellen Publikum, den Fans. Die Spieler bekommen das Gefühl, dass ihre Leistung auf der Bühne zählt und das Publikum mitgeht. Wie setzt man diese Idee am besten in die Tat um?

Die Positionierung von Bildschirmen und visuellen Einflüssen im Raum spielt eine wichtige Rolle für das Erlebnis der Spieler. Sollen die LED-Wände im Halbkreis stehen oder als gerade Wand? Sind zwischen den Bildschirmen Lücken sichtbar oder schliessen zusätzliche Pappaufsteller diese Lücken? Letztendlich füllt eine gerade, durchgehende LED-Wand die gesamte Breite des Raums aus, ohne Pappaufsteller oder Lücken zwischen den einzelnen Paneelen. Die Spieler*innen gewinnen den Eindruck, dass der Raum durch eine LED Wall erweitert wird, dass tatsächlich Publikum, wie bei einem echten Konzert, auf die Performance reagiert. Das wird durch typische Konzert-Absperrgitter (sogenannte Wellenbrecher) vor der LED-Wand verstärkt.

Wie sieht das virtuelle Publikum aus?

Möglichkeit 1: wir nehmen ein Publikum aus echten Menschen mit Kameras auf und lassen diese Videos auf großen Bildschirmen abspielen. Dagegen sprechen folgende Argumente:

1. Es reichen Silhouetten.

2. Die Reaktionen des virtuellen Publikums werden live und flüssig auf die Bandperformance reagieren. Ein Übergang von einem zum anderen Video ist unerwünscht. Daher scheidet dieser Gedanke aus.

Möglichkeit 2:  Die Personen sind am Computer animiert.

Ingrid Kaub aus dem Bewegtbild-Team beschäftigt sich mit der Live-Animation des Publikums mit der Unreal Engine. Da niemand von uns Erfahrungen mit der Unreal Engine hat, arbeitet sie sich mithilfe von Tutorials in das Thema ein.

Herausfordernd bei dieser Aufgabe ist zum einen das Erstellen von großen Menschenmengen, die beliebig verkleinert oder vergrößert werden. Mit dem “Procedural Content Generator” der Unreal Engine ist es möglich, große Mengen mit unterschiedlich aussehenden Menschen zu erstellen. Da es unser Konzept vorsieht, die Personen nur schemenhaft darzustellen, ist ein realistisches und diverses Aussehen der Figuren nicht so wichtig. Die unterschiedlichen Personen-Modelle sind allerdings auch für deren Animation und Bewegung relevant, damit nicht alle Personen die gleichen Tanzbewegungen haben.

Ein weiteres Hindernis sind die verschiedenen Emotionsstufen der Menschenmenge.

Die Menge reagiert je nach Leistung und Genauigkeit der Spieler unterschiedlich auf die gespielten Töne. Ein flüssiger Wechsel zwischen verschiedenen Animationen ist wünschenswert. Dies ermöglicht das “AnimBlueprint” System von Unreal Engine. Damit setzen wir die Live Steuerung der Simulation um. Wie gut das am Ende funktioniert, finden wir noch heraus.

Außerdem muss es möglich sein, eine Schnittstelle zwischen Unreal Engine und Touchdesigner herzustellen. Die Menschenmenge reagiert direkt auf die Spielereingaben, ohne dass wir als Zwischenschritt manuell eingreifen. Diese Aufgabe liegt aktuell vor uns und wird noch bewältigt. Wir freuen uns schon sehr auf das Endergebnis und hoffen, dass die Wirkung am Ende genau so beeindruckend sein wird, wie wir uns das vorstellen. Stay tuned.

Beitrag von Svenja Regber

Fotos, Screenshots und Konzeptskizzen © Studioproduktion Event Media Auftritt

Für unser Projekt „AufTritt“ spielt dieses Mal der Ton eine wichtige Rolle – schließlich ist das ja unser Hauptthema. Um den Besuchern eine Bühnenerfahrung zu simulieren, werden wir bei diesem Szenario eine vielschichtige Klangkulisse schaffen: Was werden für Songs performt, welche Genres decken wir ab, und wie können wir diese anschließend in unsere Game-Engine einbinden? Diese Fragen wurden wir anfangs geklärt und gleichzeitig schon praktische Prototypen zu den Ideen erstellt.

Eine Auswahl von Rock und Techno erscheint gut, beide Stile liegen gut erkennbar auseinander. Die Spieler*innen wählen zwischen diesen Genres. Dazu gehören die Komposition und das Arrangement der jeweiligen Backing-Tracks, sowie die zu spielenden Melodien darüber. Hier wird neben der Ästhetik auch die Schwierigkeit der Notenabfolge und Verteilung auf die einzelnen Spieler genau bedacht.

Diese Aufgaben bearbeiten wir in der Audiosoftware „Ableton Live“. Es bietet sich an, wir spielen mit dieser Software auch im direkten Austausch zu der Programmierung die Sounds ab.

Das ist jedoch die Spitze des Eisberges. Wichtige Sounddesign-Elemente zu fast jedem einzelnen Schritt im Spielablauf werden entwickelt und geprüft. Werden die Sounds ordentlich erkannt? Wird der Spielende den Trittmechanismus wie vorgegeben bedienen?

Alle Aktivitäten werden mit einem Feedback versehen. Das ist nicht nur durch Licht gegeben, auch durch Sound. Eine der Aktion angemessene  auditive Emotion wird geschaffen und entsprechend mit dem Spiel abgestimmt. Wir erstellen jeden einzelnen Einspieler vor Hand, entweder als Klang oder Textfile.

Abgesehen von der gesamten Audio-Erstellung zählt natürlich auch die entsprechende Wiedergabe in unserem Showroom – hier geht es vor allem um die professionelle Beschallung und Umsetzung des Anlagensystems der HdM.

Mit Unterstützung von Prof. Frank Melchior sind wir in der detaillierten Planung des 3D-Audio-SetUp. Die Auswahl der Boxen bis hin zur genauen Klangkorrektur auf den Raum bezogen wird beachtet, sowie die jeweilige Zeitverzögerung der Signale im Bezug zum Aufbau der Anlage. So entsteht am Ende ein emotionales Klangerlebnis, welches bei den Spieler*innen eine Erfahrung in der Installation „AufTritt“ hervorruft.

Fotografien und Beitrag von Niko Brauchle und Matthias Roth

Wir bringen ein Spiel in den Raum.

„AufTritt“ ist ein Geschicklichkeitsspiel für vier Spieler*innen, bei dem man zum richtigen Zeitpunkt eine Musiknote spielen muss, um eine möglichst hohe Punktzahl zu erzielen. Dabei wird jeder Spieler*in eine Farbe und ein Bereich des riesigen Keyboards zugewiesen. Die Tasten werden mit den Füßen betätigt. Sobald ein Lichtstrahl in der eigenen Farbe auf eine Taste zuläuft, muss man sich bereit machen. Sobald der LED-Lichtstrahl an der Taste ankommt, muss man sie betätigen. Die Länge des Lichtstrahls gibt die Länge der Note an und auch wie lange man auf der Taste stehen bleiben soll. Je nachdem, wie genau man den richtigen Zeitpunkt trifft, bekommt man eine andere Anzahl an Punkten. Außerdem werden Streaks von mehreren Treffern hintereinander mit Punkten belohnt.

Eine simulierte Crowd reagiert auf deine Performance und jubelt immer lauter je öfter hintereinander die Noten perfekt getroffen werden. Jedoch verzeiht sie einen falschen Tritt nicht. Dann wird es still. Kein Cheering. So sammelt man als Team Punkte und spielt gleichzeitig gemeinsam ein Lied. Zum Schluss darf man seinen Score auf einem Leaderboard sehen.

Ein Spiel, bei dem man als Team zusammenwächst, indem man gemeinsam als Band auf die Bühne zu treten, einen Song zu spielen und sich mit anderen Bands, um den höchsten Score zu schlagen.

In der Konzeptionsphase war die große Herausforderung ein Spiel zu entwickeln, das sowohl eine räumliche Komponente hat, als auch für Besucher*innen schnell verständlich ist. Die Idee, war früh gesetzt. Wir begannen mit einer sehr umfangreichen Bedienung der verschiedenen Instrumente für die Spieler*innen. Je tiefer die Vorstellung wurde, desto deutlicher wurde, dass die Komplexität zu hoch ist.

Deswegen beschränkten wir uns auf eine Interaktionsschnittstelle im Raum. Für jede Benutzer*in funktioniert sie gleich. Wir einigten uns nach einigen Phasen von Rapid Paper Prototyping auf große Tasten auf dem Boden, die an ein überdimensioniertes Keyboard erinnern.

Dann stellten wir uns der Frage, wie mit dem unterschiedlichen Fähigkeiten wie z.B. Taktgefühl der Besucher*innen umzugehen ist. Das gespielte Lied sollte nicht zu einer Tonhölle werden, sondern gut klingen. Über eine Recherche zu anderen Musikspielen wie zum Beispiel „Piano Tiles“ oder „Guitar Hero“ kristallisierte sich eine Möglichkeit heraus, die korrekte Bedienung der Fußtaste mit Lauflichtern zu signalisieren. Damit erkennen die Spieler*innen ob sie die passende Taste mit dem Fuss bedienen, das zum richtigen Zeitpunkt, und auch lang genug.

Dieses Herangehen wird noch getestet. Aber als Grundkonzept scheint es zumindest in unserer Vorstellung funktionstüchtig zu werden. Wir werden probieren und anpassen.

Beitrag von Elena Mendetzki

Die Freude ist gross. Die Studioproduktion ExLibris hat beim 27. Deutschen Multimediapreis mb21 den Hauptpreis in der Sonderkategorie Gruppenpreis gemacht.

Ex Libris ist eine interaktive Installation. Ex•Libris bedeutet „aus den Büchern“. Man taucht in ein Märchen ein und lasst das Alltägliche hinter sich.  Es beginnt in der antiken Bibliothek. Lebende Bücher und sprechende Gemälde erzählen euch die Geschichte von Billy. Er ist eine tollpatschige Figur und fällt aus seinem Buch in eine andere Geschichte. Die Bibliothek und die Bücher kennen Billy und wissen, dass er Unsinn anrichtet.

Man öffnet das Buch, in das Billy gefallen ist, und folgt ihm durch ein magisches Portal in einen verwunschenen Wald. Der Wächter des Waldes, Kakubaz, empfängt die BesucherInnen und erklärt die Situation: Man soll Billy und den Wald retten. Das funktioniert, indem das angerichtete Chaos beseitigt wird. Vier mechanische und elektrische Aufgaben gilt es zu bewältigen.  Sie sind mit lebensgroßen Bäumen, beweglichen Blumen, leuchtenden Pilzen und einem Brunnen aus Stein verbunden.

Das Produktionsteam hat kreative Wege gefunden und Zeit und Gedanken in die Interaktionen investiert. Zum Beispiel verbirgt sich unter den magischen Pilzen ein dichtes Netz aus Kupferdrähten als kapazitiver Sensor. Kristalle, Kurbeln für Seile und ein erfundenes System zur Bewegung der Blumen werden mit dem 3D-Drucker realisiert. Die Animationen, Lichtstimmungen, Interaktionen und die ausgefuchste Tonebene haben wir selbst erstellt. Immer wenn ihr eine Aufgabe schafft, wird der lebensgroße Baum im Zentrum des Raumes mit LED-Lichtern belebt und eine Melodie erklingt als Feedback.

Mit handwerklichem Geschick, viel Sorgfalt und Liebe zum Detail wurde die szenografische Ebene der Installation realisiert. Eine Vielzahl von Materialien wurden dafür verwendet. Dazu gehören Papier, Stoffe, Metalle, künstliches Gras, großflächige LED-Wände und echte Pflastersteine. Das detaillierte Sound- und Lichtdesign sowie der Einsatz von Düften ergänzen das Raumgefühl. Es entsteht ein einzigartiges Erlebnis.

Wir gratulieren und sind sehr stolz auf das Team von ExLibris. Ein wahnsinniger Erfolg.

Beitrag von Ursula Drees