Wer unter die Haube einer Event Media StuPro sehen will, wird um ein zentrales Element nicht herumkommen: die Programmierung. In die Themen Beleuchtung und Medientechnik haben Lukas Sabo und Jakob Zill bereits Einblicke geliefert. Unser Studio, die Spielwiese, zu beleuchten und diverse immersive Interaktionsschnittstellen zu bieten ist allerdings nur möglich, wenn alle dafür nötigen medientechnischen Komponenten auch richtig zusammenspielen. Genau hier kommt die Programmierung zu Tragen. Bei U-Turn gibt es dabei 3 grundsätzliche Ebenen: Die Game Engine Godot, Die Arduino Entwicklungsumgebung für ESP32, sowie ESP8266 Mikrocontroller und TouchDesigner als Brücke dazwischen. Hinzu kommen außerdem Soft- und Hardware von MA Lighting für die Beleuchtung sowie Ableton für die Beschallung. MA und Ableton sind auf derselben Ebene wie auch die ESP-Mikrocontroller. Die ESPs befinden sich in konkreten Interaktionsschnittstellen, um die verbauten Komponenten wie Knöpfe oder Schlüsselschalter anzusteuern und auszulesen. Ableton wird verwendet, um über die in der Spielwiese verteilten Lautsprecher Soundeffekte, Geräusche und Durchsagen abzuspielen. Die MA-Software wird in Kombination mit einem GrandMA2 Command Wing eingesetzt, um sämtliche Leuchten in der Spielwiese zu kontrollieren.
Godot als Game Engine ist wiederum für grafische Projektion des Spielfeldes und die eigentliche Logik des Spiels zuständig. Dazu gehören unter anderem der Fortschritt der beiden Gruppen und deren jeweilige Geldausgaben. Und selbstverständlich auch, welches Team am Ende seinen Sieg feiern darf. Je nach dem, was in der Spielwiese passiert, löst Godot über TouchDesigner bestimmte zustände und Ereignisse im Raum aus. TouchDesigner kommuniziert dann per OSC mit den eigentlichen Geräten oder deren Steuerung.
An unserer Tankstelle läuft das ganze zum Beispiel wie folgt ab:
In der Zapfsäule arbeitet ein ESP8266 Mikrocontroller. Jeder Mikrocontroller erhält seine eigene OSC-Adresse, um individuell kommunizieren zu können. Dieser ESP muss zunächst über OSC ein Startsignal erhalten, wenn das Tankstellenminispiel aktiv werden soll. Erst dann kann mit der Tankstelle interagiert werden. Das gesamte Minispiel verarbeitet der ESP selbst. Er kann einen sogenannten Reedkontakt in der Zapfpistole auslesen und erkennt dadurch, ob an deren Hebel gezogen wird. Wenn jemand daran zieht, zählt der ESP sowohl die getankten Liter als auch den entsprechenden Preis hoch und zeigt beide Informationen auf 7-Segment-Displays an. Diese sind an die Anzeigen in echten Zapfsäulen angelehnt. Zeitgleich wird akustisch sowie visuell verdeutlicht, wie Kraftstoff in den Tank des Autos gepumpt wird. Konkret wird ein Lauflicht über einen LED-Streifen im transparenten Schlauch der Zapfpistole sichtbar, während aus einem Lautsprecher in der Zapfsäule das laute Brummen einer Pumpe zu hören ist. Den LED-Streifen kann der ESP selbst mit Strom versorgen und ansteuern. Für Die Lautsprecher ist es allerdings sinnvoller, ein Signal, ebenfalls über OSC, an Ableton zu senden. Bezahlen kann der Besucher mit einer RFID-Karte, die der ESP über einen entsprechenden Sensor auslesen kann. Am Ende des Minispiels gibt er ein Signal an die Game Engine zurück, dass nun das Spiel weitergehen kann. Die Tankstelle wird im Anschluss deaktiviert. Zuvor übermittelt er noch den bezahlten Geldbetrag an Godot, da dieser nicht nur für die Tankstelle, die ja nur zeitweise aktiv ist, sondern bis zum Ende des interaktiven Erlebnisses wichtig ist. All diese Aktionen müssen im Code definiert werden.
Ohne Informatik würde die Studioproduktion ziemlich alt aussehen.
Beitrag von Leon Marschollek