Medientechnik und Benutzerschnittstellen
In unserer Produktion sind wir schon mitten in der Entwicklung und am „Prototypen“ – also am Testen. Typisch für eine Event-Media-Studioproduktion ist die Interaktion zwischen Installation und User. Wie es sich für ein Spiel gehört, kann der User den Verlauf der Installation aktiv beeinflussen. Dafür braucht es Schnittstellen zum User, sogenannte User Interfaces (UIs). Das ist ein Begriff, den man aus der virtuellen Welt kennt – auf Deutsch: Benutzeroberfläche. Doch eine Installation im Raum bietet weit mehr Möglichkeiten als nur Bildschirm, Maus, Tastatur oder Touchdisplay. Wir greifen bewusst auf physische Elemente wie Knöpfe, Schlüsselschalter, Sensoren oder RFID zurück, um dem User ein haptisches, direktes Erlebnis zu bieten. Eine gute physische Interaktionslösung soll Spaß machen und intuitiv bedienbar sein.
Eine wichtige Erfahrung aus unseren bisherigen Produktionen ist, dass Interaktion unmittelbar und eindeutig sein muss. Das Feedback auf eine Handlung des Users muss sofort erfolgen – und zwar audiovisuell. Der Zusammenhang zwischen Aktion und Reaktion muss klar und logisch sein, sonst entsteht Verwirrung oder gar Frustration. Ein Bug oder eine missverständliche Rückmeldung kann dabei den gesamten Spielfluss stören. Deshalb legen wir in der Gestaltung und Entwicklung großen Wert auf einfache Bedienung, klare Rückmeldungen und eine durchdachte Dramaturgie.
Technisch gesehen liegt das Zusammenspiel aller Komponenten in einer zentralen Steuerlogik, meist in Form einer Game Engine. Auf der einen Seite kommuniziert diese mit typischer Medientechnik: Bildschirme, Lautsprecher, Licht oder Projektoren. Auf der anderen Seite verbindet sie sich mit physischen Eingabegeräten wie Knöpfen, Sensoren oder RFID-Lesern – also all dem, womit der User aktiv mit der Installation interagiert.
Während übliche Geräte wie Bildschirme problemlos über HDMI angeschlossen werden können, ist das Auslesen einfacher Schalter oder das Ansteuern von LEDs nicht ohne Weiteres mit klassischer Computertechnik möglich. Hier kommen sogenannte Mikrocontroller ins Spiel – bei uns meist der ESP32. Dieser kleine, leistungsstarke Chip lässt sich per USB oder WLAN ins System einbinden und kann eigenständig einfache Programme ausführen.
Abbildung ESP 32
Sein großer Vorteil: Der ESP32 verfügt über analoge und digitale Ein- und Ausgänge. Digitale Ein- und Ausgänge kennen nur zwei Zustände – an (HIGH, meist 3.3 V) oder aus (LOW, 0 V). Damit lassen sich z. B. Taster auslesen oder LEDs schalten. Analoge Eingänge hingegen ermöglichen es, stufenlose Spannungen (z. B. von einem Lichtsensor) zu messen. Der ESP32 wandelt diese Spannungen in einen digitalen Msesswert zwischen 0 und 4095 um – ideal für sensorbasierte Interaktionen.
Für die Ausgabe analoger Signale nutzt der ESP32 ein Verfahren namens PWM (Pulsweitenmodulation). Dabei wird ein digitales Signal sehr schnell ein- und ausgeschaltet. Das Verhältnis zwischen Ein- und Ausschaltzeit (Duty Cycle) bestimmt, wie stark ein Ausgangssignal wirkt – zum Beispiel wie hell eine LED leuchtet oder wie schnell ein Motor läuft.
Mit diesem Baukasten aus Sensoren, Aktoren und Mikrocontrollern entstehen flexible, modulare Schnittstellen zur Game Engine (Godot). Sie ermöglichen direkte, physische Rückkopplung auf das Verhalten des Users – ein zentraler Baustein für immersive, spielerische Medieninstallationen.
In unserem Spiel „U-Turn“ nutzen wir eigens entwickelte Steuerelemente, um eine intuitive Verbindung zur Erlebniswelt Auto und Bahn herzustellen. In einem der Spielabschnitte muss das Team Auto ihr Fahrzeug betanken. Dafür kommt – passend zur realen Situation – eine modifizierte Zapfpistole zum Einsatz. Diese fördert zwar kein Benzin, enthält aber einen integrierten Sensor, der erkennt, ob der Hebel gedrückt wird. Unterstützt durch ein passendes Sounddesign und einen LED-Streifen im transparenten Tankschlauch wird der Tankvorgang visuell und akustisch inszeniert. Der Clou: Die Spieler müssen nicht umlernen – sie handeln genauso, wie sie es von einer echten Tankstelle gewohnt sind. Die Interaktion ist vertraut, das Feedback direkt und immersiv. Hier ein erster Prototyp, umgesetzt von Leon:
Abbildung Testaufbau der Tankstelle
Neben der Tankstelle, werden wir uns jetzt intensiv mit der Entwicklung der anderen Userinterfaces widmen. Wir bauen einen funktionierenden Ticketautomaten, eine Steuerung für das Auto, Halteknöpfe für die Bahn und weitere Schnittstellen, die das Interagieren mit unsere Game Engine, und damit mit der gesamten Installation vervollständigen. Es bleibt spannend.
Beitrag von Jakob Zill
