Event Media/Spatial Experience

Im dritten Bereich der Installation erleben die Besucher*innen eine einzigartige Projektion einer magischen Naturwelt. Die KI-generierten Naturelemente werden in eine Computeranimation eingebettet. Diese zwei Bestandteile sollen sich voneinander abheben, aber gleichzeitig eine visuelle Einheit bilden. Mithilfe von Mockups wurden die KI-Elemente und die Computeranimation auf einer Ebene getestet. Dabei verschwimmen die Bestandteile und sie verlieren ihre einzigartige Wirkung auf den Betrachter.

Eine optische Trennung durch Rahmen um die KI-Bereiche hebt diese optisch stärker hervor. Noch eindrucksvoller sind jedoch zwei getrennte Ebenen. So könnte beispielsweise ein Gazestoff als vorgelagerte Schicht vor der Computeranimation im Hintergrund dienen. Nach einem ersten Test stand fest, dass zwei Ebenen die Trennung der Elemente am ausdrucksstärksten darstellen.

Um die visuelle Wirkung realistischer nachzustellen, folgte ein Test mit den nahezu realen

Größendimensionen. Die Computeranimation wird dafür auf einen Hintergrund projiziert. Für die vorgelagerte Ebene standen nun alternativ transparente OLED Bildschirme und der Gazestoff zur Diskussion. Die modernen Bildschirme wirken futuristisch und passen zu dem Einsatz von der Künstlichen Intelligenz. Die OLEDs bringen jedoch einige Nachteile mit sich. Zum einen ist der Bildschirm rechteckig, die Videos jedoch quadratisch. Außerdem wirkt der nicht-transparente Technikbereich am unteren Rand des Bildschirms sehr dominant und störend. Letztendlich fiel die Entscheidung aufgrund des optischen Gesamteindrucks gegen die OLEDs. Denn der Bildschirm vor der Projektionswand durchbricht die visuelle Einheit und die Mischung der Medien repräsentiert nicht Plantasia.

Die Gaze hingegen fungiert auch als Projektionsfläche für einen Beamer und ergibt ein ganzheitliches Bild mit der projizierten Computeranimation im Hintergrund. Der klassische Gazestoff ist in vielfältigen Farben erhältlich. Bei der dunkelgrauen Färbung wirkt die Balance zwischen Reflektion des Lichts und Transparenz jedoch am besten. Diese kann nun auf einen Rahmen gespannt werden, oder auf eine Plexiglasplatte mit randloser Optik. Letztere Option wirkt leicht, schwebend und modern, was die magische und futuristische Wirkung der Installation unterstreicht. Dabei sollte das Plexiglas transparent sein. So kann der/die Betrachter*in bei dunklen Stellen der KI-Videos durch das Plexiglas auf die Computeranimation im Hintergrund blicken.

Alternativ zu einer klassischen Gaze, kann auch die sogenannte “Hologauze” eingesetzt werden. Diese silberbeschichtete Gaze wirkt fast ganzheitlich transparent und vermittelt den Eindruck, dass das Bild in der Luft schwebt. Dabei sind jedoch auch die hohen Kosten und die Empfindlichkeit des Materials zu beachten. Primär muss jedoch abgewogen werden, welche Gazeart sich optisch am besten in die Plantasia-Installation einfügt.

In einem weiteren Test wurden die Größe der Gaze-KI-Elemente und die Positionen der Projektoren geprüft. Ein Beamer projektiert die Computeranimation auf die Hintergrundebene. Weitere Projektoren spielen die KI-Videos auf die vorgelagerten Gaze-Elemente. Diese Strahlengänge dürfen nur auf die Gaze treffen und müssen anschließend an der Hintergrundebene mit der Computeranimation vorbeiführen. Das Licht trifft dann im Optimalfall auf den Boden unterhalb oder auf die Decke oberhalb der hinteren Projektionswand. Das unerwünschte Bild auf dem Boden stört deutlicher den Gesamteindruck als das an der Decke. Daher fällt die Entscheidung auf eine steile Positionierung der Projektoren auf dem Boden der Installation. Diese müssen nun in die Bodenlandschaft modelliert werden. 

Außerdem wird die ursprüngliche Anzahl von fünf KI-Elementen auf maximal vier reduziert. Denn der Test ergab, dass ansonsten die Computeranimation an Wirkung verliert. Beide Ebenen sollen nicht in Konkurrenz stehen und ihre einzigartige Wirkung auf den/die Betrachter*in entfalten.

Beitrag von Louisa Handt

Neben der Spielsystematik ist es ebenfalls wichtig zu planen, wie das Spiel dargestellt werden soll. Ob mithilfe einer Projektion oder eines LED-Bodens. Beide Techniken haben ihre Vor- und Nachteile. 

Vergleicht man die beiden Möglichkeiten nach ihrer Bildauflösung, ist der Projektor aufgrund seiner höheren Auflösung von Vorteil. Der Abstand der einzelnen Pixel, auch Pixeldichte genannt, ist beim LED-Boden geringer als es wünschenswert wäre. Auf diesem sind Details schlechter erkennbar. Das würde das Spiel hinsichtlich feiner Strukturen und kleinen Elementen einschränken. 

Das homogene Bild eines Projektors hingegen hat dieses Problem nicht.

Ein Nachteil des Projektors ist allerdings der Schattenwurf. Ebenfalls benötigt die Projektion einen möglichst abgedunkelten und homogenen Raum. Der LED-Boden dagegen hat diese Problematik nicht, da er seine eigene Fläche und somit auch die Helligkeit regulieren kann.

Ein weitere Herausforderung sind die Sensoren bzw. das Tracking der einzelnen Teilnehmer:innen. Da das Spiel interaktiv ist, müssen die Positionen der Spieler möglichst genau ermittelt werden. Der LED-Boden hat einen integrierten Touchsensor, welcher durch ein einfaches „Drauftreten“ auf die Fläche aktiviert wird. 

Die Herausforderung hierbei liegt in der Ungenauigkeit des Sensors. So wurden erste Versuche mit der Kinect und HTC Vive unternommen, um mögliche Lösungsansätze zu sammeln.

Die Sensorik muss in der Lage sein, Personen, die hintereinander stehen unterscheiden zu können und korrekt mit der Spielsystematik zu interagieren. 

Der Aufwand des Transports und Aufbaus ist ebenso ein wichtiger Faktor.

Ein LED-Boden ist ein ausladendes Stück Technik, welches sehr viel Wärme erzeugt und infolgedessen auch eine deutlich größere Belüftung benötigt. Durch diesen größeren Bedarf an Raum muss ein entsprechendes Podest montiert werden. Auch wenn das Tracking für die Projektion noch Sorgen bereitet, könnte diese Lösung am Ende die einfachere und weniger Nervenaufreibende sein. Dazu kommt, dass ein Projektor im Vergleich günstiger ist als ein LED-Boden. Bei dem Versuch das Spiel mit einem Projektor darzustellen, hat der Schatten der eigenen Person sehr gestört. Dieser verdeckte zu viel von der Spielfläche. Deshalb wurde der LED-Boden trotz Pixelpitch bevorzugt. Jedoch ist dieser nicht für die gesamte Zeit der Installation verfügbar. Ihn zwischendrin abzubauen und auf einen Projektor zu wechseln wäre zu aufwendig. So wurde sich letzten Endes für die Projektion entschieden, aus der das Bestmögliche herausgeholt wird. 

Beitrag von Isabelle Münch

Event Media dankt Wireworx! Ein großes Dankeschön an Wireworx für die großzügige finanzielle Unterstützung unserer Studioproduktion Plantasia.

Wireworx bringt viel Erfahrung aus allen Bereichen der AV-Medientechnik mit und ist stets „am Limit des Neuen“. Unternehmergeführt und über einen direkten Ansprechpartner verbunden, bietet Wireworx Ingenieurleistungen für ganzheitliche Lösungen. Schon seit Mitte der 90-er Jahre arbeitet Wireworx auch eng mit der HdM Stuttgart zusammen. Dies waren vor allem die Planung und Ausstattung von 3 neuen Hochschulgebäuden, sowie die Optimierung der vorhandenen medientechnischen Anlagen. Zudem wurden in den vergangenen Jahren auch weit über 20 Abschlussarbeiten der HdM betreut. Wireworx sieht bei jedem Projekt das große Ganze. Von der ersten Beratung über die Konzepterstellung wird das Know-How und die Kreativität im Sinne des besten Ergebnisses eingesetzt. So entstehen ganzheitliche Lösungen, von klassischer AV-Technik bis zu innovativen Inszenierungen.

Beitrag von Lara Epple

Das erste Element der Installation ist das interaktive Spiel. Schon zu Beginn der Planung stand fest, dass das Thema erneuerbare Energien aufgriffen werden soll. So beschäftigt sich das ZSW (Zentrum für Sonnenergie- und Wasserstoff-Forschung) mit der „Forschung und Entwicklung für Technologien zur nachhaltigen und klimafreundlichen Bereitstellung von Strom, Wärme und regenerativen Kraftstoffen.“.

In das Spiel integriert werden sollten die drei Elemente Wasser, Sonne und Wind. Mit diesen Elementen sollten die Spieler Energie erzeugen. Hier stellte sich die Frage, wie genau die Umsetzung aussieht.

Soll mit dem Wind ein Windrad in Bewegung gebracht werden, die Sonne mit Hilfe eines Solarpanels Energie erzeugen, oder das Wasser zu einem Damm führen?

Für das Wasser bestand die Idee darin, Energie durch Wassertropfen zu erzeugen. Diese Tropfen bewegen sich im Raum und die Spieler:innen müssen versuchen diese einzusammeln. Durch das Einsammeln der Tropfen lädt sich eine Batterie auf. Das Spiel ist geschafft, wenn alle Tropfen eingesammelt sind und die Batterie vollgeladen ist. Um den Schwierigkeitsgrad des Spiels zu erhöhen, werden Steine als Hindernisse eingesetzt. Wenn man an diese stößt, verliert man einen Teil der eingesammelten Tropfen bzw. kehren die Tropfen an ihren Ursprungsort zurück.

Für den ersten Sonnen-Spielentwurf gab es zwei Ideen. Bei dem ersten Entwurf sollten Photovoltaik-Zellen eingebaut werden. Diese sollten verschmutzt sein. Damit die Sonne auf die Zellen scheinen kann, müssen diese von den Spieler:innen sauber gemacht werden. Erst dann ist es möglich Energie zu sammeln. Ein Lichtkegel um die Spieler:innen sollte dabei wie eine Art Radiergummi funktionieren. Durch das Tippen und Wischen mit diesem werden die Zellen sauber. Das Ziel des Spiels war die Sonne rechtzeitig zum Zielpunkt zu bringen, oder dass diese möglichst viel Wegstrecke zurücklegt.

Eine weitere Idee beinhaltete zwei Phasen.

In der ersten Phase sollten Sonnensymbole in drei verschiedenen Farben über den Boden wandern. Diese Farben orientieren sich an den Farben der Lichtkegel um die einzelnen Spieler:innen. Die Aufgabe der Spieler:innen ist es dabei, die jeweiligen Symbole in ihrer Farbe einzusammeln und diese an eine Station abzugeben. Nur die eigene Farbe ist sammelbar, anders farbige Sonnensymbole werden abgestoßen. Auch sollte es eine feste Anzahl an Sonnen für jede Farbe geben. In der zweiten Phase erscheint eine Sonne. Diese muss durch die Spieler:innen zusammen eingefangen werden. Dabei sollten sich diese so positionieren, dass eine Verbindung in Form einer Linie entsteht. Die gefangene Sonne sollte am Ende ebenfalls zu der Station gebracht werden.

Die erste Sonnen-Idee hätte das Erlebnis der kompletten Installation sehr gestört, da die realistischen Solarzellen auf dem Boden nicht zur restlichen Spieleoptik passten, die hauptsächlich aus vereinfachten Symbolen bestand.  Eine spätere Sonnen-Idee konzentrierte sich deshalb nochmal auf das Sammeln von Sonnensymbolen. Diese Symbole sollten Sonnenflecken repräsentieren. Auf diese Weise füllt sich eine Sonne, die an die Wand projiziert werden sollte. Sobald eine gewisse Anzahl von Sonnenflecken gesammelt wurde, verwandelt sich der eigene Lichtkegel um die Spieler:innen in eine Mini-Sonne. Dieser Effekt ist jedoch rein visuell und ist unabhängig vom Füllstand der großen Sonne an der Wand. Auch wenn die Lichtkegel sich in Mini-Sonnen verwandelt haben, können weiter Sonnenflecken gesammelt werden. Ziel des Spiels ist es, die große Sonne komplett mit Energie zu füllen.

Auch zum Element Wind gab es verschiedene Spielüberlegungen. Ideen, wie einen Windkanal zu bilden, oder den Wind allgemein darzustellen erwiesen sich jedoch als Herausforderung. Ventilatoren in die Installation zu stellen, würde das Gesamtbild der Natur stören. Den Wind zu spüren wäre allerdings ein weiteres Highlight und würde die Besucher:innen noch mehr in die Welt der Installation eintauchen lassen.

In einer weiteren Idee sollte der Wind die Naturumgebung auf dem Spielfeld verwüsten. Visuell sollte das mit herumliegenden Ästen und Blumen ohne Blüten dargestellt werden. Die Aufgabe der Spieler:innen war es sich so zu positionieren, dass der Wind in eine bestimmte Richtung gelenkt wird. Wenn sie sich richtig positionieren, sollte auch der Wind lauter werden. Das Ziel dieser Idee war es einen gemeinsamen Windstrahl zu erzeugen, der das Chaos wieder zusammenfügt, bzw. die „Zeit zurückdreht“.

Eine weitere Überlegung war es einen Baum mit Äpfeln und Blättern darzustellen. Wenn die Spieler:innen die Umgebung betreten, sollte der Wind anfangen zu wehen. Dies sollte durch das Wackeln der Äpfel und Blätter veranschaulicht werden. Aufgabe hier war es sich so hinzustellen, dass die Äpfel und Blätter vom Baum herunterfallen und somit eingesammelt werden können.

Neben den Spielideen wurde auch überlegt, wie die Energie in den zweiten Teil der Installation miteingebunden werden kann.

Eine Möglichkeit wäre durch die Batterie, ähnlich wie bei dem Wasserspiel. Eine weitere Idee bestand darin, die Energie zu einer Säule zu bringen, von der aus die Energie zu den singenden Pflanzen gelangt.

Um die Natur mehr in das Spiel zu integrieren, kam ebenfalls die Überlegung auf, durch das Spiel Energie in einem Baum zu erzeugen, der sich im Zentrum des Spielfeldes befindet. Nach dem gleichen Prinzip wie bei der Säule sollte über diesen die Energie zu den singenden Pflanzen gelangen und diese zum Leben erwecken.

Letztlich stand jedoch die Entscheidung fest, sich nur auf ein Element und ein Spiel zu konzentrieren. Das finale Element war schließlich das Wasser. Außerdem sollen sich maximal drei Spieler:innen gleichzeitig in der Installation befinden. Diese Entscheidung ist im Zusammenhang mit den ursprünglichen drei Elementen entstanden bzw. auch im Gedanken hinsichtlich der Corona-Lage und der Größe der gesamten Installation.

Immer wieder kam die Idee auf, einen Highscore am Ende anzuzeigen, oder irgendeine andere Art von Feedback für die Spieler:innen. Die Idee mit dem Highscore wurde jedoch verworfen. Aus dem Erzeugen der Energie soll kein Wettbewerb entstehen. Es ist wichtiger aufzuzeigen, dass auch kleine Beiträge des Umweltschutzes viel gegen die Erderwärmung beitragen können.

Auch die Idee, dass die Spieler:innen zwingend zusammenarbeiten müssen, wurde verworfen. Die Spieler:innen sollen so viel sammeln, wie es ihnen möglich ist.

Nachdem die grundlegende Systematik des Spiels schon feststand, wurde diese überarbeitet. Es soll eine Art Regen dargestellt werden. Die Regentropfen erscheinen dabei anfangs erst vereinzelt auf dem Boden, werden dann immer mehr und verdunsten gegen Ende des Spiels. Die Spieler:innen haben folglich die Aufgabe, diese Regentropfen einzusammeln.

Um die Aufgabenstellung:“sammle so viel Wasser, wie du kannst“, möglichst natürlich darzustellen, soll den Spieler:innen während des Sammelprozess immer eine Art Gefäß folgen, in das das gesammelte Wasser laufen soll. Steine sind dabei Teil des Spiels und dienen als Hindernisse, die möglichst nicht berührt werden sollen. Wenn man über einen Stein „stolpert“, wackelt das Gefäß und Wasser schwappt wieder heraus – man verliert wieder einen Teil der gesammelten Wassertropfen.

Die Gefäße dienen außerdem dazu, dass die Spieler:innen direkt zu Spielbeginn ihre Spielposition einnehmen können. Außerdem ist anhand des Gefäßes u. a. erkennbar, wie viel Wasser schon gesammelt wurde. Für die Spielstand-Anzeige dient die bereits erwähnte Säule, die eine Art Ladebalken darstellen soll und im Verlauf des Spiels den Sammelfortschritt mittels Licht in der Säule anzeigt.

Nach Spielende wird das gesammelte Wasser zur Säule und nach oben über die Decke (LED-Streifen) mit einem Energieschub zu den „singenden Pflanzen“ geleitet und versorgt diese. Außerdem verschwinden die Spielelemente und der Boden wuchert mit Pflanzen und Blattwerk zu.

Beitrag von Lisa Michel und Isabelle Münch

Eine KI, die die Arbeit von Künstlern übernimmt und eigene Werke schafft, gibt es bereits. Bei Plantasia sieht die Verwendung der KI jedoch anders aus. Hier geht die Gestaltung nicht von der KI aus, sondern sie dient nur als Werkzeug beim Gestalten.

Bevor die KI zum Einsatz kommt, muss man ihr Bildmaterial liefern.

Pro Kategorie- Baum, Rinde, Wasser, Blumen Blätter- wurden mehr als 1000 Bilder gemacht.

Anschließend wurden die Bilder durch das Colorgrading farblich angepasst, damit sie der Vorstellung der magischen Natur von Plantasia entsprechen.

Die fertigen colorgegradeten Bilder werden dann an die KI weitergegeben.

Die KI lernt, wie die Elemente der einzelnen Kategorien aussehen. Erhält sie ganz viele Bilder   von Blüten, lernt sie nach und nach wie eine Blüte aussieht. Im Lernprozess der KI gibt es dabei verschiedene Stufen. In den ersten Stufen ist noch keine Blüte erkennbar.

In den Folgenden kann man schon Blüten erahnen, jedoch fehlen die feinen Strukturen. Auch enthält das Bild noch Artefakte.

In den letzten Stufen lässt sich dann nur noch schwer unterscheiden, ob es sich um ein echtes Foto handelt, oder um eines, das von der KI erstellt wurde.

Hat die KI erstmal gelernt, wie eine Blüte aussieht, kann sie vielfältige Blüten generieren.

Jedoch nur auf der Basis der Fotos, die sie zuvor bekommen hat.

Wenn die KI dann erstmal weiß, wie eine Blüte aussieht, kann sie viele verschiedene Blüten generieren. Aber auch nur basierend auf den Bildern die sie bekommen hat.

Es ist nicht im Vorhinein klar, welche Bilder die KI letztlich generiert. Die Ergebnisse lassen sich allerdings durch die Auswahl der Bilder und das Colorgrading in eine Richtung lenken.

Da die fertigen colorgegradeten Bilder alle in lila und bläulichen Tönen gehalten sind, wird die KI beispielsweise auch keinen Baum generieren, der grüne Blätter und einen braunen Stamm hat.

Die KI bietet die Möglichkeit, auch kurze Tests mit weniger als 1000 colorgegradeten Bildern zu machen und somit ein schnelleres Ergebnis zu liefern. Dies spart Zeit und Arbeit. Eine weitere Option ist die Lernzeit der KI zu verkürzen. Dies führt jedoch dazu, dass die Bilder Artefakte enthalten.

Für eine grobe Einschätzung, ob die colorgegradeten Bilder für die KI passend sind, reicht der kürzere Test jedoch aus.

Beitrag von Caro Abkai

Vielen Dank an die Wilhelma Zoologisch-Botanischer Garten Stuttgart für die großzügige Unterstützung von Plantasia! Sie ermöglicht dem Plantasia-Team den Zutritt in ihre Pflanzenhäuser für Ton- und Bildaufnahmen und damit die Erstellung der Sounds für das Erleben der magischen Natur von Plantasia. Außerdem stellt sie uns eine umfangreiche Pflanzen-Beratung zur Verfügung. Diese ist für uns sehr wichtig, um die Gestaltung der magischen Naturwelt bestmöglich umzusetzen und den Erhalt der Pflanzen zu gewährleisten. 

Die Wilhelma ist ein zoologisch-botanischer Garten in der Kulisse einer denkmalgeschützten Parkanlage des 19. Jahrhunderts. Der Dreiklang von Zoo, botanischem Garten und historischem Park macht den hohen Wert und den besonderen Reiz der Wilhelma aus.

Der zoologisch-botanische Garten ist mit rund anderthalb Million Besuchern pro Jahr eine der beliebtesten Freizeiteinrichtungen Baden-Württembergs und einer der besucherstärksten Zoos in Deutschland. Sie ist der einzige zoologisch-botanische Garten in Deutschland und einer der artenreichsten Zoos der Welt.

Das Team von Plantasia freut sich riesig über die Unterstützung von der Wilhelma!

Beitrag von Lara Epple