Schlagwort-Archive: Technologie

MediaNight 2014 – Edgar´s Paper Palace

„Groß war auch das Interesse an der Rauminstallation ‚Edgar´s Paper Palace‘. Was die Gruppe des Bereichs Audiovisuelle Medien mit ihrer interaktiven Papierwelt zu Edgar Allan Poes bekanntestem Gedicht ‚The Raven‘ erarbeitet hat, war künstlerisch sehr gelungen.“
(Filder-Zeitung vom 18.01.2014)
 

Vor kurzem war die MediaNight 2014 an der Hochschule der Medien in Stuttgart und wir präsentierten „Edgar´s Paper Palace“:

Am 16. Januar tauchten hunderte von Besuchern in unseren interaktiven Papierpalast.
Der Gedanke dahinter: Wenn man ein Buch aufschlägt und liest, spielt sich die Geschichte im Kopf ab. Danach schließt man das Buch wieder. Wir haben ein begehbares Buch gebaut. Eine Bühne aus Papier, ein Papierpalast – Edgars Paper Palace.

An einzelnen Buchstaben der überdimensionale Buchstabenwand waren Hörlöcher mit Gedichtspassagen installiert.

© Ferdinand Reitze

Auf die Fragen des Studenten antwortet der Rabe ausschließlich „Nevermore“ und treibt ihn somit zunehmend in den Wahnsinn.
 © Ferdinand Reitze
Über eine Leap Motion steuerten die Besucher eine Rabenschwarm

© Ferdinand Reitze

Die Geschichte ist Edgar Allan Poes „The Raven“. Es geht um einen jungen Mann, der seiner Geliebten nachtrauert. Ob ihn seine Geliebte verlassen hat, oder stirbt wird im Gedicht nicht klar. Wir sagen, sie stirbt. Die Trauer treibt das lyrische Ich in den Wahnsinn. Der Wahnsinn wird im Gedicht durch einen Raben symbolisiert. Der Rabe kommt und bleibt. Treibt das lyrische Ich immer weiter in den Wahnsinn.

Mit Hilfe von Projektionen inszenierten wir unsere weiße Papierwelt und der Besucher tauchte in die Welt des geschriebenen Wortes.

© Ferdinand Reitze

Wir haben das Gedicht deshalb in drei Teile, drei Räume aufgeteilt. An der MediaNight konnten die Besucher das Gedicht über Grafiken, Videomappings, Hörstationen und Interaktionsmöglichkeiten miterleben.

von Ferdinand Reitze und Ramona Haisch

 

Den kompletten Artikel der Filder-Zeitung findet ihr hier.

 

Der Raum erhält seinen Sound

Eine der großen Herausforderungen bei der Klanggestaltung von „Edgar`s Paper Palast“ liegt im Erzeugen von angespannter „Stille“. Eine düstere Atmosphäre soll in den Räumen vorherrschen. Die Rauminstallation unterteilt sich in drei Bereiche, die visuell durch 2,5 m hohe Wände voneinander abgegrenzt sind. Doch wie erste Versuche zeigten: die Schallwellen gelangen über die Reflexion an Wänden, Boden und Decke leicht über diese Wände hinweg, oder daran vorbei. Bei einem zu hohen Pegel entfaltet sich der Sound stark im ganzen Raum und alles wirkt überladen. Die Reflexionen im Raum zu verringern, in dem man beispielsweise vor die Wände einen dicken Bühnenmolton hängt, kommt bei dieser Rauminstallation nicht in Frage, da an den Wänden und an der Decke Papierbahnen angebracht werden und dieser Look ein wichtiger Bestandteil des Gesamtkonzepts ist. Eine naheliegende Lösung besteht darin, die Sounds einfach leiser abzuspielen.

In der dramaturgischen Umsetzung des Gedichts übernehmen kleine Hörlöcher die Funktion von Vorlese-Stationen. Bei Effekt-Klängen, welche die interaktiven Elemente im Raum unterstützen, zeigte sich, dass es schnell zu einer Flut von Geräuschen kommen kann. Denn alles was sich bewegt verursacht Sound und der Besucher bestimmt, wie viel sich bewegt. Wir setzen daher unseren Fokus auf eher wenige, in unseren Ohren als treffend empfundene, Sounds.

Über die Soundduschen hört der Besucher den Ton punktuell an der passenden Stelle der Installation.

© Ferdinand Reitze

Durch den Einsatz von gerichtetem Schall über sogenannte Soundduschen, können wir den Sound in gewissem Maße so bündeln, dass dieser punktuell an der passenden Stelle im Raum wahrgenommen wird.

von Clemens Dursch

Ein Blick, der den Raum verändert

Eine Station unserer Installation bietet dem Besucher die Möglichkeit, die Welt durch die Augen Edgar Allan Poes zu betrachten und zu beeinflussen. Wo sein Blick hinfällt, ändert sich die Farbigkeit des Raumes. Düstere Schatten treten aus dem Nichts, Gegenstände bewegen sich wie von allein.

 

Die Herangehensweise

Um dieses Szenario umzusetzen wollen wir zwei Technologien verbinden:

1. Eye Tracking: Der Besucher blickt durch das Portrait Edgar Allan Poes, Kameras erfassen seine Augen und analysieren die Blickrichtung.

2. Video Mapping: Der Teil des Raums den der Besucher durch das Portrait einsehen kann, ist weiß gehalten. In ihm befinden sich drei neutrale weiße Quader. Mittels einer Projektion wird der Raum gestaltet. Die Wände bekommen Texturen, die Quader werden zu konkreten Gegenständen: ein Bücherregal, ein Tisch, eine Büste.

Entsprechend können wir den Raum und die Gegenstände verändern, je nachdem wohin der Blick des Besuchers fällt.

Das Innenleben des ursprüngliche Eye-Tracking-Prototypen. Vier Infrarot-LEDs beleuchten die Augenregion, eine Playstation Eye Kamera erfasst die Augen.

 © Thomas Steinbach

Eye Tracking

Gängige Einsatzgebiete für Eye-Tracking finden sich in der Marktforschung, der Psychologie oder auch in der Computersteuerung für körperlich beeinträchtigte Menschen. Allen ist gemein, dass sie ein großes Maß an Präzision voraussetzen und daher eine Kalibrierung, eine Anpassung an den einzelnen Nutzer, fordern. Gängige Eye-Tracking Software ist deshalb dementsprechend ausgelegt.

Das ist ein Problem. Wir wollen vermeiden, dass jeder Besucher eine Kalibrierung durchführen muss. Dafür arbeiten wir an einer eigenen Software zur Analyse der Blickrichtung. Der Raum soll direkt dem Blick folgen, so erreichen wir ein hohes Maß an Immersion und Verblüffung. Im Gegenzug verzichten wir auf etwas Präzision. Das Feld, das der Blickende beeinflusst, wird 1-2 Meter breit sein.

Der Besucher blickt durch Poes Portrait und damit ist die Position aus der er den Raum betrachtet vorgegeben. Wir müssen jetzt noch analysieren wohin er blickt. Um die Augen zu erfassen, werden wir in dem Bilderrahmen für jedes Auge einen speziellen Infrarot-Spiegel („Hot Mirror“) einsetzen. Dieser spiegelt nur Infrarotanteile des Lichts und der Besucher kann durchblicken wie durch ein Stück Glas. Eine Kamera erfasst über die Reflektion des Spiegels ein Infrarotbild des Auges.

Funktionsskizze des finalen Eye-Trackers: Jedes Auge wird von einer eigenen Kamera (Playstation Eye) erfasst.

 © Thomas Steinbach

Im Infrarotbild ist die Pupille leicht zu finden da sie dunkler als ihre Umgebung erscheint. Mittels Kantendetektion ermitteln wir die Konturen der Augen und zuletzt die Position der Pupille dazu. Das geht vor allem durch die optimale Position der Kamera. Zur Umsetzung nutzen wir die Computervision Bibliothek OpenCV in der Programmiersprache C++.

 

Video Mapping

Hier setzen wir auf die Programmiersprache VVVV. Darin bauen wir den Raum und seine Objekte virtuell in 3D nach. Im virtuellen Raum platzieren wir Bilder, Grafiken und Videos an die Stellen, an denen sie im realen Raum erscheinen sollen. So können zum Beispiel verschiedene Möbel im Raum entstehen und verschwinden. Die Daten unseres Eye-Trackers werden über das Netzwerk empfangen.

Der Blick des Besuchers soll den Raum verändern, ähnlich einer Taschenlampe die einen dunklen Raum partiell beleuchtet. Um das zu erreichen, bauen wir drei Variationen des virtuellen Raums.

#1 generiert den Raum wie er normal erscheint.

#2 generiert den Raum vollständig durch die Augen des Nutzers beeinflusst.

#3 visualisiert den Blick des Nutzers durch den Raum. Die betrachteten Stellen sind weiß, alles andere ist schwarz. Dieser Raum wird als Maske genutzt und blendet an der vom Besucher fokussierten Stelle Raum 2 ein.

An der Position des realen Beamers wird eine virtuelle Kamera im 3D Raum positioniert. Diese filmt den 3D Raum und erstellt die Ausgabe die wir in den realen Raum projizieren. Stimmen alle Relationen zwischen dem 3D Raum und dem realen Raum, der virtuellen Kamera und dem realen Beamer überein, haben wir einen perfekt gemappten Raum dessen Inhalte wir flexibel und interaktiv benutzen können.

Der Mapping Prototyp in VVVV: Links oben der Output, der in den Raum projiziert wird, darunter eine Übersicht über den 3D Raum mit zwei Quadern und einer virtuellen Kamera. Rechts der Programmcode.

  © Thomas Steinbach

von Thomas Steinabch

Einmal Beamen bitte!

Die Fassade der HDM mit der großen Glasfront des CMC (Convergent Media Center) ist eine eindrucksvolle Leinwand für die Projektion unserer Studioproduktion. Allerdings hat das hübsche Glas einen kleinen Nachteil, wenn man es als Projektionsfläche verwenden möchte. Man muss das Glas dazu bringen, die projizierten Bilder zu reflektieren. Das klappt, wenn man von innen reflektierendes Material anbringt. Wir brauchen also keinen Fassadenkletterer.

Bild © Ingmar Jännsch

Unsere Fassadenfläche ist 13,40m hoch und 17,75m breit. Wie klasse, das entspricht ja fast exakt einem Verhältnis von 4:3, wie Omas alter Röhrenfernseher (oder auch ein simpler alter Beamer). Ein simpler alter Beamer ist aber viel zu lichtschwach, wenn wir schon bei anbrechender Nacht ein brauchbares Bild haben wollen. Wir brauchen was Besseres.

Einen Platz zum Aufstellen des Beamers brauchen wir natürlich auch. Damit keine Zuschauerköpfe im Bild sind, darf er natürlich nicht auf dem Boden stehen. Könnte man nicht das Bauschild als Standgerüst verwenden? Das steht 30m weit von der Fassade weg.

links die Fassade vom CMC  und rechts das Bauschild.   Fotografie © Ingmar Jännsch

Bekommen wir einen Beamer mit 4:3-Chip, müsste das Objektiv des Beamers dann ein Projektionsverhältnis von 1,7:1 darstellen können, denn bei einer Projektionshöhe von 13,40m ergibt sich für 4:3 eine Projektionsbreite von 17,80m. Moderne Beamer haben allerdings meist Chips im Verhältnis 16:10. Die Optik muss natürlich die volle Breite des Chips abdecken. Unsere Fassade bleibt aber gleich. Um deren Höhe abzudecken bräuchten wir dann eine Optik, die ein Projektionsverhältnis von 1,4:1 darstellen kann, denn für 16:10 ergibt sich bei 13,40m Höhe eine Projektionsbreite von 21,40m.

Bekommen wir zu einem Profi-Beamer auch ein solches Objektiv? 1,7 ist die Untergrenze des Zoomobjektivs, das am ehesten in Aussicht steht. Der Beamer hat dummerweise voraussichtlich einen 16:10-Chip. Vielleicht ist ja das Bauschild doch keine so gute Idee.
Bauen wir also doch einen eigenen erhöhten Standort für den Beamer. Bis zur Straße haben wir maximal 46m Abstand zur Verfügung. Das macht ein benötigtes Projektionsverhältnis von 2,6:1 für 4:3 bzw. 2,15:1 für 16:10. Damit bräuchten wir dann auch kein kaum zu bekommendes Spezialobjektiv. Und, juhu, ein passendes Standgerüst steht auch in Aussicht.

Beitrag von Ingmar Jännsch

User Interface Design für die DVD

Schon einmal eine Website besucht und einen Button aktiviert ohne darüber nachzudenken ob es der Richtige ist? Ganz schön schwierig sich daran zu erinnern, wenn man zu dem Zeitpunkt nicht darüber nachgedacht hat, oder? Ein schlaues Interface Design will nicht erkannt werden, es führt den Nutzer durch ein System ohne dass es bemerkt wird. Natürlich kann ein Interface gefallen, kreativ und künstlerisch sein, aber das ist lediglich die Oberfläche eines meist komplexen Leitsystems, das richtig verpackt sogar ein durchaus minimalistisches Erscheinungsbild haben kann. Ein Ansatz kann sein, den Nutzer zum Spielen, Ausprobieren und kreativen Denken zu bewegen, wie es z.B. das Interactive Studio Barcinski & Jeanjean auf seiner Website (www.barcinski-jeanjean.com) tut um im Interface selbst hervorzuheben, was eigentlich auch in den Produktionen gemacht wird.

content diagram © Franz Rosenberger

Doch was hat das mit unserer Installation zu tun? Nach Fertigstellung von „senses reconnected“ wird es eine Dokumentations-DVD mit Material rund um die Studio-produktion geben, so kann man sich auch noch nach Abbau mit der Installation vertraut machen. Jedoch wollen wir kein Standard-o815-DVD-Menü, sondern etwas Eigenständiges, etwas Neues, dass zum einen die Installation inhaltlich repräsentieren soll und auch als ergänzendes Element gesehen werden kann. Unsere Teammitglieder Franz Rosenberger und Thomas Nathan besuchen neben der Studioproduktion den Kurs User Interface Design, welcher sich genau mit der Konzeption einer ansprechenden Benutzeroberfläche befasst. Glücklicherweise konnte ein Verbindung des Kurses mit der Produktion hergestellt werden, so dass innerhalb des Kurses ein Menü für unsere DVD konzipiert wird.

mockup
Ausschnitt des Mockups © Thomas Nathan

.

.

.

.

.

.

.

.

.

.

Dank unseres Dokumentation-Teams waren die Inhalte der DVD schnell definiert. Die Verteilung der verschiedenen Inhalte in Untermenüs lies sich mit Hilfe von paperbased Wireframing effizient und logisch realisieren. Das Design sollte natürlich auch unsere Corporate Identity beinhalten, welche sich jedoch noch in der Produktion befand und so laufend Änderungen vorgenommen werden mussten. Für die Wegeleitung hatten wir zwei Ziele: Zum einen wollten wir einen Teil der Installation aufgreifen und ihn zu einem menüfähigen Objekt transformieren und zum anderen wollten wir alle Menüpunkte der gesamten DVD auf einer einzigen Hauptseite unterbringen um Zwischenspieler von Untermenü zu Untermenü zu Untermenü usw. keinen Raum zu bieten. Wir wollen Orientierung geben und Spieldrang wecken. Die CI wurde fertig- gestellt und beinhaltete das prägnante grafische Element einer Punktmatrix, welche eine optimale Grundlage für ein verspieltes Menü mit klarer Struktur lieferte. Auf dieser Basis wurde ein Mockup erstellt, der nun Benutzertests unterzogen wird um dann das entgültige Menü fertigzustellen.

von Thomas Nathan