Schlagwort-Archive: Kinect

Grenzkörper: MediaNight als Usability Test

Die interaktive Installation Grenzkörper wurde an der Media Night zum ersten Mal fremden Publikum vorgestellt. Dabei konnte man schnell erkennen, wie die Besucher das Interaktionsprinzip verstehen und wie klar transportiert wurde, wie die Interaktion überhaupt stattfindet.

Um den Besuchern einen Anhaltspunkt zu geben, wurde eine kurze Erklärgrafik erstellt. Diese soll einfach und möglichst Aussagekräftig darstellen, wie man mit der Installation interagiert.

Zum einen können die Besucher durch ihre Silhouette, die von der Kinect erfasst wird, den Verlauf der aufströmenden Partikel verändern. Sie können diese aufstauen oder sammeln, abstoßen oder anschupsen.

Zum anderen können sie durch die Position der Hände unterschiedliche Sounds auslösen. Damit die Besucher wissen, dass sie gerade durch Ihre Aktion einen Sound ausgelöst haben, wird zusätzlich ein Feld an der Stelle an der der Sound „versteckt“ ist kurz eingeblendet. Somit erhält man als Besucher auch ein direktes visuelles Feedback. Dieses Zusätzliche visuelle Feedback ist wichtig um wirklich klar zu machen: „Du hast durch die Bewegung deiner Hand einen Sound ausgelöst, den du hörst und gewissermaßen auch siehst“. Fehlt dieses visuelle Feedback, fehlt der Bezug zwischen dem was man als Besucher tut und dem was man hört.

In vorherigen Testdurchläufen war die Soundinteraktion noch anders gelöst. Dort spielte ein Background-Loop im Hintergrund und die Position der Hand mischte, vergleichbar mit einem Fader eines Mischpultes, weitere Spuren hinzu. Dabei erhielt man kein visuelles Feedback, sondern nur ein auditives. Dabei kam es aber bei den Testpersonen nie so an, dass sie wirklich wahrgenommen haben, dass man durch die Position der Hände den Sound beeinflussen kann. Es war kein direktes Feedback, da der Sound langsam eingefadet wurde und das führte zu einer Unklarheit seitens des Besuchers.
Die Tatsache, dass man im neuen Konzept kurze, prägnante Sounds auslöst und man zusätzlich in Form eines Feldes das an der Stelle eingeblendet wird ein visuelles Feedback erhält, schafft man insgesamt ein direkteres, klares Feedback und damit eine bessere Verständlichkeit.

 

Beitrag von Lukas Aue

Station 1: Grenzkörper

Die interaktive Station „Grenzkörper“ ermöglicht es dem Besucher nicht nur Zuschauer zu sein, sondern selbst Teil der Installation zu werden. Sobald er die Interaktionsfläche betritt, taucht er in eine reaktive Unterwasserwelt ein und hat hier die Möglichkeit Einfluss auf seine Umgebung zu nehmen. Die Station befindet sich im Wartebereich der ankommenden Besucher und bezieht den Containerterminal auf der gegenüberliegenden Seite des Hafenbecken 2 mit ein.

20161106_grenzkoerper_luftblasen

Der Spieler bewegt sich durch eine polygonale Wasserstruktur in der er durch Bewegung seiner Hände Strömungen erzeugen kann, welche sich farblich von der restlichen Struktur abheben. Weitere Elemente, wie Luftblasen, die sich durch die Szenerie bewegen werden von diesen Strömungen erfasst und ändern so die Richtung ihrer Bewegung. Zudem kann der Spieler Luftblasen einfangen und herumtragen, was es ihm ermöglicht eine Luftblase auf eine von ihm festgelegte Reise durch die Unterwasserwelt zu schicken. Untermalt wird das Geschehen von einem atmosphärischen Klangteppich, sowie akustischen Highlights, die die jeweiligen Interaktionen unterstützen.

Technisch wird diese Installation mithilfe einer großflächigen Projektion auf Übersee-Container, die am gegenüberliegenden Ufer stehen realisiert. Dazu kommen mehrere Projektoren zum Einsatz um zum einen die enorme Breite der Projektion umsetzen zu können und zum anderen die benötigte Lichtstärke auf eine Entfernung von mehr als 80 Metern liefern zu können.

Als Interaktionsflächen werden leicht erhöhte Podeste verwendet auf denen sich die Spieler parallel zur Projektion bewegen können. Ihre Bewegungen werden dabei von Kinect-Kameras erfasst. Die Kameras ermöglichen es sowohl die Positionen einzelner Punkte des Skeletts, als auch die gesamte Silhouette des Spielers aufzunehmen und weiterzuverwenden.

Die zugrundeliegende Polygonstruktur wird durch mathematische Triangulationsalgorithmen erzeugt und durch die zugeführten Positionswerte der Handflächen verändert, wodurch dann Färbung und Strömungen erzeugt werden können. Das Bindeglied zwischen Projektion und Logik bildet die Software VVVV, welche sowohl die Kinect-Daten ausliest, als auch die Polygonstruktur erzeugt, verändert und letztendlich projiziert.

20161115_grenzkoerper_tracking

Die Schwierigkeiten dieser Station liegen vor allem in der Auswahl geeigneter Triangulationsalgorithmen. Zurzeit verwenden wir Voronoi- und Delauneytriangulationen, welche leider noch nicht ganz das gewünschte Ergebnis liefern. Des Weiteren stellt die Implementierung der Spielmechanik eine weitere Herausforderung dar. Die visuelle Darstellung der Strömungen funktioniert zwar bereits sehr gut, allerdings müssen diese Strömungspfade nun auch dokumentiert werden, damit weitere Spielelemente ihnen folgen können.

 

Beitrag von Tim Dieckmann

Die Bühne steht und wackelt.

Nach monatelanger, minutiöser Planung auf Papier und am Computer konnte das StuProteam in den vergangenen Wochen aus der blossen Idee endlich ein Konstrukt entstehen lassen. Das Herzstück der EventMedia Installation „IRRSINN“ bildet die 4×4 Meter Steuerplattform, weshalb dieser ein besonders grosser Teil unserer Energie zu Teil wurde.

Die Bühne steht und wackelt. weiterlesen

Keying mit der Kinect

André Bohr arbeitet sich gerade in das Keying mit der Kinect ein. Inzwischen hat er es geschafft, dass die Kinect am PC läuft.


André Bohr testet die Kinect am PC. Foto © André Bohr

Am Anfang hat André Bohr nur ein gelbes Bild rausbekommen. Der PC konnte aus diesem Bildsignal erstmal keine Infos ziehen. In einem zweiten Schritt wollen wir aber ein farbiges Bild sehen.


Kinect gibt Farbe aus. Foto © André Bohr

Jeder Tiefe wird hier ein bestimmter Farbwert zugeordnet. Die Herausforderung besteht nun darin, an die Werte zu kommen und vvvv zu sagen, wir wollen z.B. nur den blauen Teil, also in dem Fall den Besucher. Die Schwierigkeit dabei ist, dass nicht alles gekeyt wird. Wir wollen ja beispielsweise nicht das Bücherregal im Bild haben.

Außerdem können Bewegungen des Besuchers nach vorne oder hinten nicht erfasst werden. Wobei wir dieses Problem als nicht ganz so dramtisch einschätzen.

Der Bildausschnitt wird wohl kleiner sein, als geplant. Wenn wir die Kinect hochkant benutzen, können wir den Besucher in der Entfernung von 1 m komplett erfassen. Richten wir die Kinect vertikal aus hätten wir den Besucher in 1 m Entfernung bis zur Gürtellinine, bei 1,5 m Abstand sogar bis zum Knie.

Der nächste Schritt ist jetzt die Einbindung in vvvv zu realisieren, um die Werte manipulieren zu können. Dafür hat André Bohr bereits die erforderlichen Plugins installiert. Aber über vvvv kommt noch kein Bild raus. Bei der vvvv-Programmierung wird uns Tobias Isakeit unterstützen. Auf seine Erfahrung sind wir angewiesen.

Beitrag von Selina Schleich mit Vorlage von André Bohr