Project by Daniel Franke & Cedric Kiefer

produced by:
onformative
ChopChop

Documentation:
vimeo.com/38505448

Music: Machinefabriek “Kreukeltape”
machinefabriek.nu/

Text: Sandra Moskova

The basic idea of the project is built upon the consideration of creating
a moving sculpture from the recorded motion data of a real person. For
our work we asked a dancer to visualize a musical piece (Kreukeltape by
Machinenfabriek) as closely as possible by movements of her body. She was
recorded by three depth cameras (Kinect), in which the intersection of the
images was later put together to a three-dimensional volume (3d point cloud),
so we were able to use the collected data throughout the further process.
The three-dimensional image allowed us a completely free handling of the
digital camera, without limitations of the perspective. The camera also reacts
to the sound and supports the physical imitation of the musical piece by the
performer. She moves to a noise field, where a simple modification of the
random seed can consistently create new versions of the video, each offering
a different composition of the recorded performance. The multi-dimensionality
of the sound sculpture is already contained in every movement of the dancer,
as the camera footage allows any imaginable perspective.

The body – constant and indefinite at the same time – “bursts” the space
already with its mere physicality, creating a first distinction between the self
and its environment. Only the body movements create a reference to the
otherwise invisible space, much like the dots bounce on the ground to give it
a physical dimension. Thus, the sound-dance constellation in the video does
not only simulate a purely virtual space. The complex dynamics of the body
movements is also strongly self-referential. With the complex quasi-static,
inconsistent forms the body is “painting”, a new reality space emerges whose
simulated aesthetics goes far beyond numerical codes.

Similar to painting, a single point appears to be still very abstract, but the
more points are connected to each other, the more complex and concrete
the image seems. The more perfect and complex the “alternative worlds” we
project (Vilém Flusser) and the closer together their point elements, the more
tangible they become. A digital body, consisting of 22 000 points, thus seems
so real that it comes to life again.

nominated for the for the MuVi Award:
kurzfilmtage.de/en/competitions/muvi-award/selection.html

see video in full quallity:
daniel-franke.com/unnamed_soundsculpture.mov

HQ Stills
flickr.com/photos/37752604@N05/sets/72157629203600952/

D-2011. acryl glas cube, acryl glas spools, PC, Screen, Servo Motors, Microcontroller,
Processing Application
130 cm x 60 cm x 30 cm.

The Question about how we perceive images is the central point of this work. Assuming
that respectively distorted images generate for us a reproduction of the world and that this
duplication in addition to the time line within technical images shifts our sensory
perception, primarily from eye to a simulation of sight.
The work begins with this in mind. The moving image in the form of a simulation is the
initial point – digital data generated by an animated movie are transformed back to the real
world illustrated by a pointer moving through space.

Eight nylon – cords link to a mutual point that can only hold the position in space because
of their interdependent movement. A loop occurs – a movement is simulated in a digitally
reconstructed physical space and the resulting information of the position is transformed
back to the physical space. The Outcome is form of spatial image, a kinetic plane which
expands in three dimensions. As a Consequence the perception is changing, the moving
image cannot only be seen from one fixed viewing angle or rather one unique viewer
position. The observer
is autonomous, moving around the sculpture and is thus controlling his/her own point of
view of the spatial film. Consequently restrictions of the medium are scrutinised similar to
that what the expanded cinema movement questioned. With that in mind the work follows
the idea of the work “Spatial Soundsculpture”, but in contrast to the older work the Screen
has completely vanished. The Interface that lead to the digital medium in form of a
window is only visible by the edges of the mapped coordinate system.

german
Die Frage nach der Wahrnehmung von Bildern ist der zentrale Punkt dieser Arbeit. Geht
man davon aus, dass Bilder uns in perspektivischer verzerrter Form ein Abbild der Welt
liefern und dass diese Verdoppelung durch die Addierung der Zeitachse in technischen
Bildern sich hin zur Simulation von Sinneseindrücken, vorrangig des Auges verschoben
hat. Setzt diese Arbeit genau hier an. Das Bewegtbild in Form einer Simulation wird als
Ausgangspunkt genutzt, die generierten Daten aus einem digital animierten Film werden
auf die reale Umgebung zutrücktransformiert und lassen einen Zeiger im Raum wandern.

Acht Nylon-Schnuere verweisen auf einen gemeinsamen Punkt, der nur durch ihre
gleichmäßige und von einander abhaennige Bewegung seine Position halten kann. Eine
Schleife entsteht – ein physischer raum wird digital rekonstruiert worin eine Bewegung
simuliert wird. Die daraus resultierenden Daten werden dann wieder auf den realen Raum
übertragen. Das Ergebnis ist eine Art räumliches Bild, eine kinetische Fläche, die sich in
drei Dimensionen ausdehnt. Damit verändert sich die Wahrnehmung des Medium , das
bewegte Bild ist nicht aus einem starren Betrachterwinkel bzw. von einer optimalen,
einzigen Position zu sehen. Der Zuschauer bewegt sich selbst um das Objekt und bestimmt
damit seine eigene Ansicht auf den räumlichen Film, er dadurch wird aktiv. Restriktionen
des Bewegtbildmediums werden damit gebrochen, wie sie in frühen Ansätzen schon von
den Anhängern der Expanded Cinema Bewegung hinterfragt wurden, die “all das, was
spaeter durch die digitale Technologie möglich wurde, … analog vorzeichneten” (P.
Weibel) . Die Arbeit setz hier also bei der Spatial Sound Sculpture von 2009 an, der Screen
hat sich aber im Kontrast zur früheren Arbeit komplett aufgelöst. Das Interface, das als
Fenster zum digitalen Medium fungierte zeigt jetzt nur noch seinen Grenzen in Form der
räumlichen Ausdehnung des gemappten Koordinatensystems.

LEAP is non-profit interdisciplinary project for electronic,
digital media arts and Performance. LEAP curates and
presents solo and group exhibitions, performances, concerts,
workshops, meetings and talks.

The concept central to LEAP is experimentation in digital
Technologies and media, which shape and change our present
and future society- and stimulate new discourses, discussions
and questions. The human being(or body) is in this context in
performative interaction with these technologies.
Since its inception in March 2011, LEAP has curated and
organised nearly 20 individual and group Exhibitions,
performances, concerts, workshops, meetings and talks.
In addition, a number of series have been developed to address
specific themes in digital and performance art.
In the future the promotion of artistic and cultural exchange will
extend to cooperation with institutes, universities, foundations
and festivals, in both Germany and abroad
With its exhibitions and projects, LEAP is interested in the
immediate involvement of the urban environment outside
the gallery and to explore the progressive fusion of real and
virtual space.
LEAP is centrally located neat the Berlin TV tower / Alexanderplatz
and offers 390m2 to artists and curators for exhibitions and
experiments. Along with five artists studios, there is a large exhibition
space with panoramic views, a space for screening and
access to a roof terrace.
LEAP is a project by Daniel Franke, Kai Kreuzmüller and John
McKiernan.

Lets start to think about Sensory Perception. What we perceive as we follow Heinz von
Foerster a Simulation of our Brain interprets different impulses of our Sensory organs. So
from the beginning there is an interface – between our brain and the real world, simulating
a world (our subjective world) that we call real. But if our perception is a simulation of the
world surrounding us, it can’t be real, its only real before the brain starts to manipulate,
reinterpret and interpolate the chaos our Senses perceive. Empedokles’ “Porentheorie”
describes this context without an interface, the different Sences are connected with the
matching impulses through the right size of their pores. This Connection is mutual
meeting half way. There is no interface needed, the connections are established if the right
senses and impulses are clashing. What if we, with the new tecnologies, can, in an abstract
way, differ the size of our pores to perceive the impulses meant to be for a specific Sence
with a ubiquitous recorder and convert the signal for every sense we want. The perception
would be much more real in a common Sense, because the recorder would be software
callibrated and in conclusion not subjective. (29.11.2010)

During my research today I read a book by Siegfried Zielinski (“Archälogie der Medien” -
engl. “The Deep Time of Media”) and made a significant discovery for my project. Two
german Scientists in the late 19th century collected Data of the Human gait with an
specific construction. Christian Wilhelm Braune and Otto Fischer took Photos from two
different perspectives of a person connected to (we would say today) sensors – Lights that
flash at a constant rate. The Result was a picture with graphical data of the Human
walking cycle like the ones we know from Marey or Muybridge, yet in a more abstract way.
But what is really interesting for me is the fact that they converted the Data of Movement
and Time back to a sculpture in real space, to be perceived in another way than is typical
for visual Data.
“Das intreresse Braunes und Fischer erschoepfte sich nicht in der zweidimensionalen
Rekonstruktion der Bewegungen eines gehenden Mannes. Sie wussten, dass Bewegung
nicht nur zeitliche sondern auch raeumliche Dimensionen hat. Aus den graphischen
Daten zweier Ansichten ein und derselben Bewegung aus unterschiedlichen Perspektiven
machten sie Entwuerfe fuer dreidimensionale Figuren. um diese aus den physiologischen
Daten gewonnenen Skulpturen sollte man regelrecht herumgehen und so den Koerper in
Bewegung genaustens Studieren koennen. (Braune/Fischer 1895)” – Zielinski S. 285
(30.11.2010)

They used data of Photos and convert them back in the real world as a 3d Sculpture to
make movement and time perceivable in a way a common Pictures wouldn’t allow. The
Translation of the Data opens new ways in representation and in conclusion perception.
They left the Interface – the sample rate in which our brain records the surrounding world
(about 100Hz) and consequently our Sense of Time – behind. Braune and Fischer collected
data from the “real” world that our eyes cant see in the short frame of perception and thus
fixed a process of time in single Moment.
With the Theorie of Empedokles in mind one can say Mediatechnics are used to resize the
pores of Movement and Time to make them perceivable for other Sences.
(01.12.2010)

D-2010. Concrete cube, PC, 2 projectors, webcam, servo motors,
microcontrollers, C++ applications, tripods. 4 x 4 x 2 m.
Collaboration with Markus Kison

A camera fixed on the concrete cube sculpture recognizes the presence
of human faces within its scope. With a randomized choice it will
focus on one of the bystanders and adjust its movement to his; tracking
the eye movements of the viewer, a software computes the corresponding
angle of view projecting onto the cube the very section of the space
the sculpture is blocking from the viewers eye; thus making the cube
appear transparent.
The video sculpture „Durchsehen, Exp. 01 (augmented perspective)“
overwrites the common notion of perspective and plays with the
significance of perspective in an art historical perspective; the
work of art evades the gaze of the viewer or rather: the two are
equated. The gaze of the observer coincides with the object of
observance in a piece that also draws a line to former strategies of
dealing with vision and depiction: the renaissance praxis of “painting
on glass”. Through the real-time projection on the cube a 3dimensional
depiction of 2dimensionality occurs; the catoptric turns dioptric. The
framing plane of the conventional video image becomes fragmented as
work and reality intertwine in an augmented perspective.
(Text translated by Mikala Hyldig Dal)

german Version

Die Videoskulptur „Durchsehen, Exp. 01 (augmented perspective)“
überschreitet die „Perspektive“, also das, was in Abfolge an einem
Gegenstand oder Raum durch Erfahrung beim Betrachter als
wahrscheinlich gilt. Ausgehend vom Gedanken, mittels der Sicht durch
Glas Perspektive (lat. perspicere: hindurchsehen, wahrnehmen,
erkennen) überhaupt zu erzeugen, ist „Durchsehen, Exp. 01“ eine
Aufforderung an den Betrachter, das Bild selbst herzustellen. Im
Motivischen ist dies eine unbekannte, ungesehene Figur. Durch die
Echtbildprojektion auf einen auf der Spitze aufgestellten plastischen
Beton-Kubus, erfolgt für den Betrachter eine dreidimensionale
Darstellung von Zweidimensionalität: Katroptik wird somit zu Dioptrik.
Die Fläche oder der Rahmen des klassischen Videobildes wird also
verändert und aufgebrochen, nicht aber die Wahrnehmung dessen. Werk
und Wirklichkeit werden weiterhin mit Hilfe von Durchsichtigkeit
dynamisch verschränkt und die reale Umgebung durch Transparenz
verlängert beziehungsweise erweitert. Eine oberhalb des Kubus
installierte Kamera erkennt menschliche Gesichter, die sich innerhalb
eines definierten Radius aufhalten. Die Auswahl der Sensorik erfolgt
per Zufall. Einmal erfasst, folgt die Kamera dem Betrachter bis er den
Radius verlässt oder sein Gesicht abwendet – in dem Fall sucht sich
das System einen neuen Betrachter. Gleichzeitig berechnet eine
Software den nötigen Blickwinkel zur perfekten „Perspektive“ für den
getrackten Betrachter auf den Kubus und passt das Videobild
perspektivisch in Echtzeit an.

(german)
Die “One Minue Soundsculpture” ist eine virtuelle Skulptur, die in einer
Realumgebung simuliert wird. Die Arbeit zeigt in Form eines Videos mögliche
Positionen, die ein Betrachter zu dieser Skulptur einnehmen kann, und
simuliert quasi dadurch auch ihn selbst. Mittels FFT-Algorithmen wird
Sound in Daten übersetzt, und kann so die Position zum jeweiligen Zeitpunkt
beeinflussen. Es entsteht eine Skulptur, die sich in Abhängigkeit des Tons
sukzessive in die Höhe schraubt und organisch bewegt. Die digitale Skulptur
wirft als digitales Layer Schatten und Spiegelungen innerhalb der Realumgebung.
Visualisiert wird ein Stück des Künstlers “Ryoji Ikeda”: “One Minute”.
Die Arbeit ist als Start einer Reihe von Werken zu sehen, die eine Auflösung
der Betrachterposition behandelt. Die “One Minute Soundsculpture” zeigt
dabei einen Weg, wie Bewegtbilder auf andere Weise wahrgenommen werden
können. Hier wird dieser Weg noch simuliert. In anschließenden Arbeiten,
wie z.B. der “Spatial Soundsculpture” oder bei “Durchsehen Exp. 01 (Augmented
Perspective)”, wurde diese Überlegung dann auf den realen Raum übertragen.
Wichtig ist dabei die Schaffung eines Rueckkanals in das Medium selbst. Die
Betrachterposition stellt das Bewegtbild in Abhaennigkeit seiner Position.
Die generierte Perspektive erzeugt sich aus seinem Standort zum Objekt und
wird somit im doppelten Sinne subjektiv

The piece is inspired by VR-sculptures, though technically and
conceptionally transcending the helmet-like “90ies data-glasses”.
The basic thought is to re-organise the relationship between
“the viewer and the viewed” whose traditional functions are
expanded technologically; the starting point however remains
set in “real space”.

A portable screen is used to visualise the soundsculpture; a
camera attached to the screen collects information of the space
surrounding it from markers distributed on adjacent surfaces.
The screen becomes a transmitter superimposing a digital layer
-the sculpture onto “real space” (the unmanipulated space that
greets the naked eye). The process allows the viewer to abandon
the passive position of the “merely on-looking” consumer; he is
enabled to visually and acoustically intervene with the sculpture,
to model and module it. His changing positions and movements
affect the visualisations on the screen, rendering an “extended
reality” accessible. The sculpture generated is individually linked
to each observer and thus singular.

The traditionally static and inactive viewer position is replaced by
a mobile, navigating and active observer position. The one-way
reactive relationship between sender and receiver is abandoned
through a feedback channel to the moving image. The sound
sculpture interprets a composition by Rutger Zuydervelt, that,
parallel to the visual sculpture spreads spatially around the
viewer through four loudspeakers. Employing FFT data the
generated sculpture changes depending on the position of the
user which is calculated by spatially distributed AR-markers. As
it is Algorithm-based the sculpture is non-haptic – it is a
generated but manipulable projection. Nonetheless the starting
point remains set in “real space”: the technology does not
attempt to conquer reality through VR, but rather seeks
intersection points with the real-space context of the observer.
The Laszló Moholy Nagy quote “Colour becomes light, mechanic
turns into sculpture” resonates in this work, only here one might
rephrase “Colour becomes thought, mechanic turns into narration”.

1…These-Einleitung “Mobiler Betrachter”

2…Herkunft Mobiler Betrachter

2.1…Subjektive (Gamic Vision)

2.2…Navigation (Computer Space)

4…Fazit

5…Quellen

These-Einleitung “Mobiler Betrachter”

Die virtuelle Mobilisierung des Betrachters, die wir durch das aufkommen des Mediums
Computer miterleben, stellt eine neue Möglichkeit dar mit der wir auf virtuelle
Umgebungen blicken. Ich will mich hier aber nicht auf virtuelle Welten konzentrieren,
sondern eher einen Überblick über die konkrete Mobilisierung des Betrachters in
virtuellen Welten geben und wie sich dadurch eine neue Sicht ergeben hat. Dabei liegt
mein Fokus darauf einen Weg über die Kinemato-graphische Mobilisierung bis hin zum
räumlichen Film aufzuzeigen. Räumlich meint hier nicht 3D Realität innerhalb des Screen
zu generieren. Sonder die projizierte Fläche als Volumen zu verstehen, die fixe
Positionierung des Screen aufzugeben und innerhalb dieses Raums einer Mobilisierung zu
unterziehen. Die immobile Position des Betrachters weicht so der einer navigierenden,
selbst aktiven und den Raum erkundenden Position. Äquivalent der Steuerung innerhalb
von Computerspielen bzw. in 3D Applikationen (3dsmax). Selbst Aktiv ist dabei das
Wichtige dieser Entwicklung. Um in den Worten von Alexander Galloway zu sprechen:
“was früher vorrangig als Domäne fuer die Augen und das Anschauen gedacht war, ist nun
mehr das der Muskeln und des Tuns. Der Akt des Lesens wird der Akt der Aktion oder
einfach das Acting 1. Ich beziehe mich hier aber nicht auf das Acting im Sinne von
Computerspiele “spielen” sondern Acting eher metaphorisch fuer “sich selbst aktiv
beteiligen”. Also nicht im Sinne des klassischen Bewegtbild Medium wie Manovich
bemerkt: „als eine Sprache, die man nur versteht aber selbst nicht spricht”2 oder wie
Flusser bezüglich “Techno Imagination” bemerkt: “vergleichbar nicht nur mit
Analphabeten in einer von Texten beherrschten kodifizierten Welt, sondern auch
Schriftstellern, welche weder Grammatik noch Orthographie beherrschen.” 3 Ich sehe
diese Aktivität in Navigation durch virtuelle Welten, womit dem Betrachter quasi
ermöglicht wird jeden Punkt im Raum einzunehmen. Auffällig ist dabei der Wegfall
traditioneller Film-Montage-Techniken und das eigentlich ständige auftreten von
Plansequenzen. In der subjektiven Art der Präsentation ergibt sich zusätzlich ein weiterer
Kontrast zu cinemaskopischen Erzählweisen. Denn im Kino wird der Blick auf eine
Handlung durch Regie, Kameraführung und Montage vorgegeben, heisst der Betrachter
erfährt zwar auch eine virtuelle Mobilisierung aber in einer eher passiven Form. Diese
Form der Präsentation in nur eine Richtung drehen Games um und verorten den Mobilen
Betrachter eher innerhalb einer spielerisch, dialogischen Auseinandersetzung mit dem
Bewegtbildmedium. Ich möchte deshalb im Folgenden eine mögliche Entwicklung des
Mobilen Betrachters in Bezug auf die Subjektive und “Gamic Vision” sowie auf Navigation
und “Computer Space” aufzeigen. Was zu guter letzt auch mich zu meiner eigenen Arbeit
motiviert hat.

Herkunft “Mobiler Betrachter”

Was meint Alexander Galloway wenn er von “Gamic Vision” spricht? Die generierten
virtuellen Umgebungen? Eher nicht, denn durch das Aufkommen synthetischer Bildwelten
im Film durch CGI bilden diese keine Grundlage die nur fuer Computerspiele gelten. Es ist
eher die Art und Weise wie sich der Betrachter durch diese generierten Umgebungen
bewegt was einen Kontrast zum Kino oder zur literarischen Erzählung darstellt, wo der
Betrachter passiv virtuell bewegt wird. Manovich verortet hier den Betrachter zwischen
nahezu vollständiger eigen-Kontrolle durch HUI’s (Human Computer Interface) sowie
einer fixierten Struktur durch den Autor.4 Also bezogen auf virtuellen Umgebungen fängt
der Zuschauer selbst an die Führung innerhalb eines abgesteckten Rahmens zu
übernehmen. Das grundlegende Element fuer die Bewegung innerhalb von virtuellen
Welten ob nun beim Film oder bei Games ist die Repräsentation durch eine Kamera. Beim
Film mit einer Vielzahl von unterschiedlichen Einstellungen woraus mittels Montage ein
virtuelles Geflecht der Narration erzeugt wird. Bei Games hingegen und speziell bei “First
Person Shootern” ist es hauptsächlich die subjektive in Plansequenzen und wie wir später
sehen werden ist es auch bedingt durch die Eigenschaft die die Subjekte mit sich bringt
weshalb sie im Kino eher einen reduzierteren Einsatz findet aber im Kontrast dazu gerade
durch das aktive Moment in Games ihr ganzes Potential entfaltet. Also gilt es jetzt diese
Einstellung, mit Blick auf die Entwicklung von Bewegung innerhalb von virtuellen
Umgebungen einer Untersuchung zu unterziehen.

Der subjektive Blick

Die Subjektive bezeichnet in Cineatographischen Konventionen den Moment, wenn die
vermeintliche Sicht einer Person innerhalb des Films mit der Sicht der Kamera
verschmilzt. Und wir durch diese Person hindurch auf die fiktive Welt schauen. Sie ist
meist in Kombination mit Schnitt auf den bezügliche Charakter verbunden. Dieser blickt
auf einen Punkt ausserhalb des Sichtfeldes der Kamera. Der darauf folgende Shot bzw. der
vorherige Shot zeigt dann was die Person sieht, die Reihenfolge ist dabei egal. Wichtig ist
nur das eye-line matching damit fuer den Betrachter die Verbindung klar wird. Galloway
trennt zusätzlich in seiner Herleitung zwischen POV und Subjektiver Kamera. Fuer ihn ist
die POV eine Abschätzung des Blickwinkels also eher ein stellvertretender geometrischer
Punkt im Raum – wohingegen die Subjektive eine wirkliche Darstellung aus der Sicht des
Charakters ist, verbunden mit Physiognomie und Emotionen. Aber ohne dabei zu
versuchen eine exakte Nachbildung des menschlichen Sehens zu sein, denn es fehlt z.B.
das Blinzeln, Tränen, Stereoskopische Sicht usw… .5 Oft sieht man die POV auch als
“masked POV” in der Form von Seherweiterungen wie Fernrohr, Spion oder auch den
Blick selbst durch eine Kamera. Was visuell meist sofort an den schwarzen Begrenzungen
zum Rand zu erkennen ist. Wir haben also zwei verschiedene Einstellungen die sich
eigentlich nur dadurch unterscheiden das die eine eher ungefähre geometrische
Verortung, die andere zusätzlich eine Art emotionale Qualitäten aufweist. Dadurch ergibt
sich ein Gefälle der Einsatzmöglichkeiten. Denn mit der POV laesst sich ähnlich wie bei
den meisten anderen Einstellung die Geschichte durch Kamera- Beobachtung (spatial
exploring) also einer objektiven Sicht auf die Filmhandlung vorantreiben. Die subjektive
Kamera macht daraus eher einen mentalen Zustand und begrenzt und entfremdet so
zugleich. Galloway entdeckt dabei eine eher negative Note der Subjektiven, wodurch er
Einsatzmöglichkeiten meist in Form von Alien, Monstern, Kriminellen oder Cyborgs
verortet. Fuer ihn braucht die Subjektive gerade diese Entfremdung des Betrachters um
sich nicht mit der jeweiligen Person zu identifizieren. Also eine klare Grenze, die sich zb.
visuell in der Subjektiven von Cyborgs zeigt. Der Blick ist überlagert mit einen
technischem Interface, das dem Betrachter sofort die unmenschliche Sicht auf die
Handlung suggeriert. Bei dem oft angesprochenen Beispiel Lady in the Lake von Robert
Montgomery 6, einen der ersten Filme die nahezu komplett in der Subjektiven gedreht
wurden, ist die Problematik der Identifikation sehr auffällig. Jedes mal wenn die
Hauptfigur Marlow gezeigt wird, im Spiegel, beim rauchen, oder wenn er geküsst wird,
wird die Illusion der subjektiven gebrochen und der Betrachter entdeckt die Präsens der
Kamera. Im Kontrast dazu zeigt die Subjektive gerade bei der Entfremdung durch die
Reflexion von mentalen Zuständen ihre immersiven Eigenschaften. Hier offenbart sich
eine Problematik der Subjektiven im Filmmedium. Keine andere Einstellung bietet
Ähnliche Möglichkeiten so real, immersiv in die virtuelle welt einzutauchen aber bereitet
im kontrast so viele Probleme der Identifikation mit dem Charakter durch die passive
Vorfuehrung. Ich fasse die Problematik nochmals zusammen: Im Filmmedium haben wir
allgemein eine passive Vorführung, die wir auch als solche interpretieren, wir lassen uns
etwas vorführen und sind uns der Vorführung immer bewusst. Die Subjektive bricht diese
passive vorfuehrng und zeigt uns durch Jemanden hindurch den Blick auf die Handlung
dabei treten dann die Probleme auf. Denn so realer uns dieser Blick erschein, desto mehr
versuchen wir uns an dieser stelle zu Positionieren, also innerhalb der Handlung zu sein.
Was Im Gegenzug aber auch eigenes handeln verlangt. Hier werden wir dann aber
enttäuscht da es im Filmmedium keinen Spielraum fuer dieses freie Agieren gibt. Kino
hilft sich hier mit der Entfremdung wodurch die Vorführung wieder passiv wird. Dazu ein
Zitat Jay Bolter and Richard Crusin das Galloway anfuehrt: „…like many of the other
role-playing Games, Myst is in effect claiming that it can succeed where film noir failed:
that it can constitute the player as an active participant in the scene.“7 Film brauchte also
die Komponente des Aktiven Betrachter um die Immersive Wirkung der subjektiven
vollständig zu nutzen. Immersiv meine ich in diesem Zusammenhang so wie es Janet
Murray beschreibt. Als metaphorischen Begriff der aus der physikalischen Erfahrung des
ins Wasser eintauchen abgeleitet wird. Wir haben das selbe immersive Gefühl beim
Sprung ins Meer oder den Swimmingpool. Die Sensation von einer völlig anderen Realität
umgeben zu sein, da Wasser sich so stark von Luft unterscheidet übernimmt es all unser
Augenmerk, unseren kompletten Wahrnehmungsapparat. 7 Die angesprochene Agency ist
hier in Verbindung mit einer Art Marionettierungen des Betrachters, durch die Subjektive
zu sehen. Die Problematik also das wir zwar einen sehr realitaetsnahen Blick auf ein
Geschehen bekommen, dies aber mit der Constraint im Körper einer Anderen Person zu
sein, verbunden mit all seinen Empfindungen und Emotionen und schlimmer noch,
seinen Entscheidungen unterworfen. Galloway sieht in Being John Malkovich diese
Problematik gut verdeutlicht.9 Der Film spielt mit dem Gedanken was passiert wenn man
seinen eigenen Körper verlasset und den Kopf einer anderen Person betritt. Die jeweilige
Person Erlebt so Malkovich Sicht mit einer hohen immersion – sprich übernimmt seinen
Wahrnehmungsapparat. Im laufe der Handlung entwickelt sich das Verhaeltnis der
Personen die Malkovich Kopf betreten vom passiven zum aktiven Betrachter. Der
Puppenspieler übernimmt die Rolle Malkovich gänzlich, erlebt also nicht nur seine
Realität sonder fängt an, durch sein handeln diese selbst zu gestalten wird also aktiv und
erfährt dadurch agency. Was sich an seiner euphorisierten Reaktion nach dem ersten
versuch verdeutlicht. Der Betrachter übernimmt somit nicht nur eine Position ähnlich der,
die Flusser als Filmproduzent (Cutter) beschreibt. Sondern noch mit dem Zusatz das er
neben der zeitl. Beeinflussung von aussen. zusätzlich selbst die Handlung von innen
vorantreibt – was dann die angesprochenen agency auslöst.10 Zur Klärung des Begriffs
komm ich wieder zurück auf Murray. “Agency Is the satisfying power to take meaningful
actions and see the result of our decisions and choices”.11 Die Problematik verdeutlicht
sehr schone den Kontrast zu der passiven Vorführung von virtuellen Welten durch den
Filmapparat allgemein, wo der Betrachter selbst nicht eingreift und keine agency erzeugt
werden kann. Zeigt aber auch neue Probleme die der Aktive Betrachter mit sich bringt zb.
wie stark der Zuschauer durch eigenes handeln in virtuellen Welten eigentlich selbst zum
Autor wird. Oder welche Wechselwirkung Agency und Immersion aufeinander haben. Mir
geht es hier aber erstmal um die subjektive als Grundvorraussetzung fuer die
Mobilisierung des Zuschauers. Dazu möchte ich kurz einen Ansatz zeigen wie im Film die
neue Möglichkeiten der neuen Medien aufgegriffen wurden, die den Betrachter in eine
virtuell mobilisierte Position innerhalb der Handlung setzen ohne dabei eine Subjektive zu
sein. Also ähnlich der Halbsubjektiven die Deleuze beschreibt indem er Jean Mitry zitiert:
„die Kamera verschmilzt nicht mit der Person, sie ist auch nicht ausserhalb, sie ist mit
ihr.“12 Ich nenne sie virtuelle Kamera ein mix aus allen möglichen objektiven
Einstellungen kombiniert mit einer Art Subjektiven einer Person die vom restlichen
Geschehen der Handlung aber nicht wahrgenommen wird. Also nicht wie zb. in Lady in
the Lake, Strange Days, Elefant, I am Cuba oder Russian Ark.13 Um nur einige Beispiele
zu nennen in denen wir als Betrachter mittels Onetakes vermeintlich durch die Augen
einer Person, innerhalb der Filmhandlung, hindurch auf die Erzaehlung schauen. Die
Virtuelle Kamera nimmt dabei Positionen ein, die physikalisch eigentlich mit Objekten
oder Personen besetzt sind. Beispielhaft dafür ist die Endlos scheinende Plansequenz in
Children of Men wie zb. die, in der die Gruppe um eine schwangere Frau in einen
Hinterhalt geraet und fluechten muss. Die Kamera bewegt sich hier in Konventionen der
Montage dynamisch von Person zu Person (reactionshot) sowie auf das Geschehen
ausserhalb des Autos (Im Zusammenhang mit dem Darsteller somit eine POV). Realisiert
wurde das Ganze durch eine Art Performance der Schauspieler und das ist wichtig, auch
Ausserhalb des Blickfeldes der Kamera. In dem Moment wenn sie das Bild verlassen
mussten sie sich selbst bzw. wurden aus dem Weg bewegt um an ihre Stelle die Kamera zu
lassen. Die Sequenz ähnelt damit digitalen Welten wie in Games mehr als dem
konventionellen Szenischen auflösen wie im Film. Es reicht hier nicht aus einen
Blickwinkel der Kamera gemäß der Mise en Scene einzurichten. Nein ähnlich wie in
Games soll und kann die Kamera jeden Punkt einnehmen können. In Games bedarf das
der Kompletten vorberechnung der Szene in meinen Beispiel zeigt sich die Vorberechnung
in Form der Choreographie von Kamera und Schauspieler. Der Betrachter erfährt so eine
Hohe Immersion durch die Art des subjektiven Blicks sowie den Wegfall der Montage.
Was den Betrachte, im Kontrast zur passiven Vorführung scheinbar selbst, innerhalb der
Diegese setzt. Eine Art virtuelle Person – ein Avatar unserer selbst, dessen Blick per
Definition mit dem der Kamera verschmilzt und somit als Subjektive bezeichnet werden
kann. Unser Avatar wird aber von den Protagonisten selbst nicht wahrgenommen und
wird somit nicht Ziel angreifender Blicke, was die Illusion der Subjektiven wieder
zerstören würde.14 Hier zeigt der Computer seinen Einfluss auf die Kamera – sie blickt
nicht auf eine Szene sondern sie navigiert durch sie hindurch.

Navigation

Zwei Komponenten von Navigation im Drei-Dimensionalen Raum stellen dabei die
Ansatzpunkte. Zum einen wie der computer sieht und zum anderen der generierte Raum
in dem er sich bewegt – kurz: Computer Vision und Computer Space. Dazu ein kurzer
Ausflug, wodurch interaktive Navigation ermöglicht wird. Im digitalen Medium sind die
Bilder Synthetisiert in Bits und Bytes und stehen zeitlich Unabhängig also instantan
entsprechend der Prinzipien von New Media Objekten die Manovich beschreibt bereit 15.
Diese Prinzipien sind unter anderen: numerische Repräsentation in form von Daten,
Modularitaet und als Konsequenz der beiden Variabilität. Was bezogen auf den
Blickwinkel bedeutet die Szene liegt als eine Art räumliche Datenbank vor und kannindividuell abgerufen, sprich navigiert werden. Was fuer die virtuelle Kamera heisst -
zur Darstellung auf dem Screen berechnet werden. Was auch fuer Galloway
Grundvoraussetzung fuer das agieren innerhalb von Games ist: Gamic Vision Requires
fully rendered, actionable Space. oder auch fuer Murray: “this is what is often meant when
we say that computer are interaktiv. we mean they create an enviroment that is both
procedural and participatory”. Auf der Visuellen Ebene dient dabei der Pixel als kleinste
eigenständige Einheit der Repräsentation auf dem Screen, vergleichbar mit dem Frame
beim Film und der ScanLines beim video. Die modularitaet ist dabei eine Art
Quantifizierung der einzelnen Pixel, also wenn man von einem 8-Bit Grauwert ausgeht ein
Wert von 0-255. Das Prinzip der Variabilität beschreibt dann, um beim Pixel zu bleiben,
den Eingriff durch den User den Wert der modularitaet zu bestimmen – sprich das
interaktive Element innerhalb der Grenze von 0-255.(variability is a consequence of
Numerical representation and modularity S. 42) Dadurch ergibt sich eine wichtige
Eigenschaft. Der Computer kann Bildwelten explizit auf die aktive, navigierende Position
des Betrachters generieren. In Virtuellen Welten reicht also nicht mehr aus, wie zb. üblich
beim Film das eine Scene nur fuer die vorgeschriebenen Kamerapostionen eingerichted
wird, was mit dem Begriff der “Mise en scene” beschrieben ist. Selbst wenn die komplette
Umgebung beim Film zb. durch einen 360 grad Schwenk eingefangen wird, ist Sie nur
unveraenderbar aufgenommen. Wie Galloway beschreibt: but even then the spatial
enviroment is recorded, not rendert and can never be repenetrated, zoomed, moved or
reinitialized as is doable in a three-dimensional model.16 Drei- Dimensionale
Computerwelten bilden also im Kontrast eine komplette Szene ähnlich der Mise en Scene
nach. Nur mit dem Zusatz der allgegenwaertigkeit im Bezug auf Raum und Zeit. Was in
Filmkonventionen durch die Montage imaginär beim Betrachter entsteht, wird hier zum
Grundelement. Lars von Trier’s 100 Kamera-Technik aus Dancer in the Dark 17
verdeutlich das sehr schoen. Die Umgebung liegt hier als ein nahezu komplett
geschlossenes Abbild vor (Datenbank), kann aber nur durch Montage navigiert werden
sprich virtuell zusammengefügt (abgerufen) werden. Der Betrachter ist somit in der
Position wie von Trier’s Cutter und befindet sich wieder ausserhalb der Diegese. (wenn
“von Trier” uns das Footage zum interagieren zur Verfügung stellen würde) Ähnlich ist es
auch bei Stan Dougles’ “Win, Place or Show” 18 wo dem Betrachter immer ein und die
selbe Erzählung aus verschieden gleichzeitig aufgenommenen Kameraposition gezeigt
wird. Man bekommt so das Gefühl eines unabhängigen, räumlichen Blicks auf die Szene.
die Montage übernimmt dabei ein Computer , der sich in der Bildfolge nur alle 20000
Stunden wiederholt. Die Arbeit verdeutlicht die Database Logik von virtuellen Welten und
zeigt wieviele Möglichkeiten des Abrufs bzw. des Schnitt sich schon alleine durch Zehn
verschiedene Kamerapositionen ergeben. Zeigt aber auch gleich wieviele Möglichkeit
uebersprungen durch den Schnitt noch dazwischen Existieren. Um es in einen Slogan zu
packen, kann man vereinfacht sagen die “Mise en Scene” beschriebt alles was man sieht,
die Montage alles was man nicht sieht. Dieses durch die Montage Verborgene wird nun
virtuell sichtbar und muss vorberechnet werden. Ein Database also erstellt werden, der
fuer den User komplett vorliegt und abgerufen werden kann und wodurch Er seine eigene
Narration gestaltet. Der User muss dabei nicht wie der Cutter schneiden sonder kann sich
gemaess der modularitaet von virtuellen Welten dynamisch von Punkt zu Punkt bewegen.
Die Veränderlichkeit des Pixel steht hier als Synonym fuer die Bewegung der Kamera, eine
Art Morphing von Einstellung zu Einstellung. Damit stellen Virtuelle Welten eine Art
räumlichen Gegenpol zur zeitlichen Montage dar, Zeit wird durch Raum und Montag
durch “Bewegung durch den Raum (Database)”, sprich durch Navigation ersetzt. (vgl.
Galloway in Bezug auf Games: gaming makes montage more and more superfluous)
Womit sich auch gleich das generelle auftreten von Plansequenzen in Form der
Subjektiven erklärt. Der Betrachter wird so innerhalb der Diegese der Handlung platziert,
denn die Kamera bzw. die Kamerabewegung wird zu einer Art Haupt-Charakter, worauf
ich aber erst spaeter zurueck kommen werde. Erste Beispiele von navigierbaren virtuellen
Räumen sieht man bei der Aspen Movie Map von 1978 19 welche am MIT entwickelt
wurde. Sie ermöglichte den Betrachter sich durch die Strassen von Aspen zu navigieren.
16mm Aufnahmen von der Innenstadt wurden dazu auf Laserdisks mit einer Kapazität von
54000 Frames gespeichert und konnten instantan abgerufen werden. Wodurch sich der
Betrachter eine Fahrt durch die Stadt simulieren konnte, also eine Art “Surrogate traveling
System” wie Murray schreibt.20 Das System laesst sich wunderbar bei “google
Streetview”21 beobachten. Aber anders als bei der Aspen Movie Map ist hier jeder Frame
nicht nur der Blick in die jeweilige Richtung, sondern wurde ersetzt durch ein
Panoramabild (360 Grad x 290 Grad) und ermöglicht so einen raeumlichen Blick. In
einem Anderen Beispiel “Legible City” addiert Jeffrey Shaw22 dem virtuellen navigieren
noch den physischen Akt des Fahrradfahrers. Durch treten der Pedalen bewegt sich der
Betrachter durch eine virtuelle Stadt. Zusätzlich tauscht Shaw realistische Gebäude durch
generierte Buchstaben. Während also Aspen movie map Navigation durch ein Abbild der
Realität mittels Film ist, navigiert man in legible city durch ein generierstes Abbild der
Realität, was eher die Struktur als die Oberfläche repräsentiert. The forest von Tamas
Waliczky23 loest dann zusätzlich noch die analoge Betrachter – Position auf. Also nicht
nur die Umgebung ist komplett Abstrakt und kaum noch als Abbild der Realität zu
verstehen. Sonder zusaetzlich befreit er auch die Kamera von den Konvention des
menschlichen Sehens sowie von den Beschraenkungen der Filmkamera selbst. Sie bewegt
sich dabei nicht auf schienen oder wie montiert auf einen Kran. Manovich beschreibt die
Kamera in “The Forest” als Art isotropisch da sie anders als der Mensch keine
Koordinaten-Achse, wie die horizontale präferieret. Sie verbindet auf eine Art und Weise
alle im Zug der Bewegung des Neuen Sehens in den zwanziger Jahren erforschten
Einstellungen zu einer einzigen dynamisch Plansequenz und ist dabei auch der
Hauptcharakter, nur mit dem Zusatz zu den 20er Jahren, von Aussen durch den
Betrachter frei gestaltbar zu sein. (S. 262/)24 Im selben Jahr kommen auch zwei
Computerspiele auf den Markt die fuer Game Studies den Ausgangspunkt fuer raeumliche
navigation bilden (murray, galloway, manovich). zum einen Doom,25 das das
grundkonzept fuer Egoshooter liefert sowie Myst26 das grundlegende Rollenspiel. Beide
verbindet wie Manovich beschreibt, das sie die Narration bzw. sogar die Zeit mit einer
Bewegung durch den Raum gleichstellen. und somit zu einem Grundelement des Erzählen
machen und damit wie bei the forest die Kamera mit zum Haupt-Charakter erklaeren.
Abgesehen von Games stell Navigierbarer Raum generell ein Grundelement der Neuen
Medien dar. Wie der Graf und das Diagramm im Printmedium (S. 249 )27 oder wie
manovich sagt: space becomes a media type (S. 251)28 also vergleichbar mit audio, video,
stills und Text – und verbunden mit allen Operationen die mit anderen medieninhalten im
Zuge des digitalem auszuführen sind. Von frühen Fly through Animationen über Motion
Simulator bis hin zu 3D-Interfaces und wissenschaftlichen Informationsvisualisierungen
in CAVE Systemen29. Bewegung im Raum wird zu einen treibenden Element der
Narration. Gerade die CAVE-Systeme bilden hier fuer mich einen interessanten
Ansatzpunkt da sie ähnlich wie bei Legible Cities reale Bewegung, mit in die Navigation
einfließen lassen. Zusätzlich agiert man in einen vordefinierten 3dimensionalen Raum,
repräsentiert durch die Bewegung einer virtuellen Kamera. Dabei ist eine Entwicklung
speziell zu betrachten – die Übertragung von physikalischer Bewegung in Bewegung
innerhalb einer virtuellen Repräsentanz, mit speziellen Augenmerk auf das Sehen. Was
sehr schoen in Manovich Aufsatz “the Automation of Sight”30 beschrieben ist und was ich
aus Zeitgruenden leider nur kurz in der Beschreibung zur Technik in meiner Arbeit
ankratzen kann.

Fazit

Wir haben also gesehen, das unter dem Einfluss der Neuen Medien. Die passive
Vorführung von virtuellen Welten einer neuen aktiven Betrachtung weicht. Der von mir
beschriebene mobile Betrachter blickt selbst in Form der Subjektiven auf die Handlung,
welche so von den Konventionen des Kinos befreit wird. Montage wird überflüssig
undersetz durch dynamische Bewegung durch den Raum. Diese freie Art der Bewegung
ermöglicht dem Betrachter einen eigen Blick auf Virtuelle Welten und verdeutlicht so eine
Eigenschaft, die das Filmmedium nicht bieten kann. Den aktiven eingriff in die Diegese
durch einen nondiagetischen Betrachter.

We Are Chopchop is a small community of designers, video- and media artists working and exploring in the field of visual culture production.

www.wearechopchop.com