Visuelle modellbasierte Experimente in den (digitalen) Geisteswissenschaften

Views
2135
Downloads
6
Open Peer Review
Kategorie
Long Paper
Version
1.0
Zoe Schubert Autoreninformationen
Jan Wieners Autoreninformationen
Øyvind Eide Autoreninformationen

DOI: 10.17175/sb005_007

Nachweis im OPAC der Herzog August Bibliothek: 1782376437

Erstveröffentlichung: 17.01.2022

Lizenz: Sofern nicht anders angegeben Creative Commons Lizenzvertrag

Medienlizenzen: Medienrechte liegen bei den Autor*innen.

Letzte Überprüfung aller Verweise: 20.12.2021

GND-Verschlagwortung: Datenmodell | Experiment | Medienwissenschaft | Transformation | Visualisierung |

Empfohlene Zitierweise: Zoe Schubert, Jan Wieners, Øyvind Eide: Visuelle modellbasierte Experimente in den (digitalen) Geisteswissenschaften. In: Fabrikation von Erkenntnis – Experimente in den Digital Humanities. Hg. von Manuel Burghardt, Lisa Dieckmann, Timo Steyer, Peer Trilcke, Niels Walkowski, Joëlle Weis, Ulrike Wuttke. Wolfenbüttel 2021 - 2022. (= Zeitschrift für digitale Geisteswissenschaften / Sonderbände, 5) text/html Format. DOI: 10.17175/sb005_007


Abstract

Dieser Beitrag stellt diverse visuelle Experimente vor, bei denen insbesondere mediale Transformationsprozesse und sowohl Vorgang als auch Ergebnis von Modellierungsprozessen im Fokus stehen. Bei den ausgewählten Beispielen entstehen durch den Einsatz und die Entwicklung von Softwaresystemen unterschiedliche visuelle Artefakte. Zentral ist dabei, dass die Experimente nur auf Grundlage von Modellen und in Verbindung mit Modellierungsprozessen durchgeführt werden können. Dies ist substantiell für den Erkenntnisgewinn und die analytischen Betrachtungen insgesamt, wie in diesem Beitrag aufgezeigt wird. Darüber hinaus wird dargelegt, dass sich visuelle Experimente in den digitalen Geisteswissenschaften nie ohne Modelle unterschiedlichster Arten durchführen lassen.


This article presents a number of visual experiments with a special focus on processes of media transformation and modelling. In the selected examples, the development and use of computer systems are used to create different visual artefacts. These experiments can only be performed with the use of models in modelling processes. This chapter shows how important modelling and the use and development of software is for the analytical reflections and thus for the gaining of new knowledge. We also show how these points tend towards a more general pattern: visual experiments in the digital humanities cannot be performed without the use of models.



1. Kollaborative Experimente in geteilten Umgebungen – von Medienprodukten und Modellen

[1]Die im Folgenden in den Blick genommenen Experimente werden alle in einem (virtuellen) Setting umgesetzt, welches eine gemeinsam geteilte Umgebung für die Teilnehmenden schafft: Es ist möglich, kollaborativ an demselben Experiment zu arbeiten, auch wenn dies mit unterschiedlichen Auffassungen hinsichtlich der Bedeutung des Experiments getan wird. Es geht dementsprechend nicht um reine Gedankenexperimente, wenngleich solche das Teilen der individuellen Resultate (und eben nur dieser) ermöglichen.

[2]Jene Experimente befassen sich mit medialen Transformationen: text- und filmbasierte Karten sowie VR-Systeme, die Theateraufführungen replizieren. Studierende und Forscher*innen implementieren digitale visuelle Systeme mit dem Zweck, nicht-digitale Medienprodukte tiefgreifend zu verstehen. Darüber hinaus werden Unterschiede zwischen digitalen und prä-digitalen Medien reflektiert.

[3]Es lässt sich ableiten, dass die hier vorgestellten Experimente in Verbindung und basierend auf existierenden, gemeinsam rezipierten Objekten und Phänomenen (Texte, Filme und Ausführungen) durchgeführt werden. Aus digital-geisteswissenschaftlicher Perspektive lassen sie sich als intersubjektiv rezipierbare Prozesse konstatieren, welche mit digitalen Objekten durchgeführt werden, die über materielle Eigenschaften verfügen. Dieser Materialität der Objekte im Digitalen wird auf sehr unterschiedliche Art Ausdruck verliehen, sie sind allerdings in jedem der aufgezeigten Fälle als Teil von Kommunikationsprozessen identifizierbar und zu verstehen. Die Objekte lassen sich Lars Elleström zufolge als Medienprodukte benennen und beschreiben.[1] Sie repräsentieren hier für sich genommen andere geisteswissenschaftliche Objekte und Prozesse: Entsteht im Rahmen eines Experiments beispielsweise eine literarische Karte, die räumliche Verbindungen in einem literarischen Werk repräsentiert, lässt sich diese wiederum in einem weiteren Experiment zur literarischen Interpretation verwenden. Die Karte repräsentiert dann im Kontext des folgenden Experiments narrative und räumliche Verhältnisse des ihr zugrundeliegenden Texts.

[4]Im Kontext der in diesem Artikel geschilderten Experimente werden Medienprodukte in den Blick genommen. Jene Medienprodukte fußen auf den vorgenommenen unterschiedlichen Konfigurationen medialer Modalitäten. Es ließen sich demnach ähnliche Fragen zur Gestaltung der modellierten Medienprodukte (Ishiguro, Brecht, Murakami; Roman, Theatertext, Novelle) sowie den in den zugehörigen Experimenten umgesetzten Modellen stellen. Die Vorgehensweise in dem vorliegenden Beitrag fokussiert sich auf den Prozess der experimentellen Modellierung im Sinne von medialen Transformationen mit einem Fokus auf mediale Modalitäten.

[5]Das Verhältnis zwischen Modellierung und Experimenten wird im Kontext vieler wissenschaftlicher Auseinandersetzungen diskutiert.[2] Modellierung lässt sich als ein Grundbegriff der digitalen Geisteswissenschaften verstehen.[3] Im praktischen Entwicklungsbereich der DH dienen Modelle als notwendige Bestandteile der Vorbereitung und Durchführung von Softwareentwicklungsprojekten. Bei der Datenanalyse innerhalb der DH ist die Modellierung von Daten ein notwendiger Bestandteil zur Erstellung und Verwendung von Datensätzen. Im theoretischen Verständnis von DH ist Modellierung ein analytischer Kernbegriff. Basierend auf den beschriebenen Verbindungen zwischen Modellen und Experimenten, sowie der wichtigen Rolle von Modellen in den Geisteswissenschaften werden im Folgenden drei praktische Experimente genauer beschrieben und ausgewertet. Sie alle betrachten Softwareentwicklung als eine Forschungsmethode, die zu einem tieferen Verständnis von Medienprodukten beiträgt. Zentral sind dabei die Unterschiede zwischen einzelnen Medien und mediale Transformationen. Zwei Aspekte werden hierbei in den Fokus gestellt:

  1. Digitale Medialität (Materialität) der Modelle und
  2. Die Verbindungen zwischen Modellen und modellierten Objekten und Prozessen, was essentiell für die Möglichkeit und Relevanz der Experimente ist.

[6]Verbindungen zwischen Medialität und Materialität wurden bereits aufschlussreich und tiefgreifend im Kontext der Semiotik analysiert.[4] Die Medialität als Materialität ist eng mit der Frage zur Ähnlichkeit der Gestalt des Modells und des im Experiment modellierten Systems verbunden; insgesamt wird das theoretische Verständnis von Experimenten in den digitalen Geisteswissenschaften vorläufig konstatiert. Die drei folgenden Beispiele zur Verwendung von Modellen im Kontext von Experimenten werden dafür ausführlicher beschrieben.

2. Kartenbasierte Experimente in der Textanalyse

[7]Sowohl Texte als auch Karten können zum Ausdruck konkreter räumlicher Verhältnisse und Verbindungen sowie zur allgemeinen Erfassung eines Raumes herangezogen werden. Sie unterscheiden sich dabei allerdings offenkundig in ihrer Ausdrucksform. Im Folgenden werden Experimente beschrieben, die entsprechende Unterschiede in den Mittelpunkt stellen und darauf aufbauen, was wiederum dazu dient, ein tiefgreifendes Textverständnis zu entwickeln. Es geht dabei weniger um einen ausgewogenen Vergleich zwischen Karten und Text, sondern vielmehr darum, Kartierung als Methodik und damit als Teil von Untersuchungen zur Textualität anzuwenden. Unabhängig von diesem zentralen Ziel wird durch den Modellierungsprozess selbst auch gleichzeitig ein tieferes Verständnis des Modells, hier also der Karte, sowie dessen Medialität gefördert. Besonders bedeutsam ist es, nachvollziehbar aufzuzeigen, wie das Modellieren von Karten als ein experimentelles Forschungswerkzeug dienen kann.

[8]Für die experimentellen Untersuchungen werden in einem ersten Schritt textuelle Phänomene identifiziert, die räumliche Informationen ausdrücken. Für diese werden dann kartografische, modellhafte Entsprechungen etabliert. Durch systematische, schrittweise vorgenommene Formalisierungen können Textstellen anschließend zu Karten medial transformiert werden. Als Grundlage solcher Transformationsprozesse können sehr spezifische Aussagen im Text verwendet werden, wie in Tabelle 1 veranschaulicht.


1 2 3 4 5
α Aussage im Text Räumliches Verhältnis Mathematisch ausgedrücktes räumliches Verhältnis Raumkoordinaten Kartografisches Modell
β A befindet sich nordöstlich von B B → Richtung Nord-Ost → A Richtung B→A: 45° A: (1140, 820)
B: (520, 200)
◎ A
◎ B

Tab. 1: Kritische schrittweise Formalisierung. [Eide et al. 2022 nach Eide 2015]

[9]Von elementarer Bedeutung hinsichtlich der Relevanz der hier beschriebenen experimentellen Untersuchungen ist es, ein Verständnis dafür zu entwickeln, dass β5 nicht die exakt gleiche Aussage wie β1 trifft. Vielmehr unterscheiden sie sich ebenso, wie α1 und α5 voneinander abweichen. Dies bedeutet, dass die durch systematische Formalisierung dokumentierten Unterschiede der medialen Produkte herangezogen werden können, um generelle mediale Differenzen zwischen verschiedenartigen Medientypen zu analysieren. Die Zwischenschritte bei der medialen Transformation dienen dazu, feingranular die Veränderungen und Unterschiede bei jeder schrittweisen Übertragung deutlicher zu machen. Diese Möglichkeit, konkrete textuelle Ausdrücke (die Quellen des Transformationsprozesses) zu verwenden, macht den experimentellen Charakter der modellbasierten Untersuchungen aus. Bei einer vigilant durchgeführten schrittweisen Formalisierung ist das Endresultat – Spalte 5 – nicht das primäre zu erreichende und einzig zu analysierende Ziel, es handelt sich dabei vielmehr um ein experimentelles, variables und nicht allein richtiges Resultat der experimentellen medialen Transformationen. Elementare Forschungsresultate lassen sich insbesondere in den durchgeführten Mikro-Transformationen β1 → β2, β2 → β3, usw. ableiten. Hier können Relikte identifiziert werden: Es sind solche einzelnen informativen Elemente eines Ausdrucks, die bei dem Übergang von einem Stadium zum nächsten transformationsbedingt verloren gehen. Elleström merkt an, dass Medien durch eine systematische Analyse der Konfiguration medialer Modalitäten besser verstanden und entsprechend genauer definiert werden können.[5] Dieser Annahme folgend kann durch das Identifizieren, Systematisieren und Analysieren der beschriebenen Relikte ein besseres Verständnis über Medien und deren Abgrenzung und Unterscheidung voneinander entwickelt werden. Der Prozess der Modellierung ist hier auch ein Prozess der medialen Transformation[6] und gestaltet sich transitiv: Wenn sich ein Verhältnis zwischen den Modellen und ein medial transformatives Verhältnis zwischen β1 und β2 und zwischen β2 und β3 bestimmen lässt, dann kann jenes Verhältnis auch zwischen β1 und β3, usw. bestimmt werden. Durch diese Transitivität der einzelnen Modellierungsschritte zur medialen Transformation sind die Ergebnisse des Experiments – die final erstellten Karten – auch Modelle textlicher Phänomene.

[10]Der beschriebene Modellierungsprozess impliziert zahlreiche und mannigfaltige Auslegungs- und Entscheidungsmomente, da Texte für eine eindeutige Transformation häufig unterspezifiziert sind. Werden jene Momente der Exegese und Interpretation explizit als Parameterwerte verstanden, so lassen sie sich ändern, ebenso wie sich der Transformationsprozess experimentell durch Variationen der Parameterwerte der Modelle ändern lässt. Es ergibt sich als Grundlage ein experimentelles Setup durch systematische Modellierung für experimentelle visuelle Untersuchungen von Textualität. Durch dieses kann außerdem ein tieferes Verständnis von konkreten Texten, wie auch von Textualität im Allgemeinen, gewonnen werden.

[11]Durch experimentelle Modellierung, wie sie hier beschrieben wird, können die etwaigen Grenzen der Darstellung, spezifische Eigenschaften oder typische Merkmale in der Kommunikation unterschiedlicher Medien untersucht werden. Für Text und Karte lassen sich zwei grundsätzliche Fragen formulieren:

  1. Welche Elemente eines sprachlichen Ausdrucks können durch eine Karte nicht ausgedrückt werden?
  2. Was muss spezifiziert sein / werden, wenn man eine Karte anfertigen möchte?

[12]Die erste Frage adressiert sprachliche Aspekte, die nicht kartographiert werden können, wie beispielsweise besondere Formen der Ambiguität und Negation.[7] Die andere Frage bezieht sich z. B. auf geometrische Präzision: Abstände und Richtungen sind in schriftlicher Form als Text beinahe nie so exakt beschrieben, wie es für geometrische Ausdrücke auf Karten notwendig ist.

[13]In einem derzeit laufenden experimentellen Forschungsvorhaben geht es um Surrealismus und traumähnliche Beschreibungen in der Literatur.[8] Eine zentrale Frage, die sich dabei stellt, ist die Frage, ob sich geometrische Darstellungen verwenden lassen, um surrealistische Literatur besser zu verstehen. Gibt es, neben Karten, weitere Möglichkeiten für die Verwendung visueller Ausdrucksformen in experimentellen Untersuchungen, um die durch Text ausgedrückten Räumlichkeit besser zu verstehen? Kazuo Ishiguro beschreibt beispielsweise in seinem Roman The Unconsoled viele surreale Relationen zwischen dem Protagonisten, anderen Personen und der Landschaft. Das 10. Kapitel handelt von einer Reise beginnend in einem Hotel in der Stadt bis hin zu einem Abendessen auf dem Lande. Nach vielen Vorkommnissen bei dem Abendessen findet der Protagonist heraus, dass es am Ende des Speisesaals eine Türe gibt, die zur Hotellobby des ursprünglichen Hotels in der Stadt führt. Die Entfernungen sind also nicht konsistent – was zuvor Meilen waren, sind plötzlich lediglich Meter.[9] Solche inkonsistenten Räume sind im Surrealismus gewöhnlich und können in der ›neuen Welle‹ von Science Fiction-Literatur der 1960er und 70er Jahre sowie in vielen anderen literarischen Formen beobachtet werden. Zweidimensionale Karten mit einer geometrisch ausgedrückten ›irgendwo und nirgendwo-Perspektive‹[10] drücken alle Richtungen und Abstände präzise aus. Die Präzision von Karten ist eine medial spezifische Eigenschaft und nicht etwa eine Folge aus der Tatsache heraus, dass sie sich auf eine extern existierende Wahrheit beziehen und versuchen diese abzubilden. Karten können in diesem Sinne die geschilderten textuell ausgedrückten Umstände, die für menschliche Leser*innen zugänglich sind, nicht ausdrücken.[11]

[14]Die Grenzen der Ausdrucksmöglichkeiten von Karten müssen jedoch nicht allgemeine Grenzen aller visuellen Ausdrucksformen bedeuten. Durch den Einsatz unterschiedlicher Perspektiven, der Ästhetik aus Film und Computerspielen, sowie das Zurückgreifen auf Erfahrungen aus VR-Systemen lässt sich experimentell erforschen, welche erweiterten Darstellungsmöglichkeiten und Grenzen für surrealistische textuelle Beschreibungen durch mediale Transformationen erreicht werden können. Visuelle Ausdrücke des Surrealismus, wie man sie bei den paradoxen Formen von Magritte bis hin zu perspektivischen Spielen bei Escher beobachten kann, belegen, dass es mit – im technischen Sinne – statischen Bildern viele Möglichkeiten gibt, um surreale Umstände und Bewegungen darzustellen. Wie im Kontext der zuvor geschilderten analytischen schrittweisen Formalisierung bereits angemerkt: Es geht weniger darum, durch Modellierung ein System zur Visualisierung zu erstellen oder lediglich um das visuelle Artefakt, es geht vielmehr um das Aufsetzen experimenteller Kontexte, die zur Untersuchung von ästhetischen Formen in unterschiedlichen Medien und ihrer (fehlenden) Übersetzbarkeit durch Transformation herangezogen werden.

3. Experimentelle Analysen mit Theaterstücktexten durch mediale Transformation in die virtuelle Realität

[15]Der Zugang zu virtuellen Welten in einer virtuellen Realität (VR) wird durch die ständig wachsende Begeisterung für VR-Technologien und den entsprechenden zahlreichen VR-Lösungen in den letzten Jahren immer niedrigschwelliger. So ist ein Smartphone neuerer Generation in Kombination mit einem Cardboard und beispielsweise einem Browser oder einer App ausreichend, um ein VR-Erlebnis für die Nutzer*innen zu ermöglichen. Diese Entwicklung trägt dazu bei, dass sich neben diversen kommerziellen VR-Lösungen unter anderem auch geisteswissenschaftliche VR-Entwürfe konstatieren lassen.[12] Nicht nur der erleichterte Zugang ist beachtlich – ebenso ist das Erschaffen beziehungsweise Erstellen einer virtuellen Welt mit weniger Aufwand verbunden, was auf eine Vielzahl nachnutzbarer 3D-Modelle und für diesen Zweck entwickelte Softwarelösungen zurückzuführen ist.

[16]Die geschilderten Umstände dienen als Voraussetzung für die in diesem Abschnitt vorgestellten experimentellen medialen Transformationen: der praktischen Entwicklung von VR-Anwendungen, die Theaterstücktexte in eigens dafür erstellte audiovisuelle, virtuelle Welten übertragen. Die hier thematisierten resultierenden praktischen Umsetzungen sind in unterschiedlichen Kontexten in den letzten Jahren am Institut für Digital Humanities der Universität zu Köln entstanden. Einerseits wurde die mediale Transformation von Theaterstücken initial im Kontext praktischer Bachelor-Lehrveranstaltungen des Studiengangs Medieninformatik erprobt, andererseits wurde der Ansatz im Rahmen von Forschungsarbeiten von Wissenschaftler*innen des Instituts weiterentwickelt. Der Leitgedanke ist, dass die Transformation eines Theaterstücktextes in eine performative Aufführung zunächst intendiert ist (das Stück ist für die Bühne geschrieben), dies aber nicht zwangsläufig eine Exklusivität hinsichtlich der medialen Transformation zur Folge hat (ein Theaterstücktext, kann nur als Vorlage für eine Bühnenaufführung genutzt werden). Es ergibt sich die These, dass in diesen Texten eine Transformativität eingeschrieben ist, welche auch eine gute Voraussetzung für eine mediale Transformation in weitere audiovisuelle Medienprodukte schaffen kann. Fernsehspiele und filmische Umsetzungen von Theaterstücken, sowie aufgezeichnete Aufführungen dienen unter anderem in der Medienkulturwissenschaft als Forschungsgegenstand für die geschilderten Überlegungen. Aus wissenschaftlich geleiteter Perspektive scheint es von hohem Mehrwert für die Untersuchungen, nicht nur das resultierende Produkt, sondern vielmehr auch den Entstehungsprozess, den Transformationsprozess und damit auch das Modellieren eines audiovisuellen Stücks in den Blick zu nehmen.

3.1 Der Zugang zu virtuellen Welten: eingesetzte Technologien

[17]Für die Umsetzung medialer Transformationen von Theaterstücktexten in eine virtuelle Welt ist zunächst pragmatisch betrachtet die Auswahl der einzusetzenden Technologien zu klären, da diese die Darstellungsmöglichkeiten selbst definieren und damit als ein ausschlaggebender, aber auch limitierender Faktor betrachtet werden können. Für einen verhältnismäßig unkomplizierten Zugang zu VR mit einem Webbrowser ohne Plugins oder zusätzliche Software, geraten JavaScript-Frameworks in Verbindung mit HTML5, WebGL und WebXR, in den Blick. Wie eingangs erläutert kann mit einem Google Cardboard[13] und einem Smartphone neuerer Generation außerdem auch die Anschaffung von kostspieligem Equipment vermieden werden, was sich im hier geschilderten Kontext anbot. Zwar ist dieses Equipment als limitierender Faktor hinsichtlich eines möglichst immersiven VR-Erlebnisses für die Nutzer*innen zu betrachten, kann aber unterstützend für eine anti-illusionistische Inszenierung angesehen werden, wie sie im Experiment beschrieben wird.

[18]So sind hauptsächlich lediglich HTML- und JavaScript-Kenntnisse die Voraussetzung um erste basale VR-Umgebung zu realisieren. Die benötigten 3D-Modelle können selbst modelliert, oder aber auch nachgenutzt werden. Um die Einstiegshürde für den Einsatz in der Lehre möglichst gering zu halten eignet sich das seit 2016 entwickelte und kostenfrei bereitgestellte WebVR-Framework A-Frame[14]. Es zeichnet sich durch eine sehr unkomplizierte Handhabung aus und ermöglicht einen schnellen Einstieg. Die umfangreiche 3D-Engine BabylonJS[15] wird wegen weitreichender Einsatzmöglichkeiten und Funktionen in aufbauenden generischen Ansätzen im Kontext von Forschung verwendet.

3.2 Experimentelle Ansätze in der Lehre und Forschung am Institut für Digital Humanities der Universität zu Köln

[19]Im Rahmen der Vorbereitungen für unterschiedliche praktische Übungen im Bachelorstudiengang Medieninformatik, der im Verbund mit dem Fach Medienkulturwissenschaft belegt werden kann, entstand im Kontext des Themenfelds Mediatransformation die Idee zu folgendem experimentellen Ansatz: Bertolt Brechts Theaterstücktexte sollen durch noch zu erforschende Transformationsprozesse in die Virtuelle Realität übertragen werden. Beispielhaft können dafür klassische Aufführungen und filmische Umsetzungen in den Blick genommen werden, die ebenso auf Brechts Stücktexten basieren. Die Ästhetik des epischen Theaters von Brecht, in dem die Wirklichkeit nicht als Illusion abgebildet werden soll und das inszenierte Spiel stets als solches erkennbar bleibt, ergänzt sich mit den (limitierten) technischen Darstellungsmöglichkeiten.[16] Die Illusion von Immersion im (virtuellen) Theater konnte somit während der Experimente eigens thematisiert werden.

[20]Die Studierenden begannen damit, vergleichend die unterschiedlichen Darstellungs- und Ausdrucksmöglichkeiten bei Theateraufführungen und im Film, welche insbesondere in Bezug auf Brechts Werke von Joachim Lang analysiert wurden,[17] sowie in VR auszuarbeiten. Dabei entstanden bereits wertvolle und innovative Ansätze zur Transformation, welche bei der Implementierung Beachtung finden sollten. Beispielhaft dafür ist die folgende Umsetzung, bei der eine Szene in einer Fabrik aufgegriffen wurde: der/die Zuschauer*in respektiv Nutzer*in sieht die virtuelle Umgebung aus der Perspektive eines Arbeiters am Fließband. Im Hintergrund sind Fabrikgeräusche durch Kopfhörer wahrnehmbar. Wird der Blick durch eine Kopfbewegung vom Fließband abgewendet, wird der Fabriklärm unmittelbar unangenehm lauter und passt sich erst wieder einer normalen Lautstärke an, wenn die für den Arbeiter vorgeschriebene Blickrichtung auf das Fließband zeigt. Dieses entwickelte Feature ist spezifisch auf die mediale Darstellung und Interaktion in der VR ausgerichtet. Es soll die als anstrengend und monoton dargestellte Arbeitsweise in der Fabrik unterstreichen und Empathie mit dem Arbeiter erzeugen. Das Beispiel zeigt, dass durch die Umsetzung in einer virtuellen Welt und den zugrundeliegenden Transformationsprozess eine tiefgreifende und erkenntnisversprechende experimentelle Auseinandersetzung mit dem Stücktext, aber auch den verwendeten Medien ermöglicht wird. Auch wenn es bisher wenig Konventionen zu VR-Umsetzungen gibt, ist genau diese Tatsache sehr förderlich für eine kreative und analytische Auseinandersetzung mit dem Gegenstand. Die Auswahl und Erzeugung der 3D-Modelle selbst war der erste wichtige Schritt zur virtuellen praktischen Umsetzung: Es müssen Modelle für das Bühnenbild aber auch für den Aufführungsraum selbst ausgewählt oder erstellt werden. Dabei verschwimmen die Grenzen zum Theater, zu Computerspielen und zum Film: Sollen ein klassischer Zuschauerraum und die Bühne selbst im virtuellen durch 3D-Modelle repräsentiert werden, auch wenn sie in ihrer eigentlichen Funktionalität nicht notwendig erscheinen oder haben sie eine zu starke symbolische Bedeutung, als dass sie im Virtuellen ausgelassen werden können?

[21]Aufbauend auf den Ergebnissen der Lehrveranstaltungen wird aktuell im Kontext einer Dissertation ein generischer Ansatz zur semi-automatisierten Transformation von Stücktexten erarbeitet. Nutzer*innen soll es durch Interaktion mit einem dafür entwickelten Editor ermöglicht werden, individuelle virtuelle Aufführungen zu erstellen und / oder als Zuschauer*innen in VR daran teilzunehmen.

4. Von der Kurzgeschichte zum Computergame – Haruki Murakamis Scheunenabbrennen als VR-Anwendung

[22]Ein weiteres Praxisbeispiel medialer Transformation soll im Folgenden besprochen werden. Es geht dabei um die Beschäftigung mit der Umsetzung von textuell verfassten Narrationen als Computer- und Videospiele in VR. So generiert sich die praktische Beschäftigung mit Spielmechanismen in VR in der schulischen und universitären Lehre zum einen als wertvolles Moment zur spielerischen Annäherung an komplexe Lerninhalte wie Verfahren künstlicher Intelligenz,[18] zum anderen als haptisches Werkzeug zur praxisfokussierten kritischen Beschäftigung mit medialer Transformationspraxis: Wie verändert sich eine Narration, wenn sie anhand eines Spieles erzählt wird? Welche Möglichkeiten und Grenzen bietet spielerisches Erzählen – und was ist das überhaupt, ein Spiel?

[23]Wenn Jean Piaget gleich zu Beginn seiner Theorie der geistigen Entwicklung ausführt, um Objekte zu erkennen, müsse »das Subjekt auf sie einwirken und infolgedessen transformieren: Es muss sie von der Stelle bewegen, verbinden, in Beziehung zueinander setzen, auseinander nehmen und wieder zusammensetzen«[19], so formuliert Piaget einen zentralen Mechanismus in der experimentellen spielerischen Beschäftigung mit unterschiedlichsten (Forschungs-)Objekten: Forschungsgegenstände wollen angefasst, müssen angedacht und durchdacht werden, Thesen und Antithesen müssen formuliert, Annahmen getroffen, Modelle gebildet, verändert, angepasst, mitunter gar verworfen werden – kurzum: Experimentelles Interagieren gießt das Fundament für theoretischen und praktischen Kenntniserwerb.

[24]Anhand der Lehrveranstaltung Interaktives Erzählen in VR: Barn Burning (Haruki Murakami),[20] die im Kontext des Moduls Visuelle Programmierung angeboten und durchgeführt worden ist, intendieren die nachfolgenden Ausführungen, einen ergänzenden Einblick zu geben in Aspekte experimenteller universitärer Interpretations- und Visualisierungspraxis. So werden studentische Projektumsetzungen besprochen, die im Rahmen der Lehrveranstaltung entstanden und experimentell die Relation zwischen Narration und Narrationsmedium erkunden – Medien wie die textuell verfasste Kurzgeschichte, filmische Umsetzung und Narration durch Computer- und Videogames.

4.1 Scheunenabbrennen

[25]Haruki Murakamis im Jahr 1983 publizierte Kurzgeschichte Naya o Yaku (Scheunenabbrennen) spielt mit Andeutungen, semantischen Leerstellen und der Imagination ihrer Rezipienten. Auf einer Hochzeitsfeier eines Bekannten lernt der Protagonist eine junge Frau kennen, die ihn durch ihre arglose, nicht der Vernunft gehorchende Einfachheit[21] fasziniert. Gleich nach ihrem Kennenlernen jedoch offenbart sich jene Simplizität als Fassade komplexer Metaphorik. So lässt Murakami seine Protagonistin in Scheunenabbrennen mehrmals pantomimisch den Prozess des Mandarinenschälens durchführen, der das Realitätsempfinden des Protagonisten durcheinanderwirbelt, gar transzendiert:

[26]»Und dann ›schälte sie Mandarinen‹. ›Mandarinen schälen‹ bedeutet buchstäblich Mandarinen schälen. Links vor ihr stand eine große Glasschüssel mit einem Berg von Mandarinen und rechts eine Schüssel für die Schalen – das war die Anordnung –, in Wirklichkeit war da nichts. Sie nahm eine dieser imaginären Mandarinen in die Hand, schälte sie langsam, steckte ein Stück nach dem anderen in den Mund, nahm die Haut aus dem Mund und warf sie, wenn sie mit einer Mandarine fertig war, zusammen mit der Schale in die rechte Schüssel. Diesen Vorgang wiederholte sie unendliche Male. Wenn man es erzählt, ist es vielleicht nichts Besonderes. Aber als ich es tatsächlich zehn oder zwanzig Minuten lang direkt vor mir sah – wir standen am Tresen einer Bar und plauderten, und sie fuhr fast unbewusst beim Sprechen mit diesem ›Mandarinenschälen‹ fort –, war mir, als würde mir jeglicher Realitätssinn entzogen. Ein äußerst seltsames Gefühl. [...] ›Du scheinst wirklich Talent zu haben‹, sagte ich. ›Ach was, das ist doch ganz einfach. Dazu braucht man kein Talent. Man darf nur nicht denken, dass hier Mandarinen sind, sondern man muss vergessen, dass hier keine sind. Das ist alles.‹«[22]

[27]»Ein äußerst seltsames Gefühl.« Auch im weiteren Verlauf der Kurzgeschichte sind Andeutungen, Metaphern und semantische Auslassungen zentral: Die Protagonistin verreist und kehrt nach wenigen Monaten mit einer Person zurück, die der Kurzgeschichte als Antagonist fungiert. Im Rahmen eines geselligen Abends berichtet jener Gegenspieler geheimnisvoll, er stecke alle zwei Monate eine Scheune in Brand und habe sich bereits seine nächste Scheune in unmittelbarer Nähe auserkoren; eine konkrete Aussage darüber, welche Scheune er abzubrennen intendiert, bleibt er jedoch schuldig:

[28]»Ich habe das Gefühl, als gäbe es in der Welt eine Menge Scheunen, die alle darauf warten, von mir abgebrannt zu werden. Die einsame Scheune am Meer oder die Scheune mitten im Reisfeld. [...] In nur einer Viertelstunde brenne ich sie sauber ab. Es ist, als hätten sie nie existiert. Niemand trauert ihnen nach. Sie … verschwinden einfach. In einem Nu.«[23]

[29]Fortan zieht der Protagonist joggend seine Runden und überprüft regelmäßig alle Scheunen in seiner Umgebung. Die Monate und Jahreszeiten verfliegen, die Protagonistin verschwindet, doch eine abgebrannte Scheune lässt sich nicht finden. Am Ende der Kurzgeschichte treffen sich Protagonist und Antagonist zufällig; im Gespräch berichtet der Gegenspieler, er habe die Scheune bereits wenige Tage nach dem gemeinsamen Abend zerstört: »Ich habe sie natürlich abgebrannt. Bis auf den letzten Rest ist sie verbrannt. So, wie ich es versprochen habe.«[24]

4.2 Interaktives Erzählen in VR

[30]Der spielerischen Beschäftigung mit der Frage, wie sich eine Narration in und mit einem anderen Medium als Text erzählen lässt, ist Murakamis Kurzgeschichte aufgrund ihrer zahlreichen Andeutungen und Auslassungen äußerst dienlich: Wie lässt sich eine Geschichte erzählen, in der die Spielerinnen und Spieler selbst agieren und mit narrativen Elementen interagieren können? Welchen Nutzen und welche Möglichkeiten bietet eine eigens implementierte VR-Umgebung? Aber auch: Welche Grenzen ziehen virtuelle Realitäten im interaktiven Geschichtenerzählen? Wenngleich einige Aspekte in der theoretischen Beschäftigung mit medialen Transformationen bereits zuvor im Kontext des brechtschen VR-Theaters erschöpfend vorgetragen und besprochen wurden, so stellen die studentischen Projekte, die im Rahmen der Lehrveranstaltung über Murakamis Scheunenabbrennen umgesetzt wurden, weitere wertvolle Fragen: Welche Möglichkeiten werden Spielerinnen und Spielern geboten, um mit (bewusst platzierten) narrativen Lücken umzugehen? Lässt die individuelle Implementation der Kurzgeschichte in VR ihre Rezipienten ob ihrer selektiven Unterspezifiziertheit im Dunkeln, oder nimmt die eigene Umsetzung interpretative Prozesse vorweg, indem beispielsweise die Protagonistin als ermordet dargestellt wird?

[31]Das spielerische Experimentieren mit der Kurzgeschichte extrahiert unter textueller Beschreibung Verborgenes aus der Erzählung und macht sie – je nach Implementation – integrierbar und anders zugänglich als textuell-linear vermittelt. Im Rahmen der Lehrveranstaltung fertigten elf Gruppen mit rund vier Gruppenmitgliedern elf unterschiedliche Projekte mit der Entwicklungsumgebung und Game-Engine Unity an. Zwar sind die elf Projekte in ihrer visuellen Darstellung äußerst heterogen, dennoch ist beachtlich, dass nahezu alle Gruppenprojekte zum einen offenbare, zum anderen verborgene Elemente der Narration fokussieren und herausarbeiten. Elemente wie das pantomimische Mandarinenschälen und der Ort der Scheune als mysteriöser unerreichbarer Ort, der – anders als anhand des Textes – nicht imaginiert, sondern bereits vollständig ausgestaltet präsentiert wird. Trotz ihrer unterschiedlichen und vielfältigen Ansätze lassen sich in den einzelnen Projekten Umsetzungs- und Narrationsmechanismen identifizieren, die verschiedenen Projekten gleichen. So stellt sich zuerst die Frage nach dem Maß an Interaktion; umgesetzt wurden zum einen reine Walking-Simulatoren wie das unten ausschnittweise dargestellte Museum der Narration, das seine Besucherinnen und Besucher sehr nah am Text, jedoch ohne elaborierte Interaktionsmöglichkeiten stimmig durch die Narration führt (Abbildung 1).

Abb. 1: Museum der Narration. [Eide et al. 2022]
Abb. 1: Museum der Narration. [Eide et al. 2022]

[32]Im Museum der Narration werden einzelne Elemente der Handlung ausgewählt und kondensiert dargestellt. Interessant an diesem Beispiel ist zum einen der Fokus auf handlungserweiternde Szenen wie die oben dargestellte Flughafenszene oder den Prozess des Mandarinenschälens. Zum anderen veranschaulicht sich hier die enge Bindung zwischen Text und interagierbarem Bild. Anhand des in Virtual Reality erfahrbaren Museums der Narration wird Text zwar linear dargestellt, jene Linearität wird jedoch transzendiert durch das Zugleich unterschiedlichster ausgewählter Textfragmente und exemplifizierender visueller Objekte. Zum anderen wurden VR-Anwendungen mit klassischen Spielmechanismen implementiert, die Momente der Narration durch kleine Aufgaben (Quests) erschließen oder anhand eines Inventares narrationsrelevante Objekte wie eine Mandarine eingesammelt und zu späterem Zeitpunkt eingesetzt werden können, um die Handlung fortzuführen. Andere Projekte stellen die Metapher der Scheune in den Vordergrund und arbeiten mit expliziten Darstellungen ebenjener. So finden sich Spielerinnen und Spieler in einem Projekt in einer Scheune wieder und werden mit der Aufgabe betraut, in begrenzter Zeit durch Interaktion mit Objekten, die sich in den jeweiligen Scheunen befinden, die richtige Scheune zu identifizieren. Andere Projekte platzieren ihre Spielerinnen und Spieler in einen dichten dunklen Wald und stellen die Aufgabe, die korrekte Scheune anhand visueller Brotkrumen und Rätsel zu identifizieren (Abbildung 2).

Abb. 2: Brennende Scheune. [Eide et al. 2022]
Abb. 2: Brennende Scheune. [Eide et al. 2022]

[33]Spielerische Elemente wie Rätsel, Puzzle, kleine Aufgaben und der Einsatz von Gegenständen, die im Laufe des Spieles eingesammelt, im Inventar gelagert und an einer bestimmten Stelle im Spiel mit anderen Gegenständen kombiniert werden müssen, richten den Fokus der VR-Erzählung auf handlungstragende Momente der Kurzgeschichte – oder sind eingebettet in freie Interpretationen der Narration, wie das folgende Projekt:[25] Basierend auf der Scheunen-Opfer-Metapher erfahren sich die Spielerinnen und Spieler als Mörderinnen und Mörder. Das Spiel beginnt in einem schwach ausgeleuchteten Raum, der repräsentativ für das Innere der verkörperten Figur steht. Drei auf einem Tisch platzierte Ordner gewähren Zugang zu den unterschiedlichen Levelabschnitten. Jedes Level zeigt eine Scheune oder andere Umgebungen. In den unterschiedlichen Spielabschnitten sammeln die Spielerinnen und Spieler Hinweise, um sie gedanklich miteinander zu verknüpfen. Die Hinweise sind dabei so charakteristisch gestaltet, dass sich zu jeder Scheune eine anhand der Scheune repräsentierte Person erahnen lässt. Nach jedem Level kehren die Spielerinnen und Spieler in den Ausgangsraum zurück, der sich je nach Spielfortschritt verändert und so auch die eigene mentale Veränderung im Rahmen der Suche nach einem geeigneten Opfer verdeutlichen soll. Nach Abschluss aller Level werden die Spielerinnen und Spieler anhand der Ordner mit den repräsentierten Charaktereigenschaften konfrontiert und müssen sich – basierend auf den im Rahmen des Spielverlaufes erlebten Erfahrungen – für eine der dargestellten Personen entscheiden.

5. Fazit

[34]Mit ihrem Fokus auf kartenbasierte Experimente in der Textanalyse, brechtschem VR-Theater und der Umsetzung von Computer- und Videogames in VR gaben die vorhergehenden Ausführungen einen Überblick über visuelle modellbasierte Experimente in den digitalen Geisteswissenschaften. Abschließend sei zum einen auf die Methodik der experimentellen Beschäftigung mit Karten, Theaterstücken und textuell verfassten Narrationen eingegangen, zum anderen soll im Folgenden der hermeneutische Prozess in der Beschäftigung mit medialen Transformationen besprochen werden. Als Ausgangspunkt und Grundlage des Experimentierens wurden Werkzeuge – d. h. Software – entwickelt, um mediale Transformationsprozesse zuallererst umzusetzen, anschließend zu beobachten und zu reflektieren. So veranschaulichen die durchgeführten Experimente, welche Aspekte bei der Transformation von einem (z. B. der Kurzgeschichte) in ein anderes Medium (z. B. eine in VR umgesetzte Theateraufführung oder ein in VR umgesetztes Spiel) wesentlich sind, und gestalten sich ein als zentrales Moment in Lehre und Forschung. Charakteristisch an den vorgetragenen Experimenten ist ihr Fokus auf zwei- und dreidimensionale Bildmedien, um Textmedien zu erforschen. Wenngleich der Weg vom Buch zum Film oder dem Computerspiel mitunter intuitiv ist aufgrund zahlreicher Vorlagen und bereits existierender Umsetzungen, so sind auch andere, abstraktere Formen medialer Transformationen vorstellbar, beispielsweise unter Integration von Simulationen.[26] Auch könnte man die Erforschung von Bildmedien, auch Karten und VR-Systemen, durch ähnliche Experimente durchführen.

[35]Für die hier beschriebenen Experimente wurden benötigte Werkzeuge im Kontext der Softwareentwicklung eigens gestaltet und umgesetzt. Die dahinterstehenden Prozesse sind experimentelle Bestandteile im Rahmen von Forschung und Lehre, demzufolge ist auch die Softwareentwicklung selbst ein zentraler Bestandteil des hier beschriebenen wissenschaftlichen Arbeitens. Der Prozess der Modellierung wird auf unterschiedliche Art und Weise als essentiell relevant für die Experimente beurteilt. Zum einen nimmt das Modellieren einen wichtigen Teil innerhalb der Projektplanung in der Softwareentwicklung ein. Dazu gehört das Modellieren der Anwendungen und auch der entsprechend zugrundeliegenden Daten. Zum anderen ist die Modellierung ein wichtiger Teil des Lernprozesses, der mit Experiment und dem Experimentieren einhergeht. Die enge Verbindung zwischen der Modellierung und dem Experiment wird in unterschiedlichen Disziplinen diskutiert[27] und sollte auch in den digitalen Geisteswissenschaften weiterverhandelt werden. In den zugehörigen Diskussionen ist der doppelte Blick auf modellbasierte Experimente notwendig, wenn sie als mediale- und semiotische Prozesse aufgefasst werden. Dieser Blickwinkel und der entsprechende Fokus sind nicht vollständig unabhängig voneinander, sie erfordern jedoch unterschiedliche Perspektiven für die Meta-Analyse solcher Prozesse.


Fußnoten


Bibliographische Angaben

  • David Cathue / David Rousset / Microsoft: babylonjs. 2013. [online]

  • Arianna Ciula / Øyvind Eide: Modelling in digital humanities: Signs in context. In: Digital Scholarship in the Humanities 32 (2017), Suppl. 1, S. i33–i46. DOI: 10.1093/llc/fqw045 [Nachweis im GVK]

  • Arianna Ciula / Øyvind Eide / Cristina Marras / Patrick Sahle: Modelling: Thinking in Practice. An Introduction. In: Historical Social Research / Supplement 31 (2018), S. 7–29. DOI: 10.12759/hsr.suppl.31.2018.7-29 [Nachweis im GVK]

  • Øyvind Eide: Media Boundaries and Conceptual Modelling: Between Texts and Maps. Basingstoke/Hampshire 2015. [Nachweis im GVK]

  • Øyvind Eide: Sand in the Mapmaking Machinery: The Role of Media Differences. In: Livingmaps Review 1 (2016), H. 1. [online]

  • Lars Elleström: The Modalities of Media: A Model for Understanding Intermedial Relations. In: Media borders, multimodality and intermediality. Hg. von Lars Elleström. Basingstoke u. a. 2010, S. 11–48. [Nachweis im GVK]

  • Lars Elleström: The Modalities of Media II: An expanded Model for Understanding Intermedial Relations. In: Beyond Media Borders, Volume 1: Intermedial Relations among Multimodal Media. Hg. von Lars Elleström. Cham 2021, S. 3–91. DOI: 10.1007/978-3-030-49679-1 [Nachweis im GVK]

  • Paul A. Fishwick: Modeling as the practice of representation. In: 2017 Winter Simulation Conference (WSC, Las Vegas, NV, 03. –06.12.2016) Piscataway, NJ 2017, S. 4276–4287. [Nachweis im GVK]

  • Google Cardboard. Virtual Reality erleben – einfach, unterhaltsam und kostengünstig. Hg. von Google. 2021 [online]

  • Olivia Guest / Andrea E. Martin: How Computational Modeling Can Force Theory Building in Psychological Science. In: Perspectives on Psychological Science 16 (2021), H. 4, S. 789–802. DOI: 10.1177/1745691620970585 [Nachweis im GVK]

  • Dominik Heller: MediaTransformation. In: GitHub. 2020. [online]

  • Media Transformation – Interaktives Erzählen in VR: "Barn Burning" (Haruki Murakami, Lee Chang-dong). Hg. vom Institut für Digital Humanities, Universität zu Köln. 2019. [online]

  • Kazuo Ishiguro: The Unconsoled. London 1995. [Nachweis im GVK]

  • Tarja Knuuttila / Andrea Loettgers: Modeling/Experimentation: The Synthetic Strategy in the Study of Genetic Circuits. In: The Experimental Side of Modeling. Hg. von Isabelle F. Peschard / Bas C. van Fraassen. Minneapolis, MN u. a. 2018, S. 118–147. [online] [Nachweis im GVK]

  • Joachim Lang: Episches Theater als Film. Bühnenstücke Bertolt Brechts in den audiovisuellen Medien. Würzburg 2006. [Nachweis im GVK]

  • Willard McCarty: Humanities computing. Basingstoke/Hampshire u. a. 2005. [Nachweis im GVK]

  • A-Frame, A web framework for building 3D/AR/VR experiences. Hg. von Mozilla. 16.12.2020 [online]

  • Haruki Murakami: Der Elefant verschwindet. Erzählungen. Köln 2007. [Nachweis im GVK]

  • Viktoriya Olari / Kostadin Cvejoski / Øyvind Eide: Introduction to machine learning with robots and playful learning. In: Proceedings from the 35th AAAI Conference on Artificial Intelligence (AAAI: 35, virtuell, 02.–09.02.2021) Palo Alto, CA 2021.

  • The Experimental Side of Modeling. Hg. von Isabelle F. Peschard / Bas C. van Fraassen. Minneapolis, MN u. a. 2018, S. 118–147. [online] [Nachweis im GVK]

  • Jean Piaget: Meine Theorie der geistigen Entwicklung. Hg. von Reinhard Fatke. 4. Auflage. Weinheim u. a. 2016. [Nachweis im GVK]

  • Fictions in science: philosophical essays on modeling and idealization. Hg. von Mauricio Suarez. New York, NY 2009. [Nachweis im GVK]

  • Jan Wieners / Zoe Schubert / Øyvind Eide: Modellieren durch mediale Transformation: Das Theater Brechts in der virtuellen Realität. In: DHd 2018. Kritik der digitalen Vernunft. Konferenzabstracts. Hg. von Georg Vogeler. (DHd: 5, Köln, 26.02.–02.03.2018). DOI: 10.5281/zenodo.4622366 [Nachweis im GVK]

  • Frances A. Yates: The art of memory. London 1966. [Nachweis im GVK]


Abbildungs- und Tabellenverzeichnis

  • Tab. 1: Kritische schrittweise Formalisierung. [Eide et al. 2022 nach Eide 2015]
  • Abb. 1: Museum der Narration. [Eide et al. 2022]
  • Abb. 2: brennende Scheune. [Eide et al. 2022]