EmoDrama. Ein Korpus mit Emotionsinformationen in Dramen von 1650–1815

Views
273
Downloads
3
Open Peer Review
Kategorie
Artikel
Version
1.0
Katrin Dennerlein Autor*inneninformationen
Thomas Schmidt Autor*inneninformationen
Christian Wolff Autor*inneninformationen

DOI: 10.17175/2023_010

Nachweis im OPAC der Herzog August Bibliothek: 1871018870

Erstveröffentlichung: 21.12.2023

Lizenz: Sofern nicht anders angegeben Creative Commons Lizenzvertrag

Medienlizenzen: Medienrechte liegen bei den Autor*innen

Letzte Überprüfung aller Verweise: 05.12.2023

GND-Verschlagwortung: Drama | Gefühl | Quantitative Literaturwissenschaft | Annotation | Korpus | 

Empfohlene Zitierweise: Katrin Dennerlein / Thomas Schmidt / Christian Wolff: EmoDrama. Ein Korpus mit Emotionsinformationen in Dramen von 1650–1815. In: Zeitschrift für digitale Geisteswissenschaften 8 (2023). 21.12.2023. HTML / XML / PDF. DOI: 10.17175/2023_010


Abstract

Der Beitrag stellt das annotierte Korpus des DFG-Forschungsprojekts Emotions in Drama vor. Hauptziel des Projekts war das Training transformerbasierter Sprachmodelle für die Klassifikation von Emotionen in über 300 Dramen aus dem Zeitraum von 1650 bis 1815. Dazu wurde ein Korpus von 18 deutschen Dramen von jeweils zwei Annotator*innen mit 13 Einzelemotionen ausgezeichnet, so dass jetzt 21.000 Emotionsannotationen und über 46.000 Quell- / Ziel-Annotationen vorliegen. Referiert werden Übereinstimmungswerte, die Emotionsverteilung und die Verteilung der Quell- und Ziel-Annotationen im Gesamtkorpus sowie Distributionen nach Gender. Das Korpus ist eine einzigartige Ressource für die digitalen Geisteswissenschaften, weil es für Dramen dieses Zeitraums kein weiteres Korpus mit kontextsensitiven Emotionsannotationen auf der Basis historischer Emotionsdefinitionen gibt.


This article presents the annotated corpus of the DFG research project Emotions in Drama. The main aim of the project was the training of transformer-based language models for the classification of emotions in over 300 dramas from the period 1650 to 1815. For this purpose, a corpus of 18 German dramas was annotated by two annotators with 13 individual emotions each, resulting in 21.000 emotion annotations and over 46.000 source / target annotations. We report agreement metrics, the distribution of emotions and the distribution of source and target annotations in the overall corpus as well as distributions by character gender. The corpus is a unique resource for the digital humanities, since there is no other corpus with context-sensitive emotion annotations based on historical emotion definitions for dramas from this period.

1. Projekt und Zielstellung

[1]Wir stellen in diesem Beitrag einen Teil unserer Forschungsergebnisse des DFG-Forschungsprojekts Emotions in Drama (EmoDrama) vor, das eine Zusammenarbeit zwischen Literaturwissenschaft und Informatik ist.[1] Ziel des Projekts ist die computergestützte Vorhersage von Emotionen für die Analyse deutschsprachiger Theaterstücke aus den Jahren 1650 bis 1815. Das Projekt ist eine Weiterentwicklung der bisherigen Forschung auf dem Gebiet der Analyse von Emotionen in literarischen Texten.[2] Es soll jedoch insbesondere auch dazu beitragen, die literaturgeschichtliche Forschung voranzutreiben, indem bisherige Erkenntnisse quantitativ abgestützt werden können und neue Erkenntnisse über Figurenemotionen in verschiedenen Dramengenres und in nichtkanonischen Texten gewonnen werden können. Wir präsentieren die Endergebnisse der Annotationsaufgabe unseres Projekts: Ein Korpus von 18 deutschen Theaterstücken mit über 21.000 Emotionsannotationen und über 46.000 Quell- / Ziel-Annotationen.

[2]In diesem Beitrag stellen wir zunächst den Annotationsprozess, das finale Korpus, Übereinstimmungsmetriken und die Vorbereitung des Korpus für Prozesse des maschinellen Lernens vor. Wir beschreiben die erzielten Übereinstimmungen zwischen den Annotator*innen getrennt nach Dramen und stellen einzelne Besonderheiten der Annotation vor. Dazu gehören die Länge der Annotationen, überlappende Annotationen und die Quell- und Zielinformationen. In einem Ausblick zeigen wir Potenziale des annotierten Korpus anhand von Gender-Analysen auf. Die Emotionsannotationen, die wir mit zwei Annotator*innen pro Drama erstellt haben, sind eine einzigartige Datenquelle für die digitalen Geisteswissenschaften. Unseres Wissens gibt es für diese Literaturgattung kein anderes Korpus mit einer ähnlichen Menge an kontextsensitiven Emotionsannotationen auf der Basis historisch adäquater Emotionsdefinitionen.

2. Emotionsdefinition

[3]Im untersuchten Zeitraum finden sich wechselnde Begriffe für emotionale Zustände wie etwa ›Affekt‹, ›Passio(n)‹, ›Leidenschaft‹ und später auch ›Gefühl‹.[3] ›Emotion‹ wird als metasprachlicher Begriff verwendet, um den folgenden Phänomenkomplex zu erfassen, der eine zentrale Rolle in dramatischen Texten spielt:

  • Emotionen sind wechselnde Zustände, die als psychischer und physischer Zustand zugleich erlebt und positiv oder negativ bewertet werden.
  • Figuren erleben diese Zustände selbst und sie werden ihnen auch von anderen zugeschrieben.[4]
  • Bei der Verarbeitung von Emotionen spielen sowohl Ursache als auch Gerichtetheit eine Rolle. Die Figuren können sich der Emotionen in unterschiedlichem Maße bewusst sein.
  • Figuren können körperlich und sprachlich andere Emotionen ausdrücken, als sie empfinden.

[4]Emotionen werden während des gesamten untersuchten Zeitraums als ichbezogen verstanden, aber erst sehr spät als gänzlich individuelle Zustände. Die meiste Zeit werden Emotionen als klassen- und geschlechtsspezifisch, aber auch durch religiöse Überzeugungen, politische Ansichten und andere kulturelle Aspekte bestimmt, konzipiert.[5] Darüber hinaus sind dramatische Texte stark von rhetorischen Konventionen geprägt, die erst im letzten Drittel des 18. Jahrhunderts schwächer werden.[6] Intendierte Emotionen der Rezipient*innen sind ein entscheidendes Element in der Poetik des Dramas und in der traditionellen Literaturwissenschaft sowohl hinsichtlich der Normen als auch bezüglich der textuellen Gestaltung wesentlich besser erforscht als die Figurenemotionen. Wir untersuchen deshalb zunächst die Figurenemotionen.[7]

3. Annotation

[5]Der Annotationsprozess und das Annotationsschema wurden in einem iterativen Prozess entwickelt. Die Auswahl der Emotionen ist auch davon bestimmt, dass sie die Beschreibung von literarischem Wandel abbilden können soll. Deshalb wurden etwa die Kategorien ›Mitleid‹ und ›Freundschaft‹ aufgenommen. Das Annotationsschema ist hierarchisch aufgebaut und besteht aus sechs Hauptemotionsklassen und 13 Subemotionen, die jeweils eine prototypisch positive bzw. negative Polarität aus der Sicht der Figur haben:

  • Emotionen der Zuneigung
    • Lust (+)
    • Liebe (+)
    • Freundschaft (+)
    • Verehrung, Bewunderung (+)
  • Emotionen der Freude und des Glücks
    • Freude (+)
    • Schadenfreude (+)
  • Emotionen der Angst und der Sorge
    • Angst (-)
    • Verzweiflung (-)
  • Emotionen der Ablehnung
    • Ärger (-)
    • Abscheu, Wut, Hass (-)
  • Emotionen des Leids und Mitleids
    • Leid (-)
    • Mitleid (-)
  • keine Oberklasse
    • emotionale Bewegtheit (unbestimmt)

[6]Wir haben 18 Theaterstücke annotiert. Die Auswahl ist dabei hinsichtlich Genre, damaliger Relevanz und Positionierungsabsicht (Avantgarde / Publikumserwartung) möglichst breit gestreut. Wir haben sowohl gelehrte Barockdramen (Andreas Gryphius: Catharina von Georgien (1657), Daniel Caspar von Lohenstein: Ibrahim Sultan (1649)) als auch Spieltexte der Wanderbühne (Anonym: Der Welt Erschröckende Attila (nach 1682)), rührende Lustspiele (Christian Fürchtegott Gellert: Die zärtlichen Schwestern (1747)), als auch Typenkomödien (Luise Adelgunde Victorie Gottsched: Das Testament (1745)), heroische und bürgerliche Trauerspiele (Joachim Wilhelm von Brawe: Der Freigeist (1758), Friedrich Schiller: Kabale und Liebe (1784)), ein populäres Rührstück aus der Zeit um 1800 (August von Kotzebue: Menschenhaß und Reue (1790)) und eine populäre Posse (Ferdinand Eberl: Kasperl’ der Mandolettikrämer (1789)) aufgenommen. Die Auswahl umfasst einerseits Werke, die heute noch kanonisiert sind (z. B. Gotthold Ephraim Lessings Minna von Barnhelm (1767) oder Johann Wolfgang von Goethes Faust. Eine Tragödie (1808)) und andererseits solche, die heute nur noch Spezialist*innen bekannt sind (Anonym: Der Welt Erschröckende Attila (nach 1682), Cornelius von Ayrenhoff: Der Postzug (1769)). Es wurde absichtlich möglichst heterogenes Material annotiert, damit die Annotationen später zum Training eines transformerbasierten Sprachmodells verwendet werden können, das nicht nur auf die Erkennung sprachlich ähnlicher Emotionsaussagen trainiert werden soll, sondern auch auf ein breites Spektrum.[8]

  • Daniel Caspar von Lohenstein: Ibrahim Sultan (1649), Tragödie
  • Andreas Gryphius: Catharina von Georgien (1657), Tragödie
  • Christian Weise: Ein wunderliches Schau-Spiel vom niederländischen Bauer (1669), Komödie
  • Der Welt Erschröckende Attila (nach 1682), Schauspiel, Libretto
  • Christian Weise: Massaniello (1683), Tragödie
  • Die getreue Sclavin Doris (1720), Schauspiel, Libretto
  • Luise Adelgunde Victorie Gottsched: Das Testament (1745), Komödie
  • Johann Elias Schlegel: Canut (1746), Tragödie
  • Christian Fürchtegott Gellert: Die zärtlichen Schwestern (1747), Komödie
  • Johann Gottlieb Benjamin Pfeil: Lucie Woodvil (1757), Tragödie
  • Joachim Wilhelm von Brawe: Der Freigeist (1758), Tragödie
  • Gotthold Ephraim Lessing: Minna von Barnhelm (1767), Komödie
  • Cornelius von Ayrenhoff: Der Postzug (1769), Komödie
  • Friedrich Schiller: Kabale und Liebe (1784), Tragödie
  • Ferdinand Eberl: Kasperl’ der Mandolettikrämer (1789), Komödie, Libretto
  • August von Kotzebue: Menschenhaß und Reue (1790), Komödie
  • Friedrich Schiller: Wallensteins Lager (1800), Tragödie
  • Johann Wolfgang Goethe: Faust (1808), Tragödie

[7]Jedes Drama wurde von zwei Annotator*innen annotiert, die unabhängig voneinander gearbeitet haben. Dafür wurde das webbasierte Annotationstool CATMA verwendet.[9] Die Annotator*innen haben eine ausführliche Anleitung mit historischen Definitionen und zahlreichen Beispielen erhalten und wurden in gemeinsamen Annotationssitzungen geschult.[10] Annotiert wurde die gemeinte Figurenemotion, nicht diejenige Emotion, die Rezipient*innen idealerweise empfinden sollen oder die sie empirisch nachweisbar empfunden haben. Der Kontext einer einzelnen Äußerung, d. h. das Werk, spielt dabei eine zentrale Rolle; die Annotator*innen waren dazu angehalten, ältere Annotationen bei neuen Einsichten im Verlauf der analytischen Lektüre gegebenenfalls im Nachhinein zu korrigieren. Die Annotationsbereiche konnten von den Annotator*innen nach eigenem Ermessen gewählt werden. Überlappende Emotionen und die Annotation von zwei Emotionen an der gleichen Textstelle waren möglich. Es wurden sowohl die Regieanweisungen als auch die Dialogrepliken der Figuren annotiert. Der Zeitaufwand für einen Annotationsdurchang eine*r Annotator*in variierte dabei je nach Länge und Komplexität des Dramas und konnte von zwei Wochen bis zu einem Monat betragen.

4. Annotiertes Korpus

[8]Tabelle 1 illustriert die Verteilung aller Emotionsannotationen von je zwei Annotator*innen für alle 18 Dramen:


Emotion # % # (tokens) % (tokens) tokens max tokens
HK: Emotionen der Zuneigung 5.045 23 116.380 21,41 23,07 345
Lust 233 1 6.087 1,12 26,12 184
Liebe 2.819 13 63.697 11,72 22,6 326
Freundschaft 457 2 9.919 1,82 21,7 132
Verehrung, Bewunderung 1.536 7 36.677 6,75 23,88 345
HK: Emotionen der Freude und des Glücks 3.029 14 68.211 12,55 22,52 288
Freude 2.502 12 55.21 10,16 22,07 277
Schadenfreude 527 2 12.990 2,39 24,65 288
HK: Emotionen der Angst und Sorge 2.208 10 63.370 11,66 28,7 702
Angst 1.389 6 26.667 4,91 19,2 173
Verzweiflung 819 4 36.703 6,75 44,81 702
HK: Emotionen der Ablehnung 5.156 24 127.942 23,54 24,81 813
Ärger 2.616 12 59.220 10,9 22,64 813
Abscheu, Wut, Hass 2.540 12 68.722 12,64 27,06 348
HK: Emotionen des Leids und des Mitleids 4.342 20 126.627 23,3 29,16 998
Leid 3.486 16 105.720 19,45 30,33 998
Mitleid 856 4 20.907 3,85 24,42 263
Emotionale Bewegtheit 1.829 8 40.988 7,54 22,41 334
gesamt 21.609 100 543.518 100 25,15 998

Tab. 1: Verteilungsstatistiken von Hauptklassen und Subemotionen im Korpus aller Annotationen (ungefiltertes Korpus). Hauptklassen (HK) gefolgt von den dazugehörigen Subemotionen. Prozentangaben sind gerundet und beziehen sich immer auf das Gesamtkorpus.

[9]Die Annotation hat 21.609 Fälle von Einzelannotationen gezeitigt, die sich zu 543.518 annotierten Token summieren. Die Annotator*innen machen von der Möglichkeit unterschiedlicher Annotationslängen regen Gebrauch, die häufigste Annotationseinheit ist jedoch der Satz. Die kleinste annotierte Einheit ist bei allen Emotionen ein Wort. Im Durchschnitt wurden 25 Token (etwa 2 Sätze) annotiert, wobei die meisten Annotationen eher kurz sind (1 bis 2 Wörter) und nur wenige sehr lange Annotationen (die aus einer ganzen Figurenrede bestehen) vorkommen. Die größte Durchschnittslänge liegt für die Subemotion ›Verzweiflung‹ vor (⌀ = 44,81), die kürzeste Durchschnittslänge für die Subemotion ›Angst‹ (⌀ = 19,2).

[10]Am häufigsten wurden negative Emotionen annotiert (11.706; 54 %), gefolgt von positiven (8.074; 37 %). Zudem wurde die Kategorie ›emotionale Bewegtheit‹, hinzugenommen, die außerhalb des Bewertungsschemas von positiven und negativen Emotionen steht. Sie schlägt mit 1.829 Fällen bzw. 8 % zu Buche. Die Dominanz der negativen Emotionen zeigt, dass Konflikte und Streitigkeiten die Dramen unabhängig vom Genre stark bestimmen. Die häufigsten Hauptklassen sind die Emotionen der ›Ablehnung‹ (24 %) und ›Zuneigung‹ (23 %), gefolgt von der Klasse ›Leid und Mitgefühl‹ (20 %). Bei den Subemotionen wurden ›Leid‹ (16 %) und ›Liebe‹ (13 %) am häufigsten, ›Lust‹ (1 %) und ›Freundschaft‹ (2 %) am seltensten annotiert. An einer einzelnen Textstelle konnten auch zwei Emotionen annotiert werden. Dies war insbesondere dann nötig, wenn eine Figur zum einen eine Emotion ausdrückt, die sie selbst empfindet, dabei jedoch auch zugleich einer anderen Figur eine Emotion zuschreibt, wie im Beispiel in Abbildung 1:

Abb. 1: Beispiel für überlappende Emotionsannotationen aus Gellerts Die
                           zärtlichen Schwestern, II, 3. [Screenshot aus: CATMA]
Abb. 1: Beispiel für überlappende Emotionsannotationen aus Gellerts Die zärtlichen Schwestern, II, 3. [Screenshot aus: CATMA]

[11]Hier wurde einerseits die ›Angst‹ annotiert, die die Figur Damis empfindet. Im Rahmen dieser Äußerung schreibt Damis der Figur Julchen jedoch zusätzlich auch ›Liebe‹ zu, die deshalb für einen Teil der Replik als Emotion von Julchen annotiert wurde.

[12]Aufgrund der variablen Annotationsmöglichkeiten sind Mapping-Heuristiken notwendig, um Annotationsübereinstimmungen zwischen den Annotator*innen zu untersuchen. Es wurde folgende replikenbasierte Kalkulation angewendet: Jeder Regieanweisung und jeder Figurenrede wurde pro Annotator*in derjenige Emotionstyp zugeordnet, der von jedem/r Annotator/in am häufigsten annotiert wurde (in Anzahl der Wörter). Anschließend wurde die Übereinstimmung mittels Cohens κ und prozentualer Übereinstimmung berechnet. Tabelle 2 illustriert die Ergebnisse für alle Dramen (absteigend geordnet) und im Durchschnitt. Es wurde dabei zwischen den drei Hierarchiestufen Polarität (positiv / negativ / emotionale Bewegtheit), Hauptemotionsklassen und Subemotionen unterschieden.


Drama Polarität (κ) Polarität (%) Hauptklasse (κ) Hauptklasse (%) Subemotion (κ) Subemotion (%)
Freigeist_Brawe 0,60 73,36 0,53 63,88 0,47 58,01
Attila 0,60 75,85 0,56 71,53 0,52 68,18
Canut 0,55 69,94 0,41 53,37 0,37 46,63
Doris 0,51 68,22 0,51 63,56 0,47 60,24
ZaertlichenSchwestern 0,51 67,29 0,45 61,51 0,43 58,41
Woodvil 0,51 66,52 0,44 54,64 0,39 48,84
Faust 0,44 67,96 0,38 61,29 0,34 58,06
Postzug 0,43 69,91 0,39 66,11 0,35 63,15
Kasperl' der Mandolettikrämer 0,42 70,83 0,36 68,34 0,31 62,72
Lager 0,42 66,84 0,42 65,30 0,35 60,41
Ibrahim 0,41 63,32 0,40 59,20 0,34 53,17
Minna von Barnhelm 0,41 74,62 0,38 72,75 0,36 71,23
Catharina 0,40 60,44 0,36 53,82 0,31 49,24
Menschenhass und Reue 0,40 75,28 0,36 72,96 0,35 71,91
Kabale und Liebe 0,38 58,85 0,34 51,19 0,31 47,99
Bauer 0,35 60,62 0,35 58,93 0,32 56,57
Masaniello 0,35 64,67 0,32 60,49 0,27 56,42
Testament 0,33 57,63 0,32 54,96 0,29 52,12
Durchschnitt 0,45 67,58 0,40 62,04 0,36 58,24

Tab. 2: Inter-rater-agreement-Statistiken für alle Dramen sowie im Durchschnitt absteigend geordnet.

[13]Im Durchschnitt liegen die κ-Werte je nach Emotionsklasse zwischen 0,45 und 0,36, was auf eine mäßige bis moderate Übereinstimmung hindeutet.[11] Die Übereinstimmung variiert zwischen den einzelnen Dramen und den verschiedenen Annotator*innen und erreicht als Minimum 0,33 für Luise Adelgunde Victories Das Testament, als Maximum 0,60 für Gotthold Ephraim Lessings Der Freigeist (1755). Die Gesamtwerte sind niedriger als in Sentiment-Analyse-Projekten mit zeitgenössischen Texten,[12] stehen jedoch im Einklang mit den Ergebnissen bei der Annotation historischer literarischer Texte.[13] Die Gründe für die niedrige Übereinstimmung sind in der Historizität und der Ambiguität literarischer Texte zu suchen. Die Probleme übereinstimmender Annotation zeigen sich etwa in folgendem Beispiel:

Abb. 2: Beispiel für gegensätzliche Annotationen zwischen zwei Annotator*innen in Gryphius Catharina von Georgien, I. Das Drama weist nur eine Akteinteilung auf, eine Unterteilung in Szenen findet sich nicht. [Screenshot aus: CATMA]
Abb. 2: Beispiel für gegensätzliche Annotationen zwischen zwei Annotator*innen in Gryphius Catharina von Georgien, I. Das Drama weist nur eine Akteinteilung auf, eine Unterteilung in Szenen findet sich nicht. [Screenshot aus: CATMA]

[14]Annotator*in 1 hat hier bei der Figur Salome durchgängig ‚›Leid‹ annotiert, Annotator*in 2 hingegen für den ersten Satz der Figur ›Angst‹, in den weiteren Sätzen ›Freude‹.

[15]Obschon die Übereinstimmungsmetriken heuristischer Natur sind, deuten sie auf insgesamt mangelnde Übereinstimmungen. Um ausgehend von den Annotationen jedoch ein Trainingskorpus für maschinelles Lernen mit möglichst wenigen widersprüchlichen Annotation erstellen zu können, wurden gefilterte Versionen des Korpus nach folgendem Verfahren erstellt: Alle sich überschneidenden Emotionsannotationen (partiell oder gesamt) der beiden Annotator*innen, die nicht der gleichen Klasse entsprechen, wurden entfernt. Das gefilterte Korpus besteht also aus:

  • Allen sich überschneidenden (partiell oder gesamt) Annotationen der gleichen Klasse.
  • Jeder Annotation eines Annotators / einer Annotatorin ohne gegensätzliche Annotation.

[16]Dieser Filter-Prozess führt zu verschiedenen gefilterten Korpora für jede Annotationsgruppe mit der folgenden Anzahl von verbleibenden Annotationen: für Polarität 16.935 (78 % aller Annotationen), für Hauptemotionsklassen 14.425 (67 % aller Annotationen) und für Subemotionen 12.701 (59 % aller Annotationen). Im Folgenden präsentieren wir beispielhaft Endergebnisse für das nach Subemotionen gefilterte Korpus, da auf diesem Hierarchietyp das Hauptaugenmerk unserer Untersuchungen liegt. Zusätzlich wurde das Korpus noch mit nichtannotiertem Material angereichert, das als weitere Klasse in das Schema aufgenommen wird und sich als wichtige diskriminierende Klasse für das maschinelle Lernen herausgestellt hat. Als nichtannotierte Textabschnitte wurden alle Texte definiert, die von keinem / keiner der beiden Annotator*innen eine Annotation erhalten haben, unabhängig von Übereinstimmung. Gehen diese Abschnitte über eine Replik oder Regieanweisung hinaus, werden sie abgetrennt und ergeben zwei Elemente nichtannotierter Abschnitte. Tabelle 3 gibt die Statistiken für nichtannotierte und emotionsannotierte Einheiten für das gefilterte Korpus der Subemotionen wieder.


Gruppe # % # (tokens) % (tokens) tokens max tokens
emotionsannotiert 12.701 52 256.713 58 20,21 387
nichtannotiert 11.901 48 183.534 42 15,42 891
gesamt 24.602 100 440.247 100 17,89 891

Tab. 3: Verteilungsstatistiken von annotiertem und nichtannotiertem Material im gefilterten Korpus.

[17]Insgesamt ergeben sich durch obiges Verfahren 11.901 Annotationen mit nichtannotierten Einheiten. Die Gesamtlänge der nichtannotierten Texteinheiten ist jedoch geringer (im Durchschnitt 15,42 Token) als die der Texteinheiten mit Emotionsannotationen. Durch die Einbeziehung dieses Materials in das gefilterte Korpus erhöht sich die Größe des gefilterten Gesamtkorpus auf 24.602 Annotationen.

[18]Tabelle 4 zeigt nun die Emotionsverteilung im gefilterten Korpus. Die grundsätzlichen Emotionsverteilungen bleiben dabei ähnlich (vgl. Tabelle 1).


Emotion # % # (tokens) % (tokens) tokens max tokens
HK: Emotionen der Zuneigung 3.029 24 58.992 22,98 19,48 326
Lust 117 1 2.751 1,07 23,51 184
Liebe 1.672 13 31.697 12,35 18,96 326
Freundschaft 248 2 4.815 1,88 19,42 132
Verehrung, Bewunderung 992 8 19.729 7,69 19,89 266
HK: Emotionen der Freude und des Glücks 2.039 16 40.523 15,79 19,87 243
Freude 1.729 14 34.020 13,25 19,68 223
Schadenfreude 310 2 6.503 2,53 20,98 243
HK: Emotionen der Angst und Sorge 1.091 9 22.752 8,86 20,85 315
Angst 792 6 12.972 5,05 16,38 131
Verzweiflung 299 2 9.780 3,81 32,71 315
HK: Emotionen der Ablehnung 3.106 24 63.867 24,88 20,56 204
Ärger 1.688 13 31.483 12,26 18,65 143
Abscheu, Wut, Hass 1.418 11 32.384 12,61 22,84 204
HK: Emotionen des Leids und des Mitleids 2.272 18 51.653 20,12 22,73 387
Leid 1.872 15 44.305 17,26 23,67 387
Mitleid 400 3 7.348 2,86 18,37 171
Emotionale Bewegtheit 1.164 9 18.926 7,37 16,26 224
gesamt 12.701 100 256.713 100 20,21 387

Tab. 4: Verteilungsstatistiken von Hauptklassen und Subemotionen im gefilterten Korpus (ohne nichtannotiertes Material). Hauptklassen (HK) gefolgt von den dazugehörigen Subemotionen. Prozentangaben sind gerundet und beziehen sich immer auf das gefilterte Gesamtkorpus ohne nichtannotiertes Material.

5. Quelle und Ziel

[19]Um auch erfassen können, welche Figur es ist, die eine Emotion empfindet und auf wen oder was sich eine Emotion richtet, wurden auch die Quelle (die Figur, die eine annotierte Emotion erlebt) und das Ziel (die Instanz, auf die eine Emotion gerichtet ist) einer Emotionsäußerung annotiert. Wir sprechen hierbei auch von einer mit Quell- / Ziel-Informationen verbundenen Emotion.[14] Der Umfang der annotierten Textstellen war dabei ebenso variabel wie bei der Emotionsannotation. Annotator*innen markierten jede explizite Erwähnung von Quelle und Ziel im annotierten Text. Als explizite Erwähnungen der Quelle respektive des Ziels wurden beispielsweise Namen, Substantive und Personalpronomina, jedoch keine Possesivpronomina annotiert. Im unten stehenden Beispiel (siehe Abbildung 3) wurde als Bezug zur Quelle in der ersten Replik »mir« annotiert, was sich auf Eulalia bezieht. In der zweiten Replik wurden »ich« und »er« als Bezüge zur Quelle markiert.

Abb. 3: Beispiele für die Annotation von verschiedenen Quell- und Zielinformationen aus Kotzebues Menschenhass und Reue, V, 9. [Screenshot aus: CATMA]
Abb. 3: Beispiele für die Annotation von verschiedenen Quell- und Zielinformationen aus Kotzebues Menschenhass und Reue, V, 9. [Screenshot aus: CATMA]

[20]Wurden zu einer Emotionsäußerung mehrere explizite Quell- oder Zielangaben der gleichen Instanz gefunden, so wurden sie über eine CATMA-Funktion alle auf einmal annotiert und über die Timestamps als zusammengehörig identifiziert. In der Auswertung der Annotationen (siehe Tabelle 6 und Tabelle 7) wurden sie jedoch nur als eine Quell- oder Zielinformation pro Emotion gezählt unabhängig der tatsächlichen expliziten Nennungen (siehe Abbildung 4).

Abb. 4:  Replik mit mehreren Quell- und Zielinformationen aus Ayrenhoffs
                        Der Postzug, I, 12. [Screenshot aus: CATMA]
Abb. 4: Replik mit mehreren Quell- und Zielinformationen aus Ayrenhoffs Der Postzug, I, 12. [Screenshot aus: CATMA]

[21]Quelle und Ziel sind jedoch nicht immer explizit ausgedrückt. Sie sind auch nicht immer erkennbar oder vorhanden. In denjenigen Fällen, in denen sie erschlossen werden können, werden sie in Form des Attributs ›implizit‹ als Attribut zur jeweils annotierten Emotion annotiert. In Abbildung 5 findet sich ein Beispiel für eine Textstelle, in der sowohl Ziel als auch Quelle nur implizit erschlossen werden können:

Abb. 5: Replik, in der Quell- und Zielinformationen nur implizit
                        enthalten sind aus Ayrenhoffs Der Postzug, I, 1. [Screenshot aus
                           CATMA]
Abb. 5: Replik, in der Quell- und Zielinformationen nur implizit enthalten sind aus Ayrenhoffs Der Postzug, I, 1. [Screenshot aus CATMA]

[22]In diesem Gespräch zwischen dem Verwalter und der Kammerjungfer Lisette aus Ayrenhoffs satirischer Komödie Der Postzug drücken die beiden Figuren über mehrere Repliken hinweg ihren ›Ärger‹ darüber aus, dass sie anlässlich eines Festes für den Grafen Reitbahn seit Stunden herumgeschickt werden.

[23]Explizite Quellinformationen finden sich dabei nicht, da die Figuren nur die Zustände beschreiben, über die sie sich ärgern. Das Ziel ihres ›Ärgers‹ ist der Bräutigam ihres Fräuleins, der jedoch zunächst nicht erwähnt wird. Stattdessen sprechen sie nur über die Mühen, die sein Kommen verursacht. In der Annotation wurden diese impliziten Informationen zur Quelle bzw. zum Ziel einer Emotionsäußerung als Attribute zu den Emotionsäußerungen selbst hinzugefügt.[15]

[24]Quelle und Ziel bestehen aus den folgenden Untertypen und möglichen Attributen:

[25]Quelle

  • Experiencer: Figuren des Dramas, unpersönlich, unbekannt
  • Zuschreibende Instanz: Figuren des Dramas, der*die implizite Autor*in, unpersönlich, unbekannt

[26]Ziel

  • Charakter: Figuren des Dramas, unpersönlich, unbekannt
  • Nicht-Charakter: Tier, Zustand, Ereignis oder Objekt

[27]Die Figurenangaben basieren auf den GerDracor-IDs oder von uns vorgegebenen IDs (die beispielweise über speaker-Angaben erschlossen wurden) also eindeutige IDs die für jede Replik markieren welche Figur oder Figuren des Dramas diese äußern.[16] Darüber hinaus unterscheiden wir zwischen einer Instanz, die eine Emotion empfindet (Experiencer) und einer Instanz, die einem Experiencer eine Emotion zuschreibt (Zuschreibende Instanz):

[28]›Unbekannt‹ wird zur Kennzeichnung des Verweises auf solche Figuren verwendet, die nicht in der ursprünglichen Figurenliste des Dramas enthalten sind, die die Standardauswahl darstellt, aus der die Annotator*innen auswählen können. Da manche Emotionsäußerungen sich nicht auf Figuren beziehen, sondern eher allgemeine Aussagen sind, wurde eine Kennzeichnung dieser Aussagen als ›unpersönlich‹ vorgenommen. Sie wird dann verwendet, wenn Aussagen mit Allgemeinheitsanspruch verwendet werden. Die Angabe ›impliziter Autor‹ ist zumeist nur bei Regiebemerkungen als Quellinformation für die Zuschreibende Instanz nötig. Beim ›impliziten Autor‹ handelt es sich um ein Konstrukt, das vom Lesenden als ordnende Instanz des literarischen Bedeutungsgeschehens angenommen wird. Es unterscheidet sich vom realen Autor / von der realen Autorin und vom Erzähler / von der Erzählerin dadurch, dass der implizite Autor immer nur eine Vorstellung bleibt, die sich niemals ganz mit dem / der realen Autor*in und dessen / deren Absichten deckt.[17]

[29]Tabelle 5 zeigt Statistiken zur Unterscheidung von impliziten und expliziten Quell- bzw. Ziel-Annotationen im Gesamtkorpus auf. Bei den Verteilungsinformationen ist dabei zu beachten, dass es möglich war, mehrere Figuren oder Konzepte mit einer Annotation zu bestimmen (z. B. »die zwei«). In solchen Fällen wird für jede Figur / jedes Konzept eine Annotation erstellt. Zu den Token-Statistiken ist zu erwähnen, dass in einem solchem Fall für explizite Annotationen immer die Texteinheit der ersten Markierung zur Kalkulation verwendet wurde, um adäquate Interpretationen zu ermöglichen.


Gruppe # % # (tokens) % (tokens) tokens max tokens
Explizit 31.841 68 63.481 19,3 1,99 377
Implizit 14.918 32 265.377 80,7 17,79 439
Gesamt 46.759 100 328.858 100 7,03 439

Tab. 5: Verteilungsstatistiken zu Quell- / Ziel-Annotationen bezüglich expliziter und impliziter Annotation (ungefiltertes Korpus).

[30]Im Verhältnis wurde wesentlich häufiger explizit als implizit annotiert. Dies kann dadurch erklärt werden, dass die Annotationsanweisung die explizite Annotation als präferierte Methode angegeben hat und die implizite Annotation nur gewählt werden sollte, wenn eine explizite Annotation nicht möglich war. Die Token-Statistiken zeigen, dass im Schnitt die meisten expliziten Annotationen aus 1 bis 2 Wörtern bestehen, vor allem Pronomen und Namen. Der Vergleich mit impliziten Annotation ist dabei nicht sinnvoll, die Token-Statistiken basieren hier auf den mit ihnen verbundenen Emotionen und sind hier nur der Vollständigkeit halber mit angegeben.

[31]Tabelle 6 illustriert die Verteilung für Quellen und Ziele und ihre ersten Untergruppen. Tabelle 7 wiederum für die weiteren Unterklassen.


Gruppe # %
HK: Quelle 27.560 59
Experiencer 22.090 80
Zuschreibende Instanz 5.470 20
HK: Ziel 19.199 41
Charakter 14.427 75
Nicht-Charakter 4.772 25

Tab. 6: Verteilungsstatistiken von Quell- und Ziel-Annotationen und Unterklassen im Korpus aller Annotationen (ungefiltertes Korpus). Quelle / Ziel gefolgt von den dazugehörigen Unterklassen. Prozentangaben sind gerundet und beziehen sich auf das Gesamtkorpus.


Oberklasse Unterklasse # %
Experiencer Charakter 20.793 94
impliziter Autor 1 0
unbekannt 437 2
unpersönlich 859 4
Zuschreibende Instanz Charakter 5.045 92
impliziter Autor 311 6
unbekannt 57 1
unpersönlich 57 1
Charakter Charakter 12.875 89
impliziter Autor 0 0
unbekannt 885 6
unpersönlich 667 5
Nicht-Charakter Ereignis 3.221 67
Objekt 374 8
Tier 110 2
Zustand 1.012 21
Mehrere Nicht-Charaktere 55 1

Tab. 7: Verteilungsstatistiken von Quell- / Ziel-Klassen und -Unterklassen im Korpus aller Annotationen (ungefiltertes Korpus). Quelle / Ziel gefolgt von den dazugehörigen Unterklassen. Prozentangaben sind gerundet und beziehen sich auf das Gesamtkorpus.

[32]Das Verhältnis von Quell- zu Zielannotationen ist ca. 59 % zu 41 %. Quellen werden also häufiger ohne Ziel und mit mehr Figurenangaben im Vergleich annotiert. Quellen sind dabei meist Experiencer (80 %). Zielannotationen sind meist Figuren. Tabelle 7 zeigt auf, dass bei Experiencer, Zuschreibender Instanz und Charakter-Annotationen meist Figuren aus dem Drama annotiert wurden (89–94 %). Bei Nicht-Charakteren wurden vor allem Ereignisse (67 %) und Zustände (21 %) annotiert, Objekte (8 %) und Tiere (2 %) eher selten.

[33]Des Weiteren haben wir Verteilungsstatistiken von impliziten und expliziten Annotationen untersucht (Tabelle 8). Wir beschränken die Analyse dabei auf Quelle und Ziel insgesamt und die dazugehörigen Unterklassen da die Verteilungen in den weiteren Unterklassen weitgehend gleichförmig sind.


Gruppe explizit (%) implizit (%)
HK: Quelle 50 78
Experiencer 91 65
Zuschreibende Instanz 9 35
HK: Ziel 50 22
Charakter 74 79
Nicht-Charakter 26 21

Tab. 8: Prozentuale Verteilungen von Quelle / Ziel und Unterklassen im Vergleich von expliziten und impliziten Annotationen. Die Prozentangaben beziehen sich immer auf die Verteilung der jeweiligen expliziten / impliziten Hauptklasse.

[34]Es fällt auf, dass während bei expliziten Angaben das Verhältnis von Quelle zu Zielen relativ gleich ist (50 % zu 50 %), implizite Angaben vor allem für Quellen-Angaben genutzt wurden (78 %). Insgesamt zeigen sich bei Quellen-Angaben auch wesentliche Unterschiede in den Unterklassen. Während explizite Annotationen vor allem Experiencer betreffen, ist das Verhältnis bei impliziten Annotationen ausgeglichener. Zuschreibende Instanzen werden also vor allem implizit annotiert und sind selten explizit im Text identifizierbar.

[35]Bei der Auswertung der Quell- und Ziel-Informationen zeigen sich auch deutliche Unterschiede hinsichtlich der Frage, auf welche Arten von Zielen sich die Emotionen beziehen bezüglich Figuren und Objekten. Hier zeigt sich zum Beispiel, dass ›Leid‹ prozentual häufiger mit Nicht-Charakteren verknüpft ist (57 %) und sich seltener auf Figuren bezieht (42 %). Bei ›Freude‹ verhält es sich ähnlich wie bei ›Leid‹. Daraus lässt sich schließen, dass man über die Auswertung der Zielinformationen der Emotionen auch einen analytischen Zugriff auf die Handlung versuchen sollte. Andere Emotionen richten sich hingegen fast ausschließlich auf Figuren wie etwa ›Liebe‹ (98 % Figurenziele, 2 % Nicht-Charaktere). Ähnlich verhält es sich bei ›Mitleid‹ und ›Ärger‹.

6. Auswertungen der Kategorie ›Gender‹

[36]Um das Potenzial des Korpus zu illustrieren, werden im Folgenden erste Ergebnisse einer Fallstudie zum Zusammenhang von Gender, Emotionen und Quell- / Ziel-Informationen präsentiert. Gender umfasst dabei die Klassen FEMALE (weiblich), MALE (männlich) und UNKNOWN (unbekannt). Bei den annotierten Dramen sind die Gender-Information entweder bereits angegeben (Dramen aus GerDracor), oder sie wurden von uns manuell nachgetragen. Tabelle 9 zeigt die Verteilung von Gender (bzw. Nicht-Charakter-Klassen) pro Subemotionsklasse und Quell- / Ziel-Unterklasse. Im emotionalen Erleben der Figuren zeigen sich dabei deutliche Genderunterschiede.


Kategorie Hass Schadenfreude Freude Angst Mitleid Ärger Verehrung, Bewunderung Leid Liebe Verzweiflung Emotionale Bewegtheit Freundschaft Lust
  % % % % % % % % % % % % %
gesamt FEMALE 30 22 33 37 46 29 31 43 46 51 39 20 42
MALE 67 75 60 60 50 68 63 52 50 48 60 75 50
UNKNOWN 4 3 7 4 4 3 7 6 4 2 1 5 8
Experiencer FEMALE 34 20 34 43 47 30 27 46 40 54 40 20 10
MALE 64 78 59 55 52 69 69 49 58 45 59 77 86
UNKNOWN 2 3 6 3 1 1 5 5 3 1 1 3 3
Zuschreibende Instanz FEMALE 33 31 28 35 44 32 33 40 47 44 41 32 55
MALE 66 68 64 63 56 67 64 54 51 53 58 65 37
UNKNOWN 1 1 8 2 0 1 3 6 2 2 2 3 8
Charakter FEMALE 25 22 34 23 45 26 35 34 53 35 35 18 67
MALE 69 74 59 70 46 68 56 56 41 59 63 75 19
UNKNOWN 6 4 6 7 9 6 9 10 7 6 3 7 13
Nicht-Charakter Ereignis 49 72 68 78 29 55 16 68 21 68 79 0 0
Objekt 28 0 11 6 29 10 19 3 36 5 6 100 100
Tier 3 11 3 1 36 5 49 0 17 0 0 0 0
Zustand 20 17 19 15 7 29 15 28 26 26 15 0 0

Tab. 9: Prozentuale Verteilung der Emotionen und ihrer Quell- bzw. Zielinformationen nach Gender gesamt und pro Subemotionsklasse.

[37]Der prozentuale Anteil an Quell- / Ziel-Zuweisungen ist für weibliche Figuren am höchsten für ›Verzweiflung‹ (51 %), gefolgt von ›Liebe‹ (46 %) und ›Mitleid‹ (46 %). Am geringsten ist er für ›Freundschaft‹ (20 %) und ›Schadenfreude‹ (22 %).

[38]Männliche Figuren haben den höchsten prozentualen Anteil in den Emotionsklassen ›Schadenfreude‹ (75 %) und ›Freundschaft‹ (75 %). Den geringsten Anteil haben sie für die Klasse ›Verzweiflung‹ (48 %). Während der große Anteil von ›Freundschaft‹ nicht überrascht, weil das Korpus einen größeren Anteil von rührenden und sentimentalen Dramen enthält, ist insbesondere der hohe Anteil an ›Schadenfreude‹ bemerkenswert. ›Verzweiflung‹ ist demgegenüber mit Passivität und einem Fehlen von Handlungsoptionen verknüpft, das bei männlichen Figuren vermutlich deswegen so selten ausgedrückt wird, weil es schnell Folgen hat (Tod bzw. Mord). Die größte genderbezogene Diskrepanz zeigt sich im Ausdruck von ›Freundschaft‹ (75 % bei männlichen Figuren vs. 20 % bei weiblichen Figuren) bzw. ›Schadenfreude‹ (75 % bei männlichen Figuren vs. 22 % bei weiblichen Figuren). Die Emotionsprofile sind folglich recht klar gegendert.

[39]Die Quell- und Ziel-Informationen können ebenfalls unabhängig von den Subemotionsklassen nach Geschlecht differenziert werden. Dabei zeigt sich, dass männliche Figuren häufiger Quelle und Ziel von emotionsbezogenen Aussagen als weibliche Figuren (59 % vs. 36 %) sind.

7. Schlussbemerkung

[40]Die Anwendungsbereiche unseres Korpus sind vielfältig: Wir haben mit einem vorläufigen Teilkorpus bereits eine eingehende Annotationsanalyse durchgeführt, die die Entwicklung von Emotionen in verschiedenen Dramen untersucht.[18] Die Hauptanwendung ist die Nutzung für maschinelle Lernaufgaben, um Algorithmen zur Emotionsklassifizierung zu entwickeln,[19] die wir zur Erforschung von Genreunterschieden[20] oder von Unterschieden in der Emotionsgestaltung in Regieanweisungen und Dialogtexten verwendet haben.[21] Wir beabsichtigen, die verschiedenen Korpora und zusätzliche Daten für die Forschungsgemeinschaft als csv/json-Dateien mit Metadaten zu veröffentlichen.[22]


Fußnoten


Bibliografie

  • Cecilia Ovesdotter Alm / Richard Sproat: Emotional Sequencing and Development in Fairy Tales. In: Jianhua Tao / Tieniu Tan / Rosalind W. Picard (Hg.): Affective Computing and Intelligent Interaction (= Lecture Notes in Computer Science, 3784). (ACII 1, Beijing, 22.–24.10.2005) Berlin u. a. 2005, S. 668–674. DOI: 10.1007/11573548_86 [Nachweis im GVK]

  • Antje Arnold: Rhetorik der Empfindsamkeit. Unterhaltungskunst im 17. und 18. Jahrhundert (= Quellen und Forschungen zur Literatur- und Kulturgeschichte, 73). Berlin u. a. 2012. DOI: 10.1515/9783110276053 [Nachweis im GVK]

  • Steven Bird / Ewan Klein / Edward Loper: Natural Language Processing with Python. Analyzing Text with the Natural Language Toolkit. Beijing u. a. 2009. [Nachweis im GVK]

  • Katrin Dennerlein / Thomas Schmidt / Christian Wolff (2022a): Figurenemotionen in deutschsprachigen Dramen annotieren. Annotationsrichtlinien. Version 2 vom 22.02.2022. PDF. DOI: 10.5281/zenodo.6228151

  • Katrin Dennerlein / Thomas Schmidt / Christian Wolff (2022b): Emotionen im kulturellen Gedächtnis bewahren. In: Michaela Geierhos / Peer Trilcke / Ingo Börner / Sabine Seifert / Anna Busch / Patrick Helling (Hg.): DHd2022. Kulturen des digitalen Gedächtnisses. (DHd 8, Potsdam, 7.–11.03.2022) Potsdam 2022, S. 93–98. DOI: 10.5281/zenodo.6327957

  • Katrin Dennerlein / Thomas Schmidt / Christian Wolff (2022c): Emotion Courses in German Historical Tragedies and Comedies. In: DH2022 Local Organizing Committee (Hg.): Responding to Asian Diversity. Digital Humanities 2022 Conference Abstracts. (DH2022, Tokyo, 25.–29.07.2022) Tokyo 2022, S. 193–197. PDF. [online]

  • Katrin Dennerlein / Thomas Schmidt / Christian Wolff: Computational Emotion Classification for Genre Corpora of German Tragedies and Comedies from 17th to Early 19th Century. In: Digital Scholarship in the Humanities 38 (2023), H. 4. DOI: 10.1093/llc/fqad046

  • Katrin Dennerlein / Christian Wolff: Emotions in Drama. In: Chair for Computer Philology and History of Contemporary German Literature (Hg.): Computational Literary Studies. Letzter Zugriff: 23.10.2023. HTML. [online]

  • Katrin Dennerlein / Thomas Schmidt / Christian Wolff: Emotions in Stage Directions in German Drama of the Early Modern Period: Explorations via Computational Emotion Classification. In: Melanie Andresen / Nils Reiter (Hg.): Computational Drama Analysis. Reflecting Methods and Interpretation. Berlin u. a. im Erscheinen, S. 166–194.

  • Evelyn Gius / Jan Christoph Meister / Marco Petris / Malte Meister / Christian Bruck / Janina Jacke / Mareike Schumacher / Marie Flüh / Jan Horstmann: CATMA. Version 6.1.0 vom 11.11.2020. Zenodo. DOI: 10.5281/zenodo.4353618

  • Hartmut Grimm: Affekt. In: Karlheinz Barck / Martin Fontius / Dieter Schlenstedt / Burkhart Steinwachs / Friedrich Wolfzettel (Hg.): Ästhetische Grundbegriffe. Historisches Wörterbuch in Sieben Bänden. Stuttgart u. a. 2000–2005. Bd. 1 (2000): Absenz–Darstellung, S. 16–49. [Nachweis im GVK]

  • Beate Kellner: Affektenlehre. In: Georg Braungart / Harald Fricke / Klaus Grubmüller / Jan-Dirk Müller / Friedrich Vollhardt / Klaus Weimar (Hg.): Reallexikon der deutschen Literaturwissenschaft. 3 Bde. Berlin u. a. 2007. Bd. 1: A–G, S. 23–25. [Nachweis im GVK]

  • Evgeny Kim / Roman Klinger: Who Feels What and Why? Annotation of a Literature Corpus with Semantic Roles of Emotions. In: Emily M. Bender / Leon Derczynski / Pierre Isabelle (Hg.): Proceedings of the 27th International Conference on Computational Linguistics. (COLING 27, Santa Fe, 20.–26.08.2018) Stroudsburg 2018, S. 1345–1359. [online]

  • Evgeny Kim / Roman Klinger: A Survey on Sentiment and Emotion Analysis for Computational Literary Studies. In: Zeitschrift für digitale Geisteswissenschaften 4 (2019). 16.12.2019. Version 2.0 vom 23.07.2021. DOI: 10.17175/2019_008_v2

  • J. Richard Landis / Gary G. Koch: The Measurement of Observer Agreement for Categorical Data. In: Biometrics 33 (1977), H. 1, S. 159–174. März 1977. DOI: 10.2307/2529310 [Nachweis im GVK]

  • Mika V. Mäntylä / Daniel Graziotin / Miikka Kuutila: The Evolution of Sentiment Analysis. A Review of Research Topics, Venues, and Top Cited Papers. In: Computer Science Review 27 (2018), S. 16–32. DOI: 10.1016/j.cosrev.2017.10.002 [Nachweis im GVK]

  • Saif Mohammad: From Once Upon a Time to Happily Ever After. Tracking Emotions in Novels and Fairy Tales. In: Association for Computational Linguistics (Hg.): Proceedings of the 5th ACL-HLT Workshop on Language Technology for Cultural Heritage, Social Sciences, and Humanities. (LaTeCH 5, Portland, US-OR 24.06.2011) Portland, US-OR 2011, S. 105–114. PDF. [online]

  • Eric T. Nalisnick / Henry S. Baird: Character-to-Character Sentiment Analysis in Shakespeare’s Plays. In: Association for Computational Linguistics (Hg.): Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics. 2 Bde. (ACL 51, Sofia, 04.–09.08.2013) Stroudsburg 2013. Bd. 2: Short Papers, S. 479–483. PDF. [online]

  • Andrea Polaschegg: Autor. In: Gerhard Lauer / Christine Ruhrberg (Hg.): Lexikon Literaturwissenschaft. Hundert Grundbegriffe. Stuttgart 2011, S. 35–39. [Nachweis im GVK]

  • Andrew J. Reagan / Lewis Mitchell / Dilan Kiley / Christopher M. Danforth / Peter Sheridan Dodds: The Emotional Arcs of Stories Are Dominated by Six Basic Shapes. In: EPJ Data Science 5 (2016), Artikel 31, S. 31-41. 04.11.2016. DOI: 10.1140/epjds/s13688-016-0093-1

  • Thomas Schmidt / Manuel Burghardt: An Evaluation of Lexicon-based Sentiment Analysis Techniques for the Plays of Gotthold Ephraim Lessing. In: Association for Computational Linguistics (Hg.): Proceedings of the Second Joint SIGHUM Workshop on Computational Linguistics for Cultural Heritage, Social Sciences, Humanities and Literature. (LaTeCH, Santa Fe, 20.–26.08.2018) Santa Fe 2018, S. 139–149. [online]

  • Thomas Schmidt / Manuel Burghardt / Katrin Dennerlein: Sentiment Annotation of Historic German Plays. An Empirical Study on Annotation Behavior. In: Sandra Kübler / Heike Zinsmeister (Hg.): Proceedings of the Workshop on Annotation in Digital Humanities 2018 (AnnDH, Sofia 6.–10.08.2018). Sofia 2018, S. 47–52. PDF. [online]

  • Thomas Schmidt / Manuel Burghardt / Katrin Dennerlein / Christian Wolff: Sentiment Annotation for Lessing’s Plays. Towards a Language Resource for Sentiment Analysis on German Literary Texts. In: Thierry Declerck / John Philip McCrae (Hg.): Proceedings of the Poster Session of the 2nd Conference on Language, Data and Knowledge. (LDK-PS 2, Leipzig, 20.–23.05.2019) Aachen 2019, S. 45–50. PDF. [online]

  • Thomas Schmidt / Katrin Dennerlein / Christian Wolff (2021a): Using Deep Learning for Emotion Analysis of 18th and 19th Century German Plays. In: Manuel Burghardt / Lisa Dieckmann / Timo Steyer / Peer Trilcke / Niels-Oliver Walkowski / Joëlle Weis / Ulrike Wuttke (Hg.): Fabrikation von Erkenntnis: Experimente in den Digital Humanities. Teilband 1. Esch-sur-Alzette 2021. DOI: 10.26298/melusina.8f8w-y749-udlf

  • Thomas Schmidt / Katrin Dennerlein / Christian Wolff (2021b): Emotion Classification in German Plays with Transformer-based Language Models Pretrained on Historical and Contemporary Language. In: Associaton for Computational Linguistics (Hg.): Proceedings of the 5th Joint SIGHUM Workshop on Computational Linguistics for Cultural Heritage, Social Sciences, Humanities and Literature. (SIGHUM 5, Punta Cana, DO 11.–07.11.2021) Punta Cana, DO 2021, S. 67–79. DOI: 10.18653/v1/2021.latechclfl-1.8

  • Thomas Schmidt / Katrin Dennerlein / Christian Wolff (2021c): Towards a Corpus of Historical German Plays with Emotion Annotations. In: Dagmar Gromann / Gilles Sérasset / Thierry Declerck / John P. McCrae / Jorge Gracia / Julia Bosque-Gil / Fernando Bobillo / Barbara Heinisch (Hg.): 3rd Conference on Language, Data and Knowledge (= Open Access Series in Informatics, 93). (LDK 2021: Zaragoza, 01.–03.09.2021). Wadern 30.08.2021. PDF. DOI: 10.4230/OASIcs.LDK.2021.9

  • Thomas Schmidt / Katrin Dennerlein / Christian Wolff: Evaluation computergestützter Verfahren der Emotionsklassifikation für deutschsprachige Dramen um 1800. In: Michaela Geierhos / Peer Trilcke / Ingo Börner / Sabine Seifert / Anna Busch / Patrick Helling (Hg.): DHd2022. Kulturen des digitalen Gedächtnisses. (DHd 8, Potsdam, 7.–11.03.2022) Potsdam 2022, S. 93–98. DOI: 10.5281/zenodo.6328169

  • Thomas Schmidt / Katrin Dennerlein / Christian Wolff: Emotions in Drama. In: GitHub. 03.07.2023. Datenset. [online]

  • Anja Schonlau: Emotionen im Dramentext. Eine methodische Grundlegung mit exemplarischer Analyse zu Neid und Intrige 1750–1800. Berlin u. a. 2017. DOI: 10.1515/9783110538120 [Nachweis im GVK]

  • Rachele Sprugnoli / Sara Tonelli / Alessandro Marchetti / Giovanni Moretti: Towards Sentiment Analysis for Historical Texts. In: Digital Scholarship in the Humanities 31 (2016), H. 4, S. 762–772. 29.07.2015. DOI: 10.1093/llc/fqv027



    Abbildungs- und Tabellenverzeichnis

  • Tab. 1: Verteilungsstatistiken von Hauptklassen und Subemotionen im Korpus aller Annotationen (ungefiltertes Korpus). Hauptklassen (HK) gefolgt von den dazugehörigen Subemotionen. Prozentangaben sind gerundet und beziehen sich immer auf das Gesamtkorpus.
  • Abb. 1: Beispiel für überlappende Emotionsannotationen aus Gellerts Die zärtlichen Schwestern, II, 3. [Screenshot aus: CATMA]
  • Tab. 2: Inter-rater-agreement-Statistiken für alle Dramen sowie im Durchschnitt absteigend geordnet.
  • Abb. 2: Beispiel für gegensätzliche Annotationen zwischen zwei Annotator*innen in Gryphius Catharina von Georgien, I. [Screenshot aus: CATMA]
  • Tab. 3: Verteilungsstatistiken von annotiertem und nichtannotiertem Material im gefilterten Korpus.
  • Tab. 4: Verteilungsstatistiken von Hauptklassen und Subemotionen im gefilterten Korpus (ohne nichtannotiertes Material). Hauptklassen (HK) gefolgt von den dazugehörigen Subemotionen. Prozentangaben sind gerundet und beziehen sich immer auf das gefilterte Gesamtkorpus ohne nichtannotiertes Material.
  • Abb. 3: Beispiele für die Annotation von verschiedenen Quell- und Zielinformationen aus Kotzebues Menschenhass und Reue, V, 9. [Screenshot aus: CATMA]
  • Abb. 4: Replik mit mehreren Quell- und Zielinformationen aus Ayrenhoffs Der Postzug, I, 12. [Screenshot aus: CATMA]
  • Abb. 5: Replik, in der Quell- und Zielinformationen nur implizit enthalten sind aus Ayrenhoffs Der Postzug, I, 1. [Screenshot aus CATMA]
  • Tab. 5: Verteilungsstatistiken zu Quell- / Ziel-Annotationen bezüglich expliziter und impliziter Annotation (ungefiltertes Korpus).
  • Tab. 6: Verteilungsstatistiken von Quell- und Ziel-Annotationen und Unterklassen im Korpus aller Annotationen (ungefiltertes Korpus). Quelle / Ziel gefolgt von den dazugehörigen Unterklassen. Prozentangaben sind gerundet und beziehen sich auf das Gesamtkorpus.
  • Tab. 7: Verteilungsstatistiken von Quell- / Ziel-Klassen und -Unterklassen im Korpus aller Annotationen (ungefiltertes Korpus). Quelle / Ziel gefolgt von den dazugehörigen Unterklassen. Prozentangaben sind gerundet und beziehen sich auf das Gesamtkorpus.
  • Tab. 8: Prozentuale Verteilungen von Quelle / Ziel und Unterklassen im Vergleich von expliziten und impliziten Annotationen. Die Prozentangaben beziehen sich immer auf die Verteilung der jeweiligen expliziten / impliziten Hauptklasse.
  • Tab. 9: Prozentuale Verteilung der Emotionen und ihrer Quell- bzw. Zielinformationen nach Gender gesamt und pro Subemotionsklasse.