2.1 Segmentierung in der Linguistik

[5]Das älteste Segmentierungsverfahren ist nach dem Artikel von Wolf Thümmel im Metzler Lexikon Sprache [7] die Schrift, da im Prozess der Verschriftung das Lautkontinuum der mündlichen Sprache notwendigerweise in diskrete Einheiten zerlegt und so der Kategorisierung und Reflexion zugänglich gemacht wird. Auch Schriften und Texte können verschiedene Stufen von Segmentierung durchlaufen: Das moderne Schrift- und Layoutbild mitteleuropäischer Schrift- und Textzeugen z. B. entwickelt sich erst im Mittelalter nach einer Phase der Scriptio Continua ohne Segmentierung der Wort- und Texteinheiten. Segmentierung nennt man in der Linguistik die Zerlegung komplexer Einheiten in ihre Elemente zum Zweck ihrer Klassifikation. Es geht also darum, in der chaine parlée[8] Einheiten voneinander abzugrenzen und kategorial zu bestimmen, z. B. einen Laut (Phon) einer Lautklasse (Phonem) zuzuordnen. Segmentierung hat sich im Paradigma der strukturalistischen Sprachbeschreibung zu einem Standardverfahren entwickelt, das traditionellerweise auf die linguistischen Einheiten unterhalb der Satzebene angewendet wird: Phonem (Lautklasse), Morphem, Wort und Phrase. Auch außerhalb der Linguistik bekannte Segmentierungsverfahren sind beispielsweise die im Schulunterricht eingeübten Praktiken zur Erkennung von Satzgliedern wie die Umstell- und Ersetzungsprobe.

[24]Seit die Linguistik sich der Einheit Text zugewandt hat, werden Segmentierungsverfahren auch oberhalb der Satzebene, etwa zur Erkennung von Layout- und Textstrukturen oberhalb des Satzes, also Absätzen, Kapiteln etc., angewendet. Solche Verfahren der Textsegmentierung spielen insbesondere bei der Arbeit mit digitalen Korpora eine große Rolle. In der digitalen Linguistik bezeichnet man Segmentierungsverfahren auf Wort- und Satzebene als Tokenisierung. Das beinhaltet die Identifikation von Satzgrenzen (Satztokenisierung oder sentence splitting) und die Bestimmung von Datumsangaben (z. B. 9. Nov. 1989) und sogenannten Alphabetismen (z. B. U.S.A.) ebenso wie die Tokenisierung der Einheiten auf der Ebene des Wortes (z. B. die Identifikation von einfachen Lexemen wie Haus sowie von Komposita wie Hausboot oder Vitamin-B-haltig als Tokens). Segmentierungsentscheidungen im Sinne der Tokenisierung werden zumeist in unmittelbarer Abhängigkeit der Identifizierbarkeit von Zeichenketten als Einheiten implementiert. So wird als einfachste Annahme beispielsweise das Leerzeichen als Tokengrenze angenommen und durch das verbundene Auftreten von Interpunktionszeichen als Tokengrenze ergänzt. Ein Komma oder Punkt am Ende einer Sequenz alphabetischer Zeichen, die ein linguistisches Wort konstituieren, sind also ebenso wie ein Leerzeichen als Tokenisierungsgrenze definiert. Ausnahmen zu dieser Regel, wie im Falle von Abkürzungswörtern, Titeln, wie Dr., oder Alphabetismen, wie R.E.M., werden anhand von Regelerweiterungen definiert. Computationell implementiert werden Tokenisierungsalgorithmen beispielsweise auf der Grundlage sogenannter regulärer Ausdrücke und durch Regeln für spezifische Anwendungsszenarien ergänzt. Ein Beispiel hierfür ist die Tokenisierung von Diskursen mit Elementen konzeptioneller Mündlichkeit, wie Social-Media-Kommunikate (z. B. Bildungen aus Vollverb + Personalpronomen wie schreibste und sogenannter Aktionswörter wie *grins* oder beidirseinwill sowie Bildungen mit Sonderzeichen als Wortbestandteil, wie Formen mit Hashtags #Urlaub oder E-Mail-Adressen und URLs). Die automatische Implementierung solcher Tokenisierungsalgorithmen wird häufig in regelbasierten Tokensierungsprozessen eingesetzt und durch Verfahren des maschinellen Lernens ergänzt und kann im Fall einer sehr guten Passung zwischen Modell bzw. Trainingsdaten und der Komplexität der zu tokenisierenden Daten hohe Genauigkeiten von über 99 % (F1 score) erreichen,[9] bei schlechterer Passung aber auch deutlich darunter liegen. Der Prozess der Tokenisierung steht in direkter Abhängigkeit zu den Eigenschaften der zu tokenisierenden Textdaten sowie der Qualität bzw. der Passung der Modellierung des Tokenisierungsprozesses.[10]

2.2 Segmentierung in der Literaturwissenschaft

[25]In der literaturwissenschaftlichen Textanalyse geht es zumeist um wesentlich größere Texteinheiten als in der Linguistik. In der Analyse von Erzähltexten umfasst eine Einheit typischerweise sogar den ganzen Text, wobei nicht selten eine ganze Reihe von Texten im Fokus steht, etwa das Gesamtwerk eine:r Autor:in oder eine Sammlung zumeist als exemplarisch geltender Texte z. B. einer Strömung oder Gattung. Wenn auch im Einzelfall durchaus Kapitel und ähnliche strukturelle Einheiten in Analysen mit einbezogen werden, gibt es kaum konventionalisierte Unterteilungen von Texten, die in Analysen normalerweise genutzt werden.

[26]Das wird bei der Betrachtung von literaturwissenschaftlichen Grundlagenwerken offensichtlich. So findet sich im Handbuch Literaturwissenschaft mit seinen drei Bänden zu Gegenständen und Grundbegriffen (Band 1), Methoden und Theorien (Band 2) und Institutionen und Praxisfeldern (Band 3) nichts zu Segmentierung als Verfahren oder zu Segmenten als Texteinheiten.[11] Zwar wird in den Bänden 1 und 2 auf Segmentierung im Kontext von Dramen und von Lyrik eingegangen und es werden jeweils typische Segmente genannt.[12] Dies geschieht aber ohne Explizierung des Konzepts bzw. des Verfahrens. Für Erzähltexte hingegen werden die in der Analyse genutzten Segmente erst gar nicht bestimmt, allerdings wird zumindest implizit Text als aus Segmenten zusammengesetzt dargestellt. Außerdem klingt, wie auch bei der Beschreibung lyrischer Texte, eine semantische Segmentierung – etwa nach Handlung oder Figuren – an, die jedoch nicht systematisch in Bezug auf das Segmentieren der Texte beschrieben wird.[13] Dieser geringen Relevanz von Segmenten und Segmentierung in der Literaturwissenschaft entspricht auch, dass sich im Standardnachschlagewerk der germanistischen Literaturwissenschaft, dem Reallexikon der deutschen Literaturwissenschaft [14], kein eigener Eintrag dazu findet. In Bezug auf Prosatexte – und zum Teil auch auf alle Texte – ist der literaturwissenschaftliche Zugang zu Text also insofern vorwiegend ein holistischer, als er keine allgemein akzeptierte Segmentierung kennt.

[27]Für die Automatisierung im Bereich der computationellen Literaturwissenschaft ist die fehlende Segmentierung von Prosatexten problematisch. Anders als in den meisten linguistischen Fragestellungen kann hier nicht auf standardisierte Segmente zurückgegriffen werden, dabei basieren viele Verfahren auf Segmenten. Sei es bei der Bestimmung von Autor:innenschaft, bei der Berechnung von als eine Art thematische Struktur aufgefassten Topics, bei Sentiment-Analysen oder bei Verfahren zur Bestimmung semantischer Ähnlichkeiten, wie sie in der distributionellen Semantik gerade populär sind: Die Verfahren basieren in verschiedenem Umfang auf einer Unterteilung der Texte in kleinere Einheiten. Dabei segmentieren sie je nachdem, ob sie dem Paradigma der Suche in oder der abstrakten Repräsentation von Texten verpflichtet sind, auf ganz unterschiedlichen Ebenen. Für Verfahren wie die Sentiment-Analyse ist zu vermuten, dass eine literaturwissenschaftliche Bestimmung der genutzten Einheiten – etwa als figurenbezogene Segmente oder eine Segmentierung der Handlung – zu einer wesentlichen Verbesserung der Verfahren führen würde. Andere Verfahren nehmen zwar bereits behelfsmäßig eine Unterteilung der Texte in Segmente gleichen Wortumfangs vor, können damit aber wahrscheinlich nicht ihre vollen Möglichkeiten ausschöpfen. Das betrifft etwa das Topic Modeling, welches insbesondere für auch in ihrer Struktur vergleichbare Texte bzw. Texteinheiten entworfen wurde. Da bislang mit von der Wortzahl bestimmten Segmenten gearbeitet wird, wird die Textstruktur nicht berücksichtigt.

3.1 Segmentierung von Layout und Textstruktur

[28]Neben der inhaltsbezogenen Bildrecherche,[15] die auf u. a. Segmentierungsverfahren aufsetzt, ist die Segmentierung von Layoutelementen und entsprechenden Textstrukturen für Texterkennungsverfahren wie Optical Character Recognition (OCR) und Handwriting Recognition (HWR) bzw. Handwritten Text Recognition (HTR) von zentraler Bedeutung. Darüber hinaus erlaubt eine solche Segmentierung jedoch auch die Analyse von Schreibprozessen[16] und gibt neue Einsichten in Textüberlieferungsprozesse auch sehr komplexer Natur.[17] Die mathematischen und informatisch-methodischen Grundlagen der verschiedenen Verfahren beschreibt Rainer Herzog.[18] Aus dieser Perspektive ist die Segmentierung von Texteinheiten auf der Bildoberfläche eine seit langem erkannte Herausforderung, die intensiv erforscht wird. Die Analyse von modernen oder historischen Drucken sowie von Handschriften aller Art bringt dabei aufgrund der Beschaffenheit und des Erhaltungszustands unterschiedliche Anforderungen mit sich.

[29]Das Beispiel der als so ›kontaminiert‹ geltenden Überlieferung der Aristoteles-Schrift de interpretatione, dass sie in vertretbarer bzw. verfügbarer Zeit eines Forscher:innenlebens nicht entschlüsselt werden könne,[19] soll zeigen, wie eine Segmentierung von Layout- und Textstrukturen in Grundtext und Paratexte neue Einsichten in die Überlieferungs- und Rezeptionsgeschichte geben kann. Dabei werden sowohl Veränderungen der Texteinheiten und ihrer Layoutgestalt(ung) als äußerer Transfer (materielles Resultat) wie auch die sich daraus ergebende Veränderung der Konstitution des Grundtexts als innerer Transfer (epistemischer Prozess) in den Blick genommen, denn beides gehört untrennbar zusammen. Segmentierung erlaubt also Analyse textueller Dynamiken an der Oberfläche (Layout) sowie in der Tiefe (Textverständnis).

[30]Solche Segmentierungsfragen an Texte bzw. Textüberlieferungen sind im Zuge des Material Turns in den Blick geraten,[20] erfahren vor allem aber auch durch digitale Möglichkeiten weitere Aufmerksamkeit. Zum einen lassen sich Segmente umfangreicher Überlieferungen (semi-)automatisch bestimmen, zum anderen solche Segmente und ihre Schichtungen dann anschaulich visualisieren. Darüber hinaus eröffnet gerade ein gemischter Ansatz von automatischer (Vor-)Segmentierung und intellektueller (Tiefen-)Annotation sowie quantitativer und qualitativer Verfahren bessere Analysemöglichkeiten, wie unsere Arbeiten im Infrastruktur- sowie im Gastprojekt des SFB 980 ›Episteme in Bewegung‹ zeigen konnten.[21] Die strukturelle und materielle Organisation der Wissensbestände in de interpretatione verändert sich im Laufe der Überlieferungsgeschichte beständig: Verschiedenste Arten und Formen von Interlinear- oder Marginal-Glossen, Scholien, Diagrammen und Kommentaren können in gleicher, ähnlicher oder stark veränderter Form bis hin zur Aufnahme in den Grundtext in eine neu entstehende Abschrift aufgenommen werden. Die Segmentierung dieser Einheiten und ihre eindeutige Kategorisierung führt dazu, dass Versionen dieser Einheiten vergleichbar gemacht und damit Kontaminationen aufgespürt werden können.[22]

[31]Auch im Bereich der materiellen Textoberfläche wirken also digitale Modellierungen auf Forschungsfragen und Forschungsergebnisse zurück, indem in einem ersten Schritt der Segmentierung relevante Eigenschaften der Forschungsgegenstände kategorisiert und festgehalten werden. Idealerweise geschieht dies in einem Aushandlungsprozess zwischen Text- und Informationswissenschaftler:innen, damit die gemeinsame Arbeit am Modell zu Erkenntnisfortschritt am Gegenstand und zu Interoperabilität der Kategorien führt.

3.2 Segmentierung jenseits der Textoberfläche: Mehrwortausdrücke

[32]Segmentierung kann verschiedene Formen und Rollen im analytischen Workflow annehmen. Neben ihrer Rolle als Teil der Vorverarbeitung von Korpora spielt die Segmentierung auch als Teil der Heuristik zur Identifikation und Extraktion lexikalischer Mehrwortausdrücke (MWA) eine zentrale Rolle. In diesem Abschnitt soll am Beispiel der Identifikation und Extraktion lexikalischer Mehrwortausdrücke in Korpora, hier anhand von Kollokationen, gezeigt werden, auf welchen Segmentierungen der Prozess beruht und wie diese das Extraktionsergebnis beeinflussen. Die Herausforderung ist im Falle solcher MWA, dass sie keine feste identifizierbare Oberflächenform aufweisen, also keinem festen Muster folgen, sondern neben kontinuierlichen, ununterbrochenen Wortfolgen, wie z. B. Kollokationen zwischen prädikativem Adjektiv und Substantiv (wie blondes Haar) auch diskontinuierliche MWA, wie z. B. Kollokationen zwischen Prädikatsverb und Substantiv in der Nominalphrase (wie ein Verbrechen begehen – jemand begeht schreckliche Verbrechen) umfassen.

[33]Segmentierungsentscheidungen beruhen auf möglichst gut beschriebenen Merkmalen zur Identifikation der zu segmentierenden Einheiten an der sprachlichen Oberfläche. Typischerweise werden entsprechende Entscheidungskriterien in Segmentierungs- und Annotationsrichtlinien festgehalten sowie bei automatischen Verfahren in entsprechenden Segmentierungsalgorithmen implementiert. Dabei kommt es auf eine Balance zwischen der Treffsicherheit und Zuverlässigkeit der Segmentierung, der möglichst exhaustiven Identifikation der zu untersuchenden linguistischen Einheiten und der Implementierungs- bzw. Anwendungsanforderungen an. Das heißt, dass sich unter Umständen nicht alle aus linguistischer Perspektive interessanten Einheiten mit der angestrebten Zuverlässigkeit in Form manuell oder automatisch anwendbarer Segmentierungsanweisungen umsetzen lassen. Entscheidend sind hierfür eine Reihe von Faktoren, denen es systematisch beizukommen gilt. Auf der ersten Ebene geht es um die eineindeutige Beschreibung der Merkmale in Form von Segmentierungsrichtlinien. Diese müssen auf der nächsten Ebene entweder manuell von menschlichen Segmentierer:innen möglichst gut verstanden und so bei der Segmentierung befolgt und bei automatisierten Verfahren in Form von Regeln implementiert werden. Grundvoraussetzung ist im Fall der manuellen Anwendung der Segmentierung ein intellektuelles Verstehen der Eigenschaften der zu segmentierenden sprachlichen Einheiten im Sinne ihrer diskreten Identifikation in den Daten. Dieser Prozess beinhaltet als elementaren Bestandteil eine Beschreibung der Merkmale, an denen diskrete Segmentierungseinheiten an der Oberfläche der Daten identifizierbar sind. Eine solche Modellierung von Segmentierungseinheiten und deren Kennzeichen an der sprachlichen Oberfläche ist elementar für die algorithmische Implementierung der Segmentierung. Die relative Einfachheit der Identifikation von Segmentierungsmerkmalen an der Oberfläche ist zugleich die größte Stärke und Schwäche des Verfahrens, denn zuverlässig lassen sich so zunächst am besten solche Segmentierungsentscheidungen modellieren, die sich anhand oberflächenstruktureller Merkmale möglichst eineindeutig, z. B. anhand regulärer Ausdrücke, abbilden lassen. Anhand solcher Verfahren gut zu modellierende Segmentierungen sind Wortgrenzen auf der Basis von Leerzeichen und Interpunktionszeichen sowie regelkonforme Sätze.

[34]Korpora mit auf diese Weise vorgenommenen Segmentierungen, wie die Tokenisierung auf Wortebene sowie die Satztokenisierung, bilden die Grundlage für die linguistische Kategorisierung durch Verfahren wie die automatische Wortartenannotation (Part-of-Speech-Tagging). Das Part-of-Speech-Tagging ist so eng mit der Tokenisierung auf Wort-und Satzebene verwoben und von der Tokenisierungsqualität abhängig, dass beide Prozesse in der Regel in einem Workflow miteinander verbunden sind. So implementieren gängige Part-of-Speech-Tagger, wie der Stanford Log-Linear Part-of-Speech Tagger[23] und der TreeTagger[24] eigene Tokenisierungsprozesse, die dem Part-of-Speech-Tagging innerhalb des Workflows vorgeschaltet werden. Es handelt sich bei der Tokenisierung also um Vorverarbeitungsschritte, die Voraussetzung und Grundlage für automatische Annotationsprozesse, wie das Part-of-Speech-Tagging, sind. Die meisten aktuellen Part-of-Speech-Tagger bringen eine eigene Implementierung der Tokenisierung mit, da die Modellierung der Wortartenannotation eine spezifische Tokenisierung voraussetzt und eine gute Tokenisierung auch entscheidenden Einfluß auf die Qualität der Wortartenannotation hat.

[35]Doch Segmente als Grundlage linguistischer Analysen konstituieren sich im Prozess der Analyse auch auf andere Weise, nämlich dann, wenn die zu untersuchenden linguistischen Phänomene zwar auf tokenisierten Elementen beruhen, sich jedoch darüber hinaus strukturell auf weiteren Ebenen der linguistischen Organisation konstituieren. Ein Beispiel hierfür sind Kollokationen und andere komplexe lexikalische Gruppen, die sich aus zwei oder mehr kontinuierlichen oder diskontinuierlichen lexikalischen Einheiten konstituieren. Die folgenden Beispiele sollen dies illustrieren:

[40]Lexikalische Mehrwortausdrücke sind phraseologisch also als relativ feste Kombinationen im Inventar der Sprache etabliert. Manche davon sprichwörtlich und relativ unveränderlich (›Der Spatz in der Hand ist besser als die Taube auf dem Dach‹), die meisten aber – wie die hier adressierten Beispiele – flexibler im Rahmen des Sprachsystems. Ihr habituelles kombiniertes Auftreten, das J. R. Firth mit dem DiKtum »You shall know a word by the company it keeps«[25] beschreibt – hat in der Forschung der vergangenen Jahrzehnte, vor allem aber seit der Einführung digitaler Daten und Verfahren in der Linguistik eine Reihe von Ansätzen mit dem Ziel hervorgebracht, relevante und reproduzierbare Ergebnismengen lexikalischer Mehrwortausdrücke aus Korpora zu extrahieren. Dies geschieht üblicherweise auf der Grundlage statistischer Verfahren, wie zum Beispiel anhand von Assoziationsmaßen, unter denen Log-Likelihood-Ratio, t-Score, der Dice-Koeffizient und Mutual Information Score (MI) zu den am häufigsten verwendeten zählen.[26] Neben der relativ etablierten Kookkurrenz von zwei oder mehr Konstituenten der lexikalischen Ebene weisen lexikalische Mehrwortausdrücke aber auch ein gewisses Maß an Flexibilität bezüglich struktureller Permutationen im Rahmen der regulären Grammatik auf, können also je nach Kontext modifiziert und anhand der Regeln der Grammatik verändert und umgestellt werden (siehe Beispiel zu Kollokationen in Tabelle 2). Kollokationen sind zudem häufig zu einem gewissen Grad semantisch transparent, ihre Bedeutung lässt sich also vollständig oder teilweise aus den Einzelbedeutungen ihrer Konstituenten ableiten.

[41]Im Folgenden soll am Beispiel der Extraktion von Kollokationen im Firth’schen Sinne[27] habitueller Kookkurrenzen lexikalischeblor Einheiten – also des wiederkehrenden gemeinsamen Auftretens als Wortverbindungen – und einer um syntaktische Relationen erweiterten Definition diskutiert werden, welchen Einfluss die Segmentierung im Sinne von Tokenisierung und Satzsegmentierung auf die Extraktion von Kollokationen aus Korpora anhand statistischer Assoziationsmaße hat und wie die Veränderung von Parametern mit Bezug auf den Suchraum – die gleichfalls eine Form der Segmentierung darstellt –, die Ergebnismenge bei der Identifikation von Kollokationen beeinflusst. Anhand dieses Beispiels lässt sich zeigen, dass die Operationalisierung einer bereits in prä-computationaler Zeit formulierten Definition mittels digitaler Verfahren und statistischer Assoziationsmaße auf Segmentierungsentscheidungen fußt und auf dieser Grundlage im Digitalen geschärft und weiterentwickelt werden konnte.

[42]Bei Kollokationen handelt es sich um ein Phänomen, das Stefan Evert als ›Epiphänomen‹[28] bezeichnet hat, da diese im klassischen Firth’schen Sinne zunächst ein Effekt der habituellen Kookkurrenz ihrer Konstituenten sind, denen man auch nach Firth eine gegenseitige Erwartbarkeit (»mutual expectancy between certain words«[29]) zwischen bestimmten Wörtern zuschreibt. Diese habituell kookkurrierenden, wechselseitig erwartbaren lexikalischen Konstituenten bilden von kompetenten Muttersprachler:innen im Sprachgebrauch beherrschte, relativ feste, aber auch im Rahmen der Grammatik flexible, wiederkehrende Einheiten, die zumeist semantisch relativ transparent sind, aber auch anhand der etablierten Kookkurrenz zusätzliche Bedeutung tragen können. Jedenfalls sind Kollokationen aber derart etabliert, dass sie im Sprachgebrauch als Einheiten empfunden werden und entsprechend funktional sind. Ein Verstoß gegen die Verwendung der etablierten Wortkombinationen wird unter Umständen verstanden, aber auch als den Konventionen widersprechend erkannt.

[43]Eine der zentralen Herausforderungen der Identifikation von Kollokationen in Korpora liegt nun darin, dass sie einerseits relativ fest etablierte, wiederkehrende Verbindungen aus zwei oder mehr Konstituenten darstellen, dass diese Konstituenten aber erstens, wie oben ausgeführt, den im Rahmen der Grammatik gestatteten Permutationen ihrer relativen Reihenfolge und Formenbildung unterliegen (z. B. ein Verbrechen begehen und Verbrechen werden begangen), und dass die Konstituenten von Kollokationen im Gegensatz zu n-Grammen nicht notwendigerweise konsekutiv aufeinanderfolgen. Weiterhin wird in den meisten Definitionen des Phänomens die Kookkurrenz innerhalb der Satzgrenzen, entweder innerhalb von Phrasen (z. B. in der Nominalphrase blondes Haar) oder über Phrasengrenzen hinweg zwischen Satzkonstituenten definiert (z. B. die Kollokation aus dem Prädikats-Verb und einem Substantiv als Kopf der Nominalphrase in Objektposition, X begeht ein Verbrechen). Die Identifikation von Kollokationen fußt so auf der Tokeniserung der lexikalischen Ebene, also der Identifikation von Lexemen des untersuchten Korpus, und wird begrenzt durch die Satztokenisierung als äußerer Grenze. Kollokationen reichen in den meisten Definitionen nicht über die Satzgrenze hinaus,[30] wiewohl Konstituenten selbstverständlich im Folgesatz erneut aufgegriffen werden können. Es ist bei der Identifikation von Kollokationen in Korpora authentischer Sprache also einerseits, wie bei vielen Analysen, die Tokenisierung Grundvoraussetzung. Andererseits ist auf Grundlage der Tokenisierung im Korpus der Gegenstand trotzdem nicht sicher erfassbar, weil eben die Konstituenten von Kollokationen nicht notwendigerweise konsekutiv aufeinander folgen. Kollokationen müssen also innerhalb eines definierten Kontexts (oder Fensters) als an der sprachlichen Oberfläche zunächst scheinbar unverbundene – und für uninformierte Sprachteilnehmer:innen nicht unmittelbar erkennbare – Einheiten durch statistische Verfahren ermittelt werden.

[44]Umfang und Qualität der Korpusdaten und hier vor allem der Segmentierung als Teil der linguistischen Vorverarbeitung sind von entscheidender Bedeutung für die Identifikation von Kollokationen, da korrekt identifizierte Tokens und Satzgrenzen die Einhaltung der Parameter, die Identifikation der Konstituenten und damit auch von Kollokationen beeinflussen. Gerade in sehr großen Korpora, deren Vorverarbeitung aufgrund des Datenumfangs nicht manuell qualitätsgesichert werden kann und wird, verbleiben häufig Artefakte der Digitalisierung, unverbundene Zeichen etc., die die Vorverarbeitung erschweren und damit auch die Qualität der Kollokationsextraktion negativ beeinflussen. So konnte in der erwähnten Studie von Sabine Bartsch und Stefan Evert[31] gezeigt werden, dass bei der Extraktion von Kollokationen entgegen quantitativer Vorannahmen, die große Korpora als zentrale Grundlage für die Kollokationsforschung annehmen, das Kriterium der Korpusgröße immer auch gegen die Korpusqualität abgewogen werden muss und dass kleinere, aber sehr sauber vorverarbeitete Korpora durchaus bessere Extraktionsergebnisse liefern können als sehr große Korpora, die aufgrund ihrer Größe unter Umständen weniger saubere Daten enthalten.

[45]Bei der Kollokationsextraktion kommt darüber hinaus eine zweite Ebene der Segmentierung zusätzlich zur im Rahmen des Pre-Processings erfolgten Tokenisierung zum Einsatz, durch die der Suchraum, innerhalb dessen Konstituenten von Kollokationen erwartbar auftreten, eingegrenzt und für die Statistik beherrschbar wird, indem das Rauschen in den Daten reduziert und damit die Sicherheit der Identifikation relevanter Kollokationen erhöht wird. Die hier vorgenommene Segmentierung ist eine heuristische, sie modelliert und grenzt den potenziellen Suchraum ein, ohne dabei das gesuchte Phänomen direkt auszuwählen. Sie nähert sich sozusagen dem gesuchten Phänomen durch Begrenzung des Suchraumes an, ohne direkt Kollokationskandidaten zu adressieren. In extensiven Untersuchungen konnte gezeigt werden, dass die Parameter für die Begrenzung des Suchraums sowohl Einfluss auf die Menge der identifizierten Kollokationskandidaten (Recall), also auch auf die der tatsächlich relevanten Kollokationskandidaten (Precision) haben, die in Tests als tatsächliche Kollokationen identifiziert werden konnten. Das Verhältnis zwischen Precision und Recall gibt schließlich Aufschluss über die Güte der Extraktion im Sinne des Umfangs der mit einer gewissen Konfidenz (im nichttechnischen Sinne) identifizierbaren Ergebnismenge.

[46]Die von Evert und Bartsch[32] getesteten Parameter-Settings für den Suchraum umfassen neben den etablierten wort-basierten Suchfenstern[33] 3:3, 5:5 und 10:10 Wörter als je linker und rechter Kontext auch die Satzgrenze, also den kompletten Satz als delimitierenden Kontext. Weiterhin werden einer z. B. von Bartsch (2004) vorgeschlagenen Definition folgend und über die Firth’sche Definition hinausgehend Kollokationskandidaten auf der Grundlage einer direkten syntaktischen Relation zwischen den Konstituenten extrahiert.[34] Dies erfordert wiederum eine weitere Segmentierung und Annotation im Sinne der Identifikation syntaktischer Einheiten und Relationen. Es kann so unter anderem der Einfluss unterschiedlicher Parametersettings für den Suchraum systematisch evaluiert werden, zum anderen kann aufgezeigt werden, dass unter Hinzuziehung unterschiedlicher linguistischer Parameter, wie zum Beispiel Lemmatisierung, lexiko-grammatischer Wortartenklassifikation und grammatischer Dependenz, die Ergebnisse der Kollokationsextraktion beeinflusst und die Ergebnismengen verändert und verbessert werden können.

[47]Anhand dieses Beispiels konnte gezeigt werden, dass Segmentierungsentscheidungen zum einen als Teil des linguistischen Pre-Processings Einfluss auf die Qualität linguistischer Analysen haben, indem sie den Zugriff auf lexikalische Einheiten als Konstituenten von Kollokationen ermöglichen. Zum anderen ist eine Segmentierung im Sinne der Auswahl begrenzter Suchräume innerhalb der Korpusdaten elementarer Bestandteil von linguistischen und statistischen Verfahren zur Identifikation von Kollokationskandidaten. So werden auf der Grundlage wortbasierter Suchfenster (3–5 Wörter als linker und rechter Kontext eines Suchwortes) oder grammatisch definierter Segmente, wie Sätze oder Konstituenten in direkter syntaktischer Relation, Kollokationskandidaten anhand statistischer Maße für die Bedeutung des gemeinsamen Auftretens ermittelt.

3.3 Analyse heuristischer Textpraktiken

[48]An der Diskussion von Mehrworteinheiten ist schon deutlich geworden, dass sprachliche Segmente nur funktional zu bestimmen sind: Es gehört zusammen, was gemeinsam eine Funktion in der Kommunikation übernimmt. Während Mehrworteinheiten funktional auf den Satz bezogen sind, konstituiert sich die Einheit des Satzes dadurch, dass mit ihr sprachliche Praktiken vollzogen werden. Bei deren Analyse wiederum ist das Zusammenspiel von Handlungsinterpretation, kategorialer Subsumption und struktureller Segmentierung entscheidend. Was das bedeutet, soll im Folgenden anhand von Segmentierungsfragen beim Erstellen eines Tagsets zur Analyse heuristischer Textpraktiken erläutert werden. Unter ›heuristischen Textpraktiken‹ verstehen wir Formulierungsverfahren, mit denen in institutionell verankerten Routinen neues Wissen generiert und an vorhandenes Wissen angeschlossen wird, z. B. ›die Relevanz eines Forschungsthemas markieren‹, ›einen Begriff definieren‹ oder ›eine Aussage argumentativ stützen‹. Dabei interessiert uns, wie solche Formulierungsverfahren in Dissertationen verschiedener wissenschaftlicher Disziplinen zum Einsatz kommen, an welcher Stelle im Text sie verwendet werden, wie sie miteinander kombiniert werden, welche Textfunktion sie haben und was man aus all dem über die epistemischen Praktiken der jeweiligen Disziplin lernen kann. Dieser Forschungsansatz ist ausführlich in einer Pilotstudie dokumentiert.[35] Darin wurde in einem abduktiven Verfahren ein Tagset entwickelt und ein Pilotkorpus von 65 Einleitungen zu Dissertationen aus den 13 an der Technischen Universität Darmstadt vertretenen Fachbereichen händisch kollaborativ annotiert. Es ergeben sich als übergeordnete Textpraktiken die expositorischen Verfahren der Relevanzmarkierung, der Zielsetzung und der Thesenstellung sowie Praktiken der Definition und der Stützung von Assertionen. Dazu gibt es jeweils Subkategorien (vgl. Abbildung 1).[36]

Abb. 1: Das taxonomische Annotationsschema HeuTex. [Bender / Müller 2020, S. 23]

[49]Wie bei allen pragmatischen Untersuchungen in der Linguistik handelt es sich dabei um ein x-als-y-Verfahren: Da Formulierungsverfahren nicht sinnvoll in actu beobachtet werden können (zumindest nicht großflächig), gilt es, die Textsegmente zu ermitteln, mit denen eine bestimmte Textpraktik vollzogen wurde. Nun kann zum Beispiel die Praktik des Argumentierens – je nach Argumentationsbegriff – mit einem Wort, einem Satz oder einer Buchreihe vollzogen werden. Würde man aber ad hoc für jede sprachliche Praktik das Textsegment festlegen, mit dem sie vollzogen wird, könnte man die Segmente nicht miteinander vergleichen, zumindest eine quantitative Auswertung wäre unmöglich. Daher haben wir Annotations-Kategorien grundsätzlich der Einheit ›Satz‹ zugewiesen. Das ist auch die Basiskategorie der linguistischen Pragmatik: Sprachliche Handlungen werden typischerweise mit Sätzen vollzogen. Da andererseits Textpraktiken, wie man sich am Argumentieren gut verdeutlichen kann, oft über die Satzgrenze hinausreichen, ist bei der Analyse mit ›Zonen‹ aufeinanderfolgender diskreter heuristischer Textpraktiken zu rechnen.

[50]Die Festlegung einer linguistischen Einheit zur Segmentierung war auch aus einem anderen Grund wichtig: Das Projekt zielt darauf ab, heuristische Textpraktiken automatisch zu klassifizieren. Hierzu liegen vielversprechende Ergebnisse einer Pilotstudie vor, in der wir eine Deep-Learning-Architektur, genauer: ein Recurrent Neural Network (RNN), zur Klassifikation auf der Basis unseres Tagsets (vgl. Abbildung 1) verwendet haben.[37] Wir konnten feststellen, dass unser Modell auf allen Annotationsebenen recht gut funktioniert und Genauigkeitswerte von bis zu 93 % (Level 0) erreicht. Auf Level 0 ist die Basisebene der Kategorisierung angesiedelt, die Levels 1 und 2 sind jeweils Unterkategorien. Wir sehen auch ein ausgewogenes Verhältnis zwischen Precision- und Recall-Scores auf allen Ebenen, mit dem größten Unterschied auf Level 0, wo der Recall 8 Prozentpunkte über dem Precision-Score liegt, was darauf hindeutet, dass das Modell hier (etwas) besser darin ist, alle relevanten Instanzen jedes Labels innerhalb unseres Datensatzes zu finden, als korrekte Vorhersagen der Labels für die Instanzen zu machen. Um diese Ergebnisse zu interpretieren, muss die Majority Baseline – d. h. die Menge der häufigsten Instanzen innerhalb des Datensatzes – berücksichtigt werden. Wir haben die Majority Baseline auf allen drei Ebenen übertroffen, wobei die auffälligste Verbesserung auf Ebene 2 zu verzeichnen war (vgl. Tabelle 3). Da es sich um eine komplexe Klassifikationsaufgabe auf der Basis eines extrem kleinen Trainingsdatensatzes (2.689 Sätze) handelt, haben sich Tagset und Segmentierungspraxis als robust erwiesen.

[53]Nun mag man annehmen, die Satzsegmentierung sei ein mechanischer Schritt des Pre-Processings ohne weitere semantische Implikationen. Hier soll aber an zwei Fällen demonstriert werden, dass die Segmentierungsentscheidung unmittelbaren Einfluss auf kategoriale Zuweisungen hat, und zwar weil sie die Tiefe des hermeneutischen Zugriffs delimitiert, die wiederum die Kategorisierung bestimmt. Unsere Segmentierung ist grundsätzlich der syntaktisch autonome Satz (Sentence), da untergeordnete Teilsätze funktional dem Matrixsatz beigeordnet sind und daher auch keine eigenständige Texthandlung repräsentieren. Wird zum Beispiel der folgende Teilsatz (Clause) als Segment der Kategorisierungsentscheidung zugrundegelegt (a) und kategorisiert man flach, d. h. ohne Einbeziehung von Kontextwissen, dann ist ein assertiver Sprechakt, in unserem Schema eine Relevanzmarkierung durch Sachbeschreibung, zu kategorisieren. Ist das Segment aber der Satz im Sinne von Sentence, in diesem Fall also ein Satzgefüge, dann ergibt sich eine Argumentation (b).

• a) Ihr Lebenslauf ist für die bürgerlichen Frauen ihrer Epoche keineswegs exemplarisch[38]
• b) Ihr Lebenslauf ist für die bürgerlichen Frauen ihrer Epoche keineswegs exemplarisch, denn diese wurden weiterhin als Hausfrauen und Mütter definiert.[39]

[54]Ein etwas anders gelagerter Fall findet sich in den Beispielen (c) und (d). Betrachtet man Satz (c) isoliert und ohne Kontextwissen einzubeziehen, dann wäre er als deontisch modalisierte Proposition zu interpretieren und pragmatisch als direktiver Sprechakt einzuordnen, konkret als Handlungsempfehlung. Berücksichtigt man aber den unmittelbaren Textzusammenhang (d), linguistisch gesprochen: den Kotext, dann ergibt sich nach unserem Kategorienschema die heuristische Textpraktik einer Zielsetzung.

• c) Die Arbeit soll in diesen [sic] Zusammenhang Aspekte darstellen, die bei der Erstellung eines solchen Verfahrens grundsätzlich zu beachten sind, und Wege aufzeigen, wie diese im konkreten Anwendungsfall zu einem anwendungsfähigen Verfahren konkretisiert werden können.[40]
• d) 1.2 Zielsetzung der Arbeit. Ziel der Arbeit ist die Erarbeitung von allgemeingültigen Hinweisen für die Entwicklung von Entscheidungsverfahren, [...]. ^→_i Die Arbeit soll in diesen [sic] Zusammenhang Aspekte darstellen, die bei der Erstellung eines solchen Verfahrens grundsätzlich zu beachten sind,_{i ii} und Wege aufzeigen, wie diese im konkreten Anwendungsfall zu einem anwendungsfähigen Verfahren konkretisiert werden können._ii^← [41]

[55]An dem Beispiel sieht man, dass das Segment ›Satz‹ auch im konkretisierten Sinne keineswegs eindeutig ist. Das Automatisierungsvorhaben unseres Projektes bringt es mit sich, dass Sätze formal im Sinne von ›mit satzabschließendem Interpunktionszeichen abgeschlossene Einheit‹ bestimmt sein müssen. Im entscheidenden Satz der Beispiele (c) und (d) sind aber zwei Satzgefüge miteinander koordiniert, die textpragmatisch nach unserem Schema jeweils unterschiedlich zu kategorisieren wären, nämlich als deskriptive Zielsetzung (Teilsatz i) bzw. als konstruktive Zielsetzung (Teilsatz ii). In unserem Ansatz muss nun aber eine Kategorisierungsentscheidung getroffen und das Satzgefüge damit als pragmatisch subordinativ interpretiert werden: in diesem Fall als deskriptive Zielsetzung.

Abb. 2: Dimensionen der Segmentierung. [Eigene Darstellung]

[56]Segmentierung ist also keineswegs eine rein formale Angelegenheit, sondern muss immer als hermeneutische Praktik gedacht werden, in der drei Teilprozesse untrennbar ineinandergreifen und aufeinander bezogen sind (vgl. Abbildung 2): das Ausschneiden eines Segments aus dem Textkontinuum (Zoning), die Zuweisung des Segments zu einer analytischen Kategorie (Subsumption) und die Festlegung der Tiefe des gedanklichen Zugriffs auf der Basis von mehr oder weniger Kontextinformation (Interpretation). An den hier diskutierten Beispielen heuristischer Textpraktiken konnten wir zeigen, dass diese drei Teilprozesse bei jeder Segmentierungsentscheidung eine zentrale Rolle spielen und dementsprechend zu reflektieren sind.

3.4 Die Sequenzierbarkeit der Novelle

[57]Dass Segmentierung heute in der Literaturwissenschaft systematisch unterreflektiert erscheint, erstaunt nicht nur wegen ihrer großen Bedeutung bei der Operationalisierung von Textanalysen. Es erstaunt auch historisch im Hinblick auf alle generischen Ansätze in der Gattungspoetik, die seit dem 19. Jahrhundert zum festen Bestandteil der Literaturtheorie gehören. Vor allem bei den an der Schwelle zur Moderne viel theoretisierten Prosagattungen Märchen und Novelle hat die Segmentierbarkeit definitorischen Charakter. Vladimir Propps legendäre Morphologie des Märchens leitet aus der Analyse eines einschlägigen Korpus ein festes Set von Handlungssequenzen ab, aus dem sich jedes Märchen (re)produzieren lassen soll.[42] Dieser Ansatz hat heute in der Filmbranche wieder Konjunktur, um Plots automatisch herzustellen.[43] Während Formalismus und früher Strukturalismus die generische Funktion von Segmenten und Sequenzen vor allem texttheoretisch ausgebeutet haben,[44] sind die früheren Versuche im Zeichen des literarischen Realismus für die aktuelle Forschung besonders wertvoll, weil sie noch stark auf Operationalisierungen in einem hermeneutischen Rahmen ausgelegt sind. Textmerkmale werden dabei nicht isoliert, sondern rezeptionsästhetisch im Hinblick auf ihre kognitive Wirkung beim Lesen betrachtet, was Wolfgang Iser später als das Zusammenwirken von Text- und Aktstruktur bezeichnet hat.[45]

[58]Im Darmstädter LitLab sind schon seit einiger Zeit verschiedene korpusbasierte Untersuchungen zu Novellen des 19. Jahrhunderts durchgeführt worden. Im Sommersemester 2019 wurde erstmals eine empirische Wirkungsstudie durchgeführt, um das gattungspoetisch bedeutsame Kriterium der Sequenzierbarkeit zu testen. Theoretische Grundlage dafür war neben Propp die realistische Gattungspoetik, die Paul Heyse in der Einleitung zum Deutschen Novellenschatz 1871 formuliert hat. Sie geht davon aus, dass die zeitgenössische Hochkonjunktur der Novelle mit der im literarischen Massenmarkt unvermeidlichen Auseinandersetzung um die knappe Ressource Aufmerksamkeit erklärt werden kann und die daraus resultierenden Eigenschaften zugleich das zentrale Merkmal darstellen, das Novellen von anderen Erzähltexten unterscheidet. Eine Novelle zeichnet sich demnach dadurch aus, dass sie ein handlungsleitendes ›Grundmotiv‹ besitzt, das Leser:innen in die Lage versetzt, »den Inhalt in wenige Zeilen zusammenzufassen«. Heyse fordert dazu auf, die »Probe« zu machen, »ob der Versuch gelingt«.[46]

[59]Bei unserem Test kam es uns darauf an, von den insgesamt 86 Novellen der Anthologie eine auszuwählen, die der Einschätzung der historischen Herausgeber nach ihre Novellen-Definition gut erfüllt (den Einleitungen zufolge gab es bei der Aufnahme von Texten zum Teil auch andere Rücksichten) und zugleich unter pragmatischen Gesichtspunkten für ein Leseexperiment geeignet ist, vor allem was die Textlänge angeht. Die Wahl fiel auf Hieronymus Lorms Ein adeliges Fräulein (1867). Der Text hat ein klares Grundmotiv, das wie in den meisten Fällen als Dingsymbol angelegt ist. Auf der Suche nach einem bestimmten Gemälde trifft ein Kunstexperte auf die Besitzerin (Rahmenhandlung), die ihm die Geschichte des Bildes erzählt (Binnenhandlung). Es stammt aus dem Geschenkfundus einer gescheiterten Brautwerbung. Der Vater der adligen Titelheldin hatte sie einem vermögenden Bürgerlichen versprochen, fühlt sich daran jedoch nicht mehr gebunden, als ein adliger Mitbewerber auftaucht. Nachdem dieser sich jedoch als mittellos entpuppt, will der Vater die ursprünglich angebahnte Ehe schließen. Obwohl das ihren aufrichtigen Gefühlen entspricht, weigert sich die Tochter des gebrochenen Versprechens wegen.

[60]Unser Experiment wurde am 20. Mai 2019 in einem Hörsaal der Technischen Universität Darmstadt mit 85 Proband:innen durchgeführt, die dafür eine Aufwandsentschädigung von 10 Euro erhielten. Den Teilnehmenden wurde neben einem Ausdruck der Novelle ein Fragebogen mit fünf Rubriken vorgelegt. An Metadaten wurden neben Alter, Geschlecht und Muttersprache die Lesehäufigkeit im Alltag und die Art der gelesenen Texte erhoben (Nachrichten, Sachbücher, Literatur, Social Media). Außerdem wurde gefragt, ob die Novelle vorab bekannt war. Im zweiten Schritt wurde darum gebeten, den Text aufmerksam durchzulesen. Die drei restlichen Aufgaben wurden nach der Lektüre absolviert. Wir fragten zunächst, was vom Inhalt des Textes als Erstes in den Sinn kommt, dann baten wir, das Geschehen in ganzen Sätzen zusammenzufassen, wozu unnummerierte Zeilenkästen vorgegeben wurden. Schließlich fragten wir nach der wesentlichen Textaussage.

[61]Bei der Studie, die aus dem Experiment hervorgehen soll, arbeiten wir mit der Arbeitsgruppe ›Soziale Netzwerke‹ von Ulrik Brandes an der ETH Zürich zusammen.[47] Ziel der Studie ist es, herauszufinden, ob sich die als Gattungsmerkmal postulierte leichte Zusammenfassbarkeit der Novelle empirisch nachweisen lässt. Eine starke Übereinstimmung in den Zusammenfassungen der Teilnehmenden unseres Experiments wäre ein Beleg dafür. Grundlage der Auswertung sind die Transkriptionen der Fragebögen, die die Studierenden des Seminars ›Empirische Textanalysen‹ im Sommersemester 2019 an der Technischen Universität Darmstadt angefertigt haben. Da sich die Proband:innen bei ihren Zusammenfassungen weniger klar an die von uns vorgegebenen Zeilenkästen gehalten haben als erhofft, haben wir für die Auswertung jeden einzelnen Satz als Segment aufgefasst. Im Pre-Processing wurden die Stoppwörter entfernt und mit Hilfe der Levenshtein-Distanz[48] automatische Vereinheitlichungen vorgenommen (z. B. ›adelig‹ – ›adlig‹). Die Auswertung der Daten dauert derzeit noch an. In den bisherigen Berechnungen wurde für die Wortebene eines jeden Segments der term frequency - inverse document frequency (tf-idf)-Score ermittelt, um zu bestimmen, wie charakteristisch es sich im Korpus sämtlicher Segmente ausnimmt. Auf der Basis dieser Formalisierung kann die Distanz zu einer von uns selbst stammenden Muster-Zusammenfassung berechnet werden. Ein erstes Clustering der Ergebnisse schien unter Berücksichtigung unserer Metadaten die Tendenz zu zeigen, dass im Subset derjenigen Proband:innen, die häufig lesen, eine größere Übereinstimmung herrscht als im Subset der deutschen Muttersprachler:innen. Allerdings sind bei der Auswertung eine Reihe von Schwierigkeiten aufgetaucht, die wir erst bewältigen müssen, bevor wir solchen Ergebnissen Erklärungslasten aufbürden. Im Vergleich des Goldstandards unserer eigenen Muster-Zusammenfassung und den Zusammenfassungen der Fragebögen fiel uns auf, dass die Teilnehmenden vor allem Schwierigkeiten hatten, das Verhältnis von Rahmen- und Binnenhandlung in die verlangte Folge von ganzen Sätzen einzugliedern. Wir haben daher die Studierenden des Seminars ›Empirische Textanalysen‹ gebeten, aus den Satzfolgen der Fragebögen eine weitere Muster-Zusammenfassung zu erstellen. Wir wollen auf dieser Basis unsere bisherigen Ergebnisse und den Ansatz des Experiments kritisch hinterfragen.

3.5 Inter-Annotator-Agreement-Parameter als Heuristik für die Segmentierung literarischer Texte

[62]Als letztes Beispiel wird ein Segmentierungsproblem vorgestellt, das in einem weiteren Projekt aus dem Bereich der Computational Literary Studies offensichtlich wurde. Dieses Projekt ist genauso wie der oben vorgestellte Zugang zur Sequenzierung datengetrieben, hat aber im Unterschied dazu eine automatisierte Textanalyse zum Ziel, die auf in der Computerlinguistik bzw. der automatischen Sprachverarbeitung etablierten Verfahren zur Automatisierung basiert. Ziel des noch laufenden Projektes ist die Automatisierung der Erkennung szenenhafter Passagen in Prosatexten.[49] Als szenenhaft werden dabei jene Abschnitte erzählender Texte verstanden, in denen die Figurenkonstellation und der Raum der Erzählung weitgehend unverändert sind und die Geschehnisse chronologisch, zusammenhängend und weitgehend zeitdeckend erzählt werden.[50] Textgrundlage sind sogenannte Heftromane, die in ihrer Struktur weniger komplex sind als Höhenkammliteratur und insbesondere weniger Varianz aufweisen. Im skizzierten Projekt ist das Auffinden der Szenen zwar das Ziel, allerdings sind diese Szenen als Vorverarbeitungsschritt für eine Reihe zukünftiger computationeller Analysen angelegt. Die automatisierte Annotation szenenhafter Passagen stellt nämlich eine für literaturwissenschaftliche computationelle Textanalysen geeignete Segmentierung literarischer Texte zur Verfügung.

[63]Im ›Szenen-Projekt‹ wird ein für viele Analyseansätze in den Computational Literary Studies typischer Zugang umgesetzt: Als Input für die Automatisierung der Analyse literarischer Texte werden sogenannte Golddaten bzw. ein sogenannter Goldstandard erstellt. Dafür annotieren mehrere Annotator:innen anhand von Annotationsrichtlinien dieselben Texte. Auf Basis der so erstellten Daten – also der Texte und ihrer Annotationen – wird dann an der Automatisierung der Erkennung der annotierten Phänomene gearbeitet. Diese Praxis ist für die ansonsten mit exemplarischen Textstellen in Definitionen und Analysen arbeitende Literaturwissenschaft ungewöhnlich. In der literaturwissenschaftlichen Textanalyse werden traditionell nur einzelne Textstellen genutzt – um sie als besonders typische Textpassagen zu analysieren oder um die Definition von Phänomenen an ihnen zu veranschaulichen. Dahinter steht zumindest implizit eine behauptete Exemplarität und damit Repräsentativität der ausgewählten Beispiele.

[64]Während in der Literaturwissenschaft also die Repräsentativität durch die Feststellung von Expert:innen gewährleistet wird, nähert man sich in Automatisierungszugängen einer Repräsentativität an, indem man mit einer großen Anzahl an Beispielen arbeitet und außerdem Annotationen mehrfach anfertigt, welche anschließend in eine konsolidierte Annotation im Sinne des Goldstandards überführt werden. Im computationellen Zugang ist die Repräsentativität der genutzten Textstellen fundamental, da aus diesen Textstellen zum Teil unüberwacht gelernt wird und entsprechend nach der Annotation keine weiteren menschlichen Analysen in den Prozess mit einfließen. Der literaturwissenschaftliche Umgang mit Beispielen und der Zugang zu Annotationen im Bereich der computationellen Literaturwissenschaft unterscheiden sich damit recht deutlich. Will man jedoch sicherstellen, dass ein Annotationsverfahren im Kontext von Automatisierungsaufgaben auch literaturwissenschaftlich adäquat ist, so muss man sich fragen, inwiefern ein Goldstandard auch eine literaturwissenschaftlich gute Textanalyse abbildet bzw. abbilden kann.

[65]Eine naheliegende Begründung der Adäquatheit ist, dass in den Annotationen, die zur Erstellung des Goldstandards genutzt werden, intersubjektiv gültige Analysen der entsprechenden Textpassagen abgebildet werden. In der Literaturwissenschaft wird nämlich Intersubjektivität, also die Übereinstimmung mehrerer Subjekte in Bezug auf Urteile über literarische Texte, als geeignete Alternative zu einer – als nicht vorhanden bzw. zugänglich angenommenen – Realität oder objektiven Wahrheit betrachtet. Um wissenschaftlich zu sein, müssen literaturwissenschaftliche Befunde demnach eine »prinzipielle intersubjektive Vermittelbarkeit – einen ›sensus communis‹ [als von Kant für Geschmacksurteile angenommene Basis]« aufweisen.[51] Literaturwissenschaftliche Analyse hat die Aufgabe, vorerst ohne Wertung »die Feststellung von allgemein beobachtbaren und intersubjektiv anerkennbaren Eigenheiten bestimmter Texte zu fixieren«[52], wobei Ansätze wie die systemtheoretische oder die strukturalistische Literaturwissenschaft »die Möglichkeit rationaler, intersubjektiver Analysierbarkeit und Theoriebildung auch gegenüber Objekten wie der Literatur« postulieren.[53] Das bedeutet insbesondere, dass sie »prinzipiell explizierbare, rationale, intersubjektiv diskutierbare Methodologien und Theoriebildungen für den Objektbereich der Literaturwissenschaft« anstreben.[54]

[66]Vor diesem Hintergrund erscheinen Inter-Annotator-Agreement-Maße (IAA-Maße), die den Grad der Übereinstimmung zwischen Annotationen angeben, als Möglichkeit, um Intersubjektivität zu messen. Die Tatsache, dass bei typischen Annotationsaufgaben der Sprachverarbeitung wie etwa der Part-of-Speech-Bestimmung Übereinstimmungen von über 95 % durchaus möglich sind, eine solche hohe Übereinstimmung bei komplexeren Textphänomenen aber nicht erreicht werden kann, spricht ebenfalls dafür, dass IAA-Maße Intersubjektivität abbilden können.

[67]Nun war es aber so, dass im ›Szenen-Projekt‹ Szenengrenzen aus literaturwissenschaftlicher Sicht erstaunlich übereinstimmend annotiert wurden, dieser Umstand sich aber nicht in einem entsprechend hohen IAA-Maß niederschlug. Damit scheint der angenommene Zusammenhang zwischen dem Maß der Übereinstimmung zwischen zwei Annotator:innen und dem Grad der intersubjektiven Gültigkeit ihrer Analysen fraglich. Dies könnte auch daran liegen, dass IAA-Maße für sehr unterschiedliche Zwecke genutzt werden und diese nicht immer einen Bezug zu Intersubjektivität haben – etwa wenn sie eingesetzt werden, um die Konsistenz von Annotationen einzelner Annotator:innen zu überprüfen, die Qualität von Guidelines zu evaluieren oder Automatisierungsverfahren zu bewerten.[55] [56] Konzentriert man sich aber auf die Messung von Übereinstimmung verschiedener Annotator:innen, also auf den Aspekt, der literaturwissenschaftlich als Intersubjektivität gefasst werden kann, müssen für die Erklärung der schlechten IAA-Werte im ›Szenen-Projekt‹ die in den IAA-Metriken abgebildeten Prinzipien betrachtet werden. IAA-Metriken beinhalten sehr differenzierte Berechnungen, die für eine gewisse Vergleichbarkeit der berechneten Werte sorgen sollen. Diese Berechnung im Hinblick auf Vergleichbarkeit kann man entsprechend als eine Operationalisierung von Intersubjektivität auffassen, anhand derer man die oben geforderte literaturwissenschaftlich adäquate Umsetzung von Annotationsverfahren bzw. des Goldstandards erreichen könnte. Für die Wahl einer geeigneten IAA-Metrik muss deshalb die jeweilige Operationalisierung von Vergleichbarkeit oder Übereinstimmung der IAA-Metrik – in Form von (Nicht-)Einbezug der erwarteten Übereinstimmung, Gewichtung der Nicht-Übereinstimmung in Abhängigkeit der betroffenen Kategorien usw. – berücksichtigt und gegebenenfalls geeignete Einstellungen der zur Verfügung gestellten Parameter gefunden werden.[57] Im Fall des ›Szenen-Projekts‹ hat sich bei der Beschäftigung mit der Vergleichbarkeit von IAA-Werten und Wahrnehmung der intersubjektiven Übereinstimmung neben dem Testen verschiedener Parametrisierungen schnell herausgestellt, dass die gewählte IAA-Metrik berücksichtigen muss, dass es sich um eine sogenannte Segmentierungsaufgabe handelt. Während etwa eine Part-of-Speech-Annotation auf vorausgewählten Segmenten (nämlich Wörtern) stattfindet, müssen Annotator:innen bei Segmentannotationen wie den oben beschriebenen Textpraktiken[58] die zu annotierende Textspanne selbst auswählen. Nutzt man für die Evaluation der manuellen Annotationen klassische IAA-Metriken wie Fleiss’ π,[59] Cohens κ[60] oder Krippendorffs α[61], so erhält man meist schlechte Werte, weil diese Metriken nicht berücksichtigen, dass die zu annotierenden Texteinheiten nicht vorgegeben sind. Deshalb wurden für die Annotation von Segmenten eigene Metriken entwickelt.[62] Mathet et al. geben einen Überblick über einige Segmentierungsmetriken und schlagen für die Darstellung bestehender Metriken und die Entwicklung ihres eigenen Vorschlags γ sechs Parameter vor, die Segmentierungsmetriken berücksichtigen sollten.[63] Diese berücksichtigen, dass eine Annotationsaufgabe (i) die Zuweisung von Kategorien (Categorization) und / oder (ii) die Bestimmung von Texteinheiten (Unitizing) beinhalten kann, die zu annotierenden Textphänomene im Text (iii) ineinander verschachtelt (Embedding) oder (iv) sich anderweitig überlappend (Free Overlap) vorkommen können sowie (v) nicht durchgehend vorhanden sein müssen (Sporadicity) und außerdem (vi) zwei aufeinanderfolgende Einheiten gegebenenfalls zu einer zusammengefasst werden können (Aggregatable).[64] Damit wird deutlich, wie wichtig die Wahl einer zur Annotationsaufgabe passenden IAA-Metrik ist – ein Umstand, der zumindest in der computationellen Literaturwissenschaft nur selten reflektiert wird. Die sechs Kategorien von Mathet et al. sind aber auch jenseits von Annotation und Automatisierung für die Arbeit mit literaturwissenschaftlichen Phänomenen hilfreich, da sie die Schärfung der genutzten Analysekonzepte unterstützen. Im Folgenden wird eine Auseinandersetzung mit diesen Kategorien anhand des Szenenkonzepts und der dort bestehenden Rahmenbedingungen skizziert.

[68]Die Categorization ist grundlegend für jede Textanalyse: Man möchte dem Text bzw. seinen Teilen Kategorien zuweisen, die die analysierten Phänomene benennen. Selbst in dem diesbezüglich einfachen Fall im ›Szenen-Projekt‹, das nur auf einer Kategorie, nämlich ›Szene‹, aufbaut, kann man von der Zuweisung von zwei Kategorien ausgehen, da in der Annotation zwischen szenenhaften Passagen und nichtszenenhaften Textteilen unterschieden wird. Problematisch ist in solchen Fällen aber fast immer das Unitizing, welches die Segmentierung des Textes betrifft und das, wie bereits erläutert, in der Literaturwissenschaft nur bedingt standardisiert ist. Im ›Szenen-Projekt‹ wurde diskutiert, ob die oben besprochene grundlegende Diskurseinheit Satz als Basiseinheit gewählt werden soll oder eine größere, wie etwa der Absatz. Aufgrund der absehbaren Probleme bei der Bestimmung von Absätzen in Rohtexten wurde eine satzbasierte Annotation gewählt, wobei eine Szene normalerweise eine ganze Reihe von Sätzen umfasst. Diese vermeintlich triviale, durch technische Einschränkungen motivierte Entscheidung hat aber auch konzeptuelle Konsequenzen, da sie die Granularität des Szenenbegriffs beeinflusst. Eine zusätzliche Annäherung an Segmentgrößen in Form der Angabe des typischen Textumfangs, den ein Phänomen umfasst, hat sich außerdem als hilfreiche Heuristik herausgestellt.[65]

[69]Die Frage, ob Phänomene verschachtelt (Embedding) oder sich anderweitig überlappend (Free Overlap) auftreten können, ist wiederum verbunden mit ihrer Definition. Können die Phänomene in eine Begriffstaxonomie eingeordnet werden, die hierarchisch organisiert ist oder auch darüber hinausgehende, nicht hierarchische Verbindungen zwischen den Kategorien aufweist? Dazu gehört auch die Frage von über- und untergeordneten Phänomen, in die die Untersuchungsbegriffe gegebenenfalls aufgeteilt werden können. Für Szenen kann man annehmen, dass sie verschachtelt auftreten können, da sie – ähnlich wie Erzählebenen – von anderen Szenen unterbrochen und anschließend weitergeführt werden können. Nicht zuletzt aufgrund der relativ wenig komplexen Handlungsabläufe in den untersuchten Heftromanen haben wir auf Verschachtelungen verzichtet. Diese Entscheidung war zusätzlich dadurch motiviert, dass eine hierarchische Szenenstruktur für das maschinelle Lernen eine ungleich größere Herausforderung bedeutet. Unabhängig von der Entscheidung für oder gegen Verschachtelung und Überschneidung muss geprüft werden, welche Konsequenzen die jeweilige Ausprägung für die Analysekonzepte hat. Die daraus resultierende Taxonomie führt nämlich dazu, dass die genutzten Phänomene sich gegenseitig ausschließen, über- oder unterordnen etc. – oder eben nicht.

[70]Die Frage nach der durchgehenden Präsenz von Phänomenen im Text (Sporadicity) betrifft u. a. das Textkonzept. Ausschlaggebend ist hier, inwiefern die untersuchten Phänomene als für Texte konstitutiv und ob Texte gegebenenfalls als noch aus weiteren Phänomenen zusammengesetzt gesehen werden. Für die Szenenanalyse kann man davon ausgehen, dass es Textabschnitte gibt, die nicht als Szenen gelten sollten. Dies liegt daran, dass das Zeitkriterium – im Gegensatz zu den Kriterien Wechsel von Raum, Figuren oder Handlung – nicht für einen Wechsel, sondern für die Szenenhaftigkeit an sich steht und entsprechend Abschnitte, die es nicht erfüllen, nicht szenenhaft sind. Im Gegensatz dazu gehen etwa die meisten Konzepte von Erzählebenen davon aus, dass jeder Abschnitt eines Textes (mindestens) einer Erzählebene zugeordnet werden kann. Dies ist in der Analysepraxis der einfachere Fall. Das Erkennen von Nicht-Szenen hat sich nämlich als durchaus problematisch erwiesen, da das zugrunde liegende Kriterium, wie in der Textanalyse häufig, graduell ist.

[71]Schließlich ist die Frage der Aggregierbarkeit (Aggregatable) im Falle der Szenen problematisch. Während direkt aufeinanderfolgende Szenen potenziell zu einer einzelnen Szene zusammengefasst werden können, wenn man die Szenen als kleinere Unterteilungen einer großen Szene interpretieren kann, sollten aufeinanderfolgende Szenen, die sich sehr deutlich in Raum, Zeit, Figuren oder Handlung unterscheiden, nicht zu einer längeren Szene zusammengefasst werden. An dieser Stelle wird offensichtlich, dass die aufgrund der damit verbundenen Probleme nicht vorgenommene Vorsegmentierung der Texte nun ihrerseits zu Problemen führt.

[72]Auch wenn die sechs vorgestellten Parameter für Analysen der Übereinstimmung von Annotationen auf der Textoberfläche vorgeschlagen werden, soll die Darstellung der einzelnen Punkte zeigen, dass sie eine darüber hinausgehende Relevanz für die literaturwissenschaftliche Beschreibung und Definition von Textphänomenen haben. Ihre Explizierung kann erheblich zur intersubjektiven Verständlichkeit von Phänomenen und ihren Definitionen beitragen. Auch die aufgezeigten Zusammenhänge zwischen den Parametern können bei der Entwicklung intersubjektiv besser nachvollziehbarer und damit stabilerer Definitionen nützlich sein.