• 1. Einleitung
• 2. Die aktuelle Rechtslage zum Text und Data Mining mit urheberrechtlich relevanten Textbeständen
• 3. Das Prinzip der abgeleiteten Textformate
• 4. Verbreitete Analyseverfahren der Digital Humanities und ihr Informationsbedarf
• 4.1 Klassifikation und Clustering von Texten inkl. Autorschaftsattribution
• 4.2 Extraktion distinktiver Merkmale
• 4.3 Topic Modeling
• 4.4 Netzwerkanalyse
• 4.5 Sentimentanalyse
• 4.6 Text Re-Use
• 4.7 Sprachmodelle / Word Embeddings
• 4.8 Zwischenfazit Analyseverfahren
• 5. Vorschläge für abgeleitete Formate
• 5.1 Tokenbasierte Textformate
• 5.1.1 Einfache Term-Dokument-Matrix
• 5.1.2 Segmentweise Aufhebung der Sequenzinformation
• 5.1.3 Selektiv reduzierte Information über einzelne Tokens
• 5.2 Textformate auf Korpus- oder Subkorpusebene
• 5.2.1 N-Gramme
• 5.2.2 Wort-Embeddings
• 5.2.3 Kontextualisierte Embeddings
• 5.3 Zwischenfazit zu den abgeleiteten Textformaten
• 6. Fazit: Eine Forschungsagenda für abgeleitete Textformate
• 6.1 Bibliotheken und Archive
• 6.2 Informatik und Computerlinguistik
• 6.3 Digital Humanities
• Bibliographische Angaben
• Gesetzestexte
• Abbildungslegenden und -nachweise

4.1 Klassifikation und Clustering von Texten inkl. Autorschaftsattribution

[28]Überwachtes und nicht-überwachtes maschinelles Lernen (also Klassifikation und Clustering) werden im Bereich des Text Mining mit guten Resultaten durchgeführt, um Texte mit bestimmten Inhalten oder anderen semantischen Gemeinsamkeiten in größeren Textsammlungen zu finden. Dies erfolgt regelmäßig auf der Grundlage von Term-Dokument-Matrizen.[29] Eine besondere Anwendungsdomäne, bei der es um die Zuordnung von Texten zu ihren Autor*innen aufgrund von (lexikalischer, stilistischer etc.) Textähnlichkeit geht, ist die stilometrische Autorschaftsattribution.[30] Grundprinzip ist hier die Erfassung des lexikalischen, insbesondere stilistischen Grades der Ähnlichkeit zwischen mehreren Texten. Die Ähnlichkeit kann auf der Ebene ganzer Texte, Teilsegmente oder Sätze ermittelt werden sowie auf der Grundlage der Häufigkeit von Wortformen oder anderen Merkmalen erfolgen. Da diese Verfahren in den allermeisten Fällen ohnehin auf einer Term-Dokument-Matrize operieren und keine Sequenzinformation berücksichtigen, können sie gut auch mit einfachen abgeleiteten Formaten unterstützt werden.

4.2 Extraktion distinktiver Merkmale

[29]Ein weiteres Verfahren aus dem Methodeninventar der CLS ist die Extraktion distinktiver Merkmale. Hier geht es um die Identifikation von Wortformen oder anderen Merkmalen, die für einen Text oder eine Textgruppe im Vergleich mit einer anderen Textgruppe charakteristisch sind.[31] Dies erlaubt es beispielsweise, die stilistischen und inhaltlichen Eigenheiten einer Autorin oder eines Autors, einer bestimmten Textsorte oder einer Epoche zu ermitteln und für weitere Analysen zu nutzen. Literaturwissenschaftliche Anwendungsbeispiele gibt es u. a. zu Shakespeare, dem britischen Roman oder dem französischen Drama.[32]

[30]Sehr einfache Varianten dieses Verfahrens erfordern keine Sequenzinformation, sondern beruhen lediglich auf einem Vergleich der relativen Häufigkeit der Merkmale in den beiden Textgruppen. Etwas avanciertere Verfahren vergleichen lediglich die Verteilung der Häufigkeiten in den Texten der beiden Textgruppen und sind daher ebenfalls nicht auf Sequenzinformation angewiesen. Präzisere Verfahren benötigen allerdings Informationen zur Verteilung der Merkmale auch innerhalb der Texte (die sogenannte Dispersion). Diese Verfahren sind auf Sequenzinformation angewiesen, wobei eine geringe Segmentgröße zwar grundsätzlich wünschenswert ist, die Verfahren aber von jeder Segmentierung der vollständigen Texte in kleinere Teile profitieren. Für manche Varianten des Verfahrens ist die Information über die Reihenfolge der Segmente im Text nützlich, für andere ist sie nicht ausschlaggebend.

4.3 Topic Modeling

[31]Topic Modeling ist ein Verfahren aus dem Bereich des unüberwachten Machine Learning mit dem latente, im weitesten Sinne semantische Strukturen in größeren Textsammlungen entdeckt werden können. Dabei werden aufgrund des wiederholten, gemeinsamen Vorkommens von Wörtern beziehungsweise dem wiederholten Vorkommen von Wörtern in ähnlichen Kontexten Gruppen von Wörtern gebildet, zwischen denen eine wie auch immer geartete semantische Beziehung besteht, wobei dann die Verteilung dieser Wortgruppen in der Textsammlung ermittelt werden kann.[33] Die semantische Beziehung der Wörter kann sich bei fiktionalen Texten u. a. auf ein abstraktes Thema (Gerechtigkeit, Fortschritt), ein wiederkehrendes erzählerisches Motiv (Eisenbahnfahrt, Konzertbesuch) oder das Vokabular für die Beschreibung von Handlungsorten (Innenräume, Landschaften) beziehen. Es gibt in den CLS zahlreiche Anwendungsbeispiele für diese Methode, sei es zu Tagebüchern, Romanen, Dramen oder Lyrik.[34]

[32]Topic Modeling profitiert auf jeden Fall von der Verfügbarkeit der Information zu Lemma und Wortart, weil mit dieser Information semantisch eng verwandte Wörter zusammengeführt und Funktionswörter sowie Namen besser herausgefiltert werden können, als wenn lediglich die Häufigkeitsinformation verfügbar ist. Zudem ist für Topic Modeling, zumindest bei umfangreicheren Texten wie Theaterstücken und insbesondere Romanen eine Segmentierung der Texte in kleinere Segmente notwendig, um möglichst präzise und semantisch kohärente Topics zu erhalten. Auch hier gilt allerdings, dass eine geringe Segmentgröße grundsätzlich wünschenswert ist, die Verfahren aber von jeder Segmentierung der vollständigen Texte in kleinere Teile profitieren. Ideal wäre für das Topic Modeling vermutlich eine Segmentbildung, bei der Sätze oder sogar Absätze nicht getrennt werden, aber auch eine Segmentierung in Textabschnitte willkürlicher Länge in Wörtern (beispielsweise Segmente einer Länge von 500 Wörtern) ist nützlich. Information zur genauen Position eines Wortes im Text ist nicht notwendig, da das Verfahren in der Regel ohnehin dem Bag-of-Words-Modell folgt. Allerdings ist die Information über die Position eines Segmentes im Gesamttext durchaus nützlich, weil dadurch Muster in der Topic-Prävalenz nach Position im Text (beispielsweise Textanfang vs. Textende) möglich werden.

4.4 Netzwerkanalyse

[33]Die Netzwerkanalyse beruht in der Regel auf der Erkennung der Entitäten, die als Knoten des Netzwerks dienen sollen, etwa Figuren, sowie auf einem Kriterium, aus dem sich eine Relation zwischen den Entitäten ergibt, beispielsweise die Interaktion in einem Dialog oder die Erwähnung in einem bestimmten Segment innerhalb des Textes.[35] Die Durchführung von Netzwerkanalysen setzt dabei in der Regel ein hohes Maß an automatisierter oder händischer Vorverarbeitung eines Textes voraus. In Hinblick auf die Extraktion von Entitäten müssen z. B. Figuren mittels Verfahren der Named Entity Recognition identifiziert werden; ist eine höhere Präzision angestrebt, müssen zudem pronominale Bezüge mittels Verfahren der Coreference Resolution aufgelöst werden. Alternativ können hier – wie etwa bei dramatischen Texten in Gestalt der Sprecherangaben – vorgegebene Strukturinformationen aus den Texten übernommen oder aber eine händische Auszeichnung von Figuren vorgenommen werden. Die Extraktion von Relationen setzt bei avancierteren Verfahren die computerlinguistische Identifikation von Formen der Rede- und Gedankenwiedergabe, einschließlich Adressant- und Adressatenzuweisung voraus (etwa: Wer spricht mit wem? Wer denkt an wen?). Weniger avancierte Verfahren greifen auf vorgegebene Segmentierungen in den Texten zurück, etwa Szenenstrukturen in dramatischen Texten oder Kapitelstrukturen in narrativen Texten (welche Figuren werden in einer Szene/einem Kapitel genannt?). Alternativ werden stärker formale Segmente (etwa Absätze) oder willkürliche Segmentierungen (etwa eine bestimmte Anzahl von Wörtern) als Definitionsgrundlage für die Extraktion von Relationen verwendet.

[34]Obwohl aktuelle Studien in der Netzwerkanalyse literarischer Texte vermehrt komplexe semantische und sprechaktpragmatische Informationen für die Extraktion und Spezifizierung von Relationen verwenden, basiert ein Großteil der bisherigen Forschung vor allem a) auf einer zuverlässigen Identifikation von Entitäten und b) auf einer basalen, recht großzügigen Segmentierung. Auf sehr großen Korpora lassen sich insofern bereits mittels sehr weniger Informationen abstrakte Strukturmodelle vergleichend untersuchen. Eine in diesem Sinne abstrakte Netzwerkanalyse erfordert lediglich die Information darüber, welche Named Entities in welchen großzügig gefassten Textsegmenten (von z. B. 500 Wörtern) vorkommen, sowie die Information über die Position der Segmente im Text, kann aber auf alle übrigen semantischen, syntaktischen oder positionalen Informationen verzichten. Als problematisch erweist sich jedoch das Verfahren der Named Entity Recognition, dessen Ergebnisse in der Regel insbesondere in Hinblick auf die Zuordnung unterschiedlicher Named Entities zu Figuren (z. B. Vater und Ehemann als eine Entität) keine befriedigenden Ergebnisse liefern und insofern regelmäßig die Überprüfung und Nachkorrektur anhand des Volltextes voraussetzen.

4.5 Sentimentanalyse

[35]Ziel der Sentimentanalyse ist die Ermittlung der Polarität (positiv, neutral, negativ) eines Textabschnittes, beispielsweise eines Satzes oder Segmentes.[36] In Erweiterung des Paradigmas kann es auch um die Ermittlung der Prävalenz verschiedener Basisemotionen (Freude, Furcht, Trauer, Glück, etc.) in einem Textabschnitt gehen. Neben dem Fokus – Analyse von Sentiment oder von Emotionen – unterscheiden sich die verschiedenen Ansätze darin, ob für die Analyse Wörterbücher, manuelle Annotationen oder Verfahren des Machine Learning genutzt werden.[37]

[36]Eine Herausforderung für die Sentimentanalyse sind Phänomene wie Verneinung, deren Skopus wörterbuchbasierte Ansätze ermitteln und berücksichtigen müssen, um die korrekte Polarität oder Basisemotion zu ermitteln. Diese Phänomene sind in der Regel nur mit einer syntaktischen Analyse, in jedem Fall aber mit einer gewissen lokalen Sequenzinformation, in den Griff zu bekommen. Gleichzeitig sind sie in literarischen Texten vergleichsweise häufig, da diese ein hohes Maß an so genanntem uneigentlichem Sprechen aufweisen, das u. a. Metaphern, Sarkasmus und Ironie umfasst. Im Falle der manuellen Annotationen müssen hingegen die entsprechend annotierten Textabschnitte – also der Text, aus dem Quellenmaterial zusammen mit einer ihm zugewiesenen Annotation eines Sentiments beziehungsweise einer Emotion – zugänglich sein. Die Machine-Learning-Verfahren werden schließlich üblicherweise mindestens auf vollständigen Sätzen, die z. T. ebenfalls annotiert werden, entwickelt und eingesetzt.[38] Einfache abgeleitete Formate ohne lokale Sequenzinformation sind daher für dieses Verfahren vermutlich nicht geeignet.

[37]Für alle Verfahren gilt außerdem, dass für die Weiter- oder Neuentwicklung eines Verfahrens mehr Textinformationen nötig sind, da sowohl die Wörterbucherstellung als auch das maschinelle Lernen zumeist über Annotationen des Textmaterials in Bezug auf seine Sentimentwerte erfolgt. Außerdem benötigen Verfahren der Sentimentanalyse Sequenzinformationen (Position von Satz oder Segment im Gesamttext), sobald sie Analysen über den Textverlauf vornehmen, etwa die Sentiment-Ausprägung eines Themas oder einer Figur im Verlauf des gesamten Textes oder als Kontraste zwischen Anfang und Ende eines Textes.

4.6 Text Re-Use

[38]Bei Verfahren, die unter Text Re-Use zusammengefasst werden, geht es um die Identifikation von identischen oder sehr ähnlichen Passagen in mehreren Texten oder in einer umfangreichen Textsammlung, wie z. B. den Nachweis von Shakespeare-Zitaten in anderen Texten.[39] Dabei kann der Text Re-Use auch in verschiedenen Sprachen und über verschiedene Medien hinweg analysiert werden.[40]

[39]Aufgrund des zum Teil sehr unterschiedlichen Begriffs von Text Re-Use und durch die unterschiedlichen Textsorten, die in das Untersuchungskorpus integriert werden, unterscheiden sich die Verfahren stark voneinander.[41] In den Grundzügen funktionieren die Verfahren aber so, dass sie nach Ähnlichkeiten in Texten suchen, indem sie diese paarweise vergleichen und Passagen ausfindig machen, die in beiden Texten identisch sind oder aber durch nur wenige Lösch- oder Ergänzungsoperationen ineinander überführt werden können. Das Konzept von Identität oder Ähnlichkeit kann dabei syntaktisch, lexikalisch und/oder semantisch bestimmt sein. Entsprechend reicht die Bandbreite der von Text Re-Use-Anwendungen aufgefundenen Passagen von wörtlichen Zitaten über die Nutzung bestimmter morphosyntaktischer oder syntaktischer Muster bis hin zu freien Paraphrasen oder gar der lexikalisch und syntaktisch kaum sichtbaren Übernahme von Gedankengängen.

[40]Mit Blick auf geeignete abgeleitete Textformate ist allen Zugängen gemeinsam, dass die Sequenzinformation unabdingbar ist. Darüber hinaus basieren Text Re-Use-Zugänge je nach ihrer Modellierung auf erweiterten N-Gramm-Analysen, syntaktischen Analysen oder anderen hier beschriebene TDM-Verfahren wie Topic Modelling und Word Embeddings. Entsprechend sind weitere der oben aufgelisteten Parameter abgeleiteter Textformate einzeln oder kombiniert nötig.

4.7 Sprachmodelle / Word Embeddings

[41]Zahlreiche der Verfahren, die in den Computational Literary Studies verwendet werden, entstammen der Computerlinguistik beziehungsweise dem Natural Language Processing (NLP). Seit 2017 hat sich in der Verarbeitung von natürlicher Sprache ein Ansatz als besonders erfolgreich erwiesen: die Erstellung großer Sprachmodelle mit tiefen neuronalen Netzen, die dann in einem letzten Schritt auf die spezifische Aufgabe abgestimmt werden.[42] Diese Ansätze sind so erfolgreich, dass sie alle anderen weitgehend verdrängt haben, da diese Modelle in sehr hohem Maße Informationen über semantische, syntaktische und andere Aspekte von Sprache enthalten. Allerdings braucht man für ihre Erzeugung die ganzen Texte beziehungsweise zumindest vollständige Sätze. Im Gegenzug ist die Information, aus welchem Einzeltext ein Satz nun gerade kommt (oder zumindest die Information, in welcher Reihenfolge die Sätze in einem Text vorkommen), im Grunde unerheblich. Wichtiger ist, dass die Zusammensetzung der gesamten Textsammlung in ihren wesentlichen Parametern (u. a. Anteile der enthaltenen Textsorten, Anteile verschiedener zeitlicher Abschnitte) bekannt ist. Selbst wenn man so vorgehen würde, dass die großen Sprachmodelle von den Gedächtnisinstitutionen trainiert werden (wofür auch spricht, dass dieser Schritt sehr zeit- und rechenintensiv ist), so würde der letzte Schritt, das Abstimmen auf das spezifische Problem beziehungsweise die spezifische Anwendungsdomäne, immer noch voraussetzen, dass man zumindest eine größere Menge ganzer Sätze für diesen Schritt zur Verfügung hat.

4.8 Zwischenfazit Analyseverfahren

[42]In der Summe zeigt sich hier, dass man wohl zwei große Gruppen von Analyseverfahren unterscheiden kann, wenn man ihre Anforderungen an den Informationsgehalt der abgeleiteten Textformate zu Grunde legt: einerseits diejenigen Formate, die auf eine präzise, insbesondere auch lokale, Sequenzinformation der einzelnen Tokens im Textverlauf angewiesen sind (dazu gehören wohl die meisten Verfahren aus der Sentimentanalyse, einige Verfahren der Netzwerkanalyse, sicherlich fast alle Verfahren des Text Re-Use sowie das Erstellen von Sprachmodellen); und andererseits diejenigen Formate, die diese Art von Sequenzinformation nicht erfordern, aber von einer nicht zu großen Segmentlänge sowie der Information über die Reihenfolge der Segmente im Gesamttext profitieren (dazu gehören sicherlich die Autorschaftsattribution, die Extraktion distinktiver Merkmale und das Topic Modeling, gegebenenfalls auch einige Verfahren der Netzwerkanalyse).

[43]Über die Nützlichkeit für bestimmte Analyseverfahren in den Digital Humanities hinaus müssen abgeleitete Textformate weitere Kriterien erfüllen, damit ihre Erstellung und Publikation in der Praxis tatsächlich umgesetzt werden kann. Diese kommen insbesondere aus den Rechtswissenschaften und betreffen die urheberrechtliche Unbedenklichkeit der abgeleiteten Formate. Wann die abgeleiteten Textformate so gestaltet sind, dass die verbliebenen Informationen klar nicht mehr urheberrechtlich relevant sind, hängt von mehreren Faktoren ab, die von Karina Grisse und Florian Jotzo genauer diskutiert werden,[43] zu denen aber sicherlich Folgendes gehört:

• Es handelt sich weder um Vervielfältigungen noch um Bearbeitungen der Primärtexte im Sinne des Urheberrechtsgesetzes
• Die Menge an zusammenhängendem Text liegt unter einer bestimmten Schwelle
• Der Werkgenuss (im Sinne der ›normalen‹ Lektüre durch einen Menschen) ist ausgeschlossen
• Der Grad der Wiedererkennbarkeit des Textes, insbesondere seiner individuellen ästhetischen Qualitäten, ist für Normalbürger*innen gering
• Die Rekonstruktion des Textes (oder auch kleinerer, aber urheberrechtlich relevanter Passagen des Textes) ist nicht trivial und/oder mit Unsicherheiten behaftet

[44]Aus der Perspektive der Gedächtnisinstitutionen (also Bibliotheken, Archive, Museen, die digitale, urheberrechtlich geschützte Textbestände vorhalten) und damit aus Anbietersicht, sind abgeleitete Formate zudem dann geeignet, wenn sie leicht zu erstellen, zu speichern und vorzuhalten sind. Dies kann u. a. bedeuten, dass sie für jedes Textdokument unabhängig von anderen Dokumenten erstellbar sein sollten, damit ein inkrementeller Bestandsaufbau abgeleiteter Formate möglich ist. Dies ist bei den token-basierten Formaten der Fall, nicht aber insbesondere bei den auf Wort-Embeddings basierenden Formaten, die zur Erstellung umfangreiche Textbestände als Gesamtheit erfordern.[44]

[45]Aus Anwendungsperspektive ist sicherlich unabhängig von der gewählten Analysemethode und dem spezifischen Format wünschenswert, dass abgeleitete Textformate in einem einfach zu verarbeitenden Datenformat vorliegen, was insbesondere bei einfach strukturierten und weit verbreiteten, standardisierten Formaten wie XML, JSON oder CSV der Fall sein dürfte. Außerdem sollten abgeleitete Textformate mit reichhaltigen, auch fachwissenschaftlich relevanten Metadaten, publiziert werden, sodass die Dokumentation der Provenienz der Texte und ihre fachwissenschaftliche Einordnung gewährleistet sind.

[46]Ob diese Kriterien bei den hier vorgeschlagenen Textformaten jeweils gegeben sind, wird im folgenden Abschnitt kurz zusammengefasst dargestellt.

5.1 Tokenbasierte Textformate

[50]Zunächst gehen wir auf tokenbasierte Textformate ein, die zugleich solche Formate sind, bei denen die Grundeinheit der Erstellung und Publikation in der Regel einzelne, vollständige Texte sind. Dies gilt für die anschließend vorgestellten Textformate, die auf N-Grammen oder Vektoren beruhen, nicht in gleicher Weise.

5.1.1 Einfache Term-Dokument-Matrix

[51]Das erste, sehr einfache abgeleitete Textformat ist die einfache Term-Dokument-Matrix. Sie besteht für jeden Einzeltext aus einer Liste der vorkommenden Tokens und ihrer absoluten Häufigkeit im Ausgangstext. Dabei kann zunächst für jeden Ausgangstext eine Datei erhalten bleiben (Tabelle 1). In der Praxis kann durch Zusammenführen mehrerer solcher Häufigkeitslisten eine ganze Textsammlung in Form einer Term-Dokument-Matrix repräsentiert werden, deren Größe von der Anzahl der enthaltenen Texte und der Anzahl der Types (d. h. der unterschiedlichen Wörter beziehungsweise des Gesamtvokabulars) bestimmt wird.

[52]Aufgrund der prinzipiellen Einfachheit des Formats enthält es nur eine kleine Anzahl von Parametern, die es genauer spezifizieren:

• Welche Tokenisierung angesetzt wird, d. h. welche Definition von Token für die Segmentierung des Textes in einzelne Tokens, beispielsweise Wörter, verwendet wird
• Welche Informationen auf Token-Ebene jeweils mitgeführt werden (und dafür auch erhoben werden müssen), d. h. ob lediglich die Wortform des Tokens, oder aber weitere Informationen über das Token – wie beispielsweise das Lemma, die Wortart, morphologische Information, die syntaktische Rolle im Satz oder eine Repräsentation der Wortbedeutung, beispielsweise als Wortvektor (siehe hierzu auch Abschnitt 5.2.2) –, angeboten werden

[53]Dieses abgeleitete Textformat kann folgendermaßen eingeschätzt werden:

• Für einige Analyseverfahren, insbesondere für einfache Varianten der Klassifikation und des Clustering beispielsweise für Fragen der Autorschaftsattribution, und für einfache Distinktivitätsmaße ist das Format geeignet. Für viele andere Verfahren, darunter für Topic Modeling, Sentimentanalyse, Netzwerkanalyse oder Text Re-Use ist dieses Textformat hingegen nicht ausreichend informationsreich: Insbesondere die vollständige Abwesenheit von Sequenzinformation auf allen Ebenen führt dazu, dass keine Verfahren eingesetzt werden können, die die (im Falle der Belletristik oft sehr umfangreichen) Texte nicht nur als Ganzes betrachten
• Aus technischer Sicht ist sicherlich ein Vorteil dieses Textformats, dass es mit relativ trivialen Mitteln erstellt werden kann. Wie einfach das ist, hängt allerdings insbesondere vom oben genannten, zweiten Parameter ab. Denn die dafür jeweils notwendige linguistische Annotation ist nicht in allen Fällen trivial und in so gut wie keinem Fall gibt es nur eine einzige, standardisierte Vorgehensweise. Aus Anwendersicht ist zudem die einfache Nutzbarkeit eines solchen Formats ein Vorteil. Viele relevante Tools (u. a. Excel, Calc, R und Python) können eine solche Repräsentation in Form einer CSV-Datei direkt importieren und weiter verarbeiten
• Aus rechtlicher Sicht ist die einfache Term-Dokument-Matrix ein ganz klar unbedenkliches Format. Eine Rekonstruktion des Ausgangstextes ist ebenso klar ausgeschlossen wie der Werkgenuss durch die Leser*innen oder auch nur die intuitive Wiedererkennbarkeit des Ausgangstextes. Dass die stilometrische Autorschaftsattribution in der Lage ist, das individuelle stilistische Profil eines Autors aus einer solchen Matrix abzuleiten, bedeutet nicht, dass die individuellen Eigenschaften des Autors ohne technische Unterstützung erkennbar wären
• Aus Anbietersicht schließlich ist das Format ebenfalls vergleichsweise unproblematisch, da es einfach erstellt werden kann, nach und nach Texte transformiert werden können und keine besonders umfangreichen Datenbestände entstehen

[54]In der Summe kann die Term-Dokument-Matrix demnach als rechtlich unbedenkliches, technisch eher unproblematisches, in der Anwendung aber eingeschränkt nützliches Format beschrieben werden. Es stellt damit in gewisser Weise die Baseline der abgeleiteten Formate dar.

5.1.2 Segmentweise Aufhebung der Sequenzinformation

[55]Die Grundidee dieses abgeleiteten Formats ist es, die Reihenfolge der Wörter im Textverlauf durcheinanderzuwirbeln. Entscheidend ist hier allerdings, dass dies nicht für einen Einzeltext als Ganzes vorgenommen wird (dann wäre das Format bezüglich des Informationsgehalts mit der einfachen Term-Dokument-Matrix identisch), sondern jeweils nur innerhalb kleinerer Segmente, wobei die ursprüngliche Reihenfolge dieser Segmente im Text aber beibehalten wird (Auszug 1). Es erfolgt also eine selektive Reduktion der Sequenzinformation. Die wesentlichen Parameter dieses Textformats sind wie bei den meisten Textformaten die Tokenisierung und die über das Token verfügbare Information. Wesentlich sowohl aus Anwendungs- als auch aus rechtlicher Perspektive ist hier allerdings der zusätzliche Parameter der Länge der Segmente in Tokens.

[56]

                     von_APPR_von Hohen-Cremmen_NN_Hohen-Cremmen Georg_NE_Georg zu_APPR_zu
                     heller_ADJA_hell des_ART_die fiel_VVFIN_fallen schon_ADV_schon
                     bewohnten_ADJA_bewohnt In_APPR_in der_ART_die <SEG>
                     Mittagsstille_ADJA_Mittagsstille Gartenseite_NN_Gartenseite und_KON_und
                     erst_ADV_erst Park-_TRUNC_Park- Dorfstraße_NN_Dorfstraße ,_PUN_,
                     Seitenflügel_NN_Seitenflügel breiten_ADJA_breit die_ART_die hin_ADV_hin
                     während_KOUS_während angebauter_ADJA_angebaut der_ART_die nach_APPR_nach
                     ein_ART_eine Schatten_NN_Schatten auf_APPR_auf einen_ART_eine
                     rechtwinklig_ADJD_rechtwinklig <SEG> großes_ADJA_groß ,_PUN_,
                     auf_APPR_auf mit_APPR_mit in_APPR_in ein_ART_eine weiß_ADJD_weiß und_KON_und
                     über_APPR_über quadrierten_ADJA_quadrierten und_KON_und diesen_PDAT_dies
                     auf_APPR_auf Mitte_NN_Mitte seiner_PPOSAT_sein dann_ADV_dann
                     Fliesengang_NN_Fliesengang hinaus_ADV_hinaus einen_ART_eine grün_ADJD_grün
                     <SEG>

[57]Bei diesem abgeleiteten Textformat gibt es keine Abhängigkeit zwischen den Texten in einer Textsammlung, sodass die Texte frei rekombiniert werden können. Die Größe der Segmente hat keine signifikante Auswirkung auf die Größe der resultierenden Dateien, weil nur die Reihenfolge der Merkmale verändert wird. Der Eingriff in die segmentübergreifende Textstruktur ist minimal, das lesende Verständnis des Textes erscheint aber schon bei sehr kleinen Segmentgrößen so gut wie ausgeschlossen.

[58]Dieses abgeleitete Textformat kann folgendermaßen eingeschätzt werden:

• Aus der Anwendungsperspektive erscheint dieses Textformat für eine vergleichsweise große Anzahl von Analysemethoden nützlich, vorausgesetzt, die Segmentlänge wird nicht zu groß angesetzt (<50 Tokens wären sicherlich in einigen Szenarien ausreichend klein): für einfache stilometrische Verfahren auf jeden Fall, zudem auch für avanciertere Verfahren und das Ermitteln distinktiver Merkmale, wofür ein segmentierter Text erforderlich ist, um zu sampeln oder die Dispersion der Merkmale zu berücksichtigen.[47] Für Topic Modeling ist das Format ebenfalls gut geeignet. Nur bei einer sehr geringen Segmentlänge oder bei einer Segmentierung in Sätze erscheint eine einfache Sentimentanalyse denkbar. Verfahren der Netzwerkanalyse sind denkbar, wären aber auf eine vorgängige, hochwertige Named Entity Recognition und Coreference Resolution angewiesen. Mit diesem Format nicht durchführbar erscheinen avanciertere Verfahren des Text Re-Use, die stark auf einer feingranularen Sequenzinformation beruhen, oder nicht-triviale Verfahren aus dem Bereich der Sentimentanalyse
• Aus technisch-informatischer Perspektive ist dieses Format unproblematisch, weil es einfach zu erstellen ist und keine besonderen Anforderungen an Speicherkapazitäten oder Datenstruktur erfordert. Es kann eine Datei pro Gesamttext erstellt werden, wodurch ein progressiver Bestandsaufbau ermöglicht wird; zudem erlaubt dies die einfache, nachträgliche Kombination von Texten zu einem je nach Forschungsfrage zusammengestellten Korpus
• Aus rechtlicher Perspektive ist eine Rekonstruktion des Ausgangstextes mit einer so hohen Zuverlässigkeit, dass der Ausgangstext tatsächlich gelesen und verstanden werden könnte, schon bei einer Segmentlänge von >50 aufgrund der exponentiell steigenden Anzahl der möglichen Kombinationen kaum noch denkbar. Mit höherer Segmentlänge sinkt die Rekonstruierbarkeit weiter ab. Bei einer geringen Segmentlänge (beispielsweise <10 Tokens) oder bei einer satzweisen Segmentierung steigt sie hingegen; dann wäre eine Rekonstruierbarkeit des Ursprungstextes in einzelnen Fällen (also nicht für den Gesamttext, aber doch für mehrere längere Abschnitte des Textes) denkbar. Die genauen Verhältnisse wären allerdings erst empirisch nachzuweisen.

[59]Damit handelt es sich hier um ein sehr empfehlenswertes Format, das bei entsprechend geeigneter Wahl des Parameters Segmentlänge (im Bereich von um die 50 Tokens) sowohl aus der Anwendungsperspektive für eine Reihe von Verfahren nützlich ist als auch aus rechtlicher Perspektive als unbedenklich eingeschätzt werden kann. Zu beachten ist zudem, dass das erste abgeleitete Textformat, die einfache Term-Dokument-Matrix, aus diesem Format ebenfalls generiert werden kann (nicht aber umgekehrt).

5.1.3 Selektiv reduzierte Information über einzelne Tokens

[60]Die Grundidee dieses Formats ist es, die vollständige Sequenzinformation im Text beizubehalten, um bestimmte Verfahren zu ermöglichen, die auf diese Information angewiesen sind, dabei aber so viel Information über die einzelnen Tokens zu entfernen, dass dennoch von einer urheberrechtlichen Unbedenklichkeit ausgegangen werden kann. Zahlreiche Varianten sind denkbar, aber eine aus Anwendungssicht nützliche Implementierung dieses Textformats könnte folgendermaßen gestaltet sein: Ausgangspunkt wäre erneut ein tokenisierter und annotierter Text, sodass für jedes Token mindestens Wortform, Lemma und Wortart verfügbar sind. Dann wird beim Erstellen des Textformats aber beispielsweise für alle Funktionswörter (also u. a. Präpositionen, Pronomina und Artikel) die Information über die Wortform und das Lemma entfernt und lediglich die Information über die Wortart beibehalten (Auszug 2). Dadurch bleibt die Sequenzinformation vollständig erhalten, nicht nur in Bezug auf die Abfolge der Inhaltswörter, sondern auch in Bezug auf den exakten Abstand der Wörter zueinander im Ausgangstext. Wichtigster Parameter dieses Textformats ist sicherlich, für welche Wortarten die Information über Wortform und Lemma entfernt wird und für welche nicht.

[61]

                     APPR Front_NN_Front ART schon_ADV_schon APPR Kurfürst_NN_Kurfürst
                     Georg_NE_Georg Wilhelm_NE_Wilhelm APPR ART Familie_NN_Familie APPR
                     Briest_NN_Briest bewohnten_ADJA_bewohnt Herrenhauses_NN_Herrenhaus APPR
                     Hohen-Cremmen_NN_Hohen-Cremmen fiel_VVFIN_fallen heller_ADJA_hell
                     Sonnenschein_NN_Sonnenschein APPR ART Mittagsstille_NN_Mittagsstille
                     Dorfstraße_NN_Dorfstraße PUN KOUS APPR ART TRUNC KON Gartenseite_NN_Gartenseite
                     hin_ADV_hin ART rechtwinklig_ADJD_rechtwinklig angebauter_ADJA_angebaut
                     Seitenflügel_NN_Seitenflügel ART breiten_ADJA_breit Schatten_NN_Schatten
                     erst_ADV_erst APPR ART weiß_ADJD_weiß KON grün_ADJD_grün
                     quadrierten_ADJA_quadrierten Fliesengang_NN_Fliesengang KON dann_ADV_dann APPR
                     PDAT hinaus_ADV_hinaus APPR ART großes_ADJA_groß PUN APPR PPOSAT Mitte_NN_Mitte
                     APPR ART Sonnenuhr_NN_Sonnenuhr KON APPR PPOSAT Rande_NN_Rand APPR
                     Canna_NN_Canna indica_NE_indica KON Rhabarberstauden_NN_Rhabarberstaude
                     besetztes_ADJA_besetzt Rondell_NN_Rondell warf_VVFIN_werfen PUN 

[62]Dieses abgeleitete Textformat kann folgendermaßen eingeschätzt werden:

• Dieses Textformat ist (in der beschriebenen Form) für die stilometrische Autorschaftsattribution kaum geeignet, weil für die Stilometrie gerade die feinen Unterschiede in den Häufigkeiten der einzelnen Funktionswörter entscheidend sind. Topic Modeling würde durch ein solches Format aber gut unterstützt, da hier meist ohnehin die Funktionswörter entfernt werden. Für die Ermittlung distinktiver Merkmale wäre das Verfahren nur geeignet, wenn es um die Ermittlung distinktiver Inhaltswörter oder distinktiver Wortarten geht. Für die Netzwerkanalyse ist auch dieses Format nur eingeschränkt nützlich, da zwar die Eigennamen von Personen und ihr Abstand im Text ersichtlich bleiben könnten, Informationen wie Koreferenz jedoch nicht rekonstruierbar sind. Avanciertere Verfahren der Netzwerkanalyse, die etwa die Zuordnung von Rede- oder Gedankenwiedergabe für die Extraktion und Spezifizierung von Relationen verwenden, sind nicht möglich
• Für Verfahren wie den Text Re-Use hat das Format großes Anwendungspotential, denn Text Re-Use operiert ohnehin häufig mit N-Grammen, die auf den Lemmata der Inhaltswörter reduziert sind, um den noise zu reduzieren, der von kleineren stilistischen Varianzen produziert wird, und/oder auf die Inhaltswörter fokussiert ist. Einzig für die Sentimentanalyse wird auch dieses Format wenig gewinnbringend sein, weil vermutlich zu wenig syntaktische Information für die Berücksichtigung von Verneinungen u. ä. erhalten bleibt. Dies wäre allerdings je nach Parameter des Formats auch empirisch zu prüfen
• Aus urheberrechtlicher Sicht erscheint hier problematisch, dass die Wiedererkennbarkeit des Textes aufgrund der Substantive und Eigennamen, die in der ursprünglichen Reihenfolge erhalten bleiben, vergleichsweise hoch ist, auch wenn von einem Werkgenuss wohl nicht die Rede sein kann. Dieser Effekt könnte durch das zusätzliche Entfernen der Eigennamen deutlich reduziert werden. Die Rekonstruierbarkeit erscheint für den korrekten Gesamttext kaum möglich, für kleinere Werkteile aber eventuell denkbar

5.2 Textformate auf Korpus- oder Subkorpusebene

[63]Die im vorigen Abschnitt verhandelten Textformate zeichnen sich alle dadurch aus, dass sie für jeden Einzeltext für sich genommen generiert werden können. Dies ist bei den folgenden Formaten anders, die den Einzeltext überschreiten können (bei den N-Grammen) beziehungsweise grundsätzlich unter Rückgriff auf ein umfangreicheres Korpus ermittelt werden (Wort-Embeddings).

5.2.1 N-Gramme

[64]N-Gramme sind Sequenzen von mehreren aufeinander folgenden Tokens, ohne dass diese einer lexikalischen Einheit oder einer Multi-Word Expression entsprechen müssen. Im einfachsten Falle werden bei einem abgeleiteten Textformat, das auf N-Grammen beruht, die Häufigkeiten der in einem Text enthaltenen N-Gramme erhoben, ähnlich wie bei der einfachen Term-Dokument-Matrix (Abschnitt 5.1.1). Weil sie lokale Sequenzinformation beinhalten, sind N-Gramme als Hinweise auf Phänomene wie Kollokationen, Phraseme und andere lexikalisch-stilistische Muster für viele Analyseverfahren relevant. Aus diesem Grund wäre dieses Format besser als die bisher vorgestellten Formate für Text Re-Use geeignet.

[65]Solange die Einheit des jeweiligen Einzeltextes nicht aufgelöst wird, dürfte allerdings aus urheberrechtlicher Perspektive selbst eine einfache Aufstellung der Häufigkeiten von N-Grammen der Größe 2–5 problematisch sein, weil durch die schindelartige Überlagerung mehrerer N-Gramme längere Textsequenzen rekonstruiert werden könnten. Dies gilt selbst dann als problematisch, wenn nicht der vollständige Text rekonstruiert werden kann, sondern nur eine größere Menge von Fragmenten. Wenn die N-Gramm-Häufigkeiten sich auf kleinere Segmente innerhalb eines Textes beziehen, potenziert sich das Problem noch, weil die Rekonstruierbarkeit erleichtert wird. Im Falle des Formats, das auf der selektiv reduzierten Information über einzelne Tokens beruht (Abschnitt 5.1.3), sind allerdings verschiedenste N-Gramme indirekt enthalten, denn aus der ja vollständig vorhandenen, wenn auch nur lückenhaft mit Wortformen versehenen Tokensequenz lassen sich beliebig lange (allerdings wiederum nur teilweise mit Wortformen versehene) N-Gramme bilden.

[66]Es ist allerdings auch möglich, sich vom Einzeltext als Bezugsgröße zu lösen und die N-Gramm-Häufigkeiten über mehrere beziehungsweise sehr viele Einzeltexte hinweg zu berechnen. Die Parameter eines solchen Formats sind (neben der Tokenisierung und Annotation) die N-Gramm-Länge und die Bezugsgröße für die N-Gramm-Häufigkeiten, beispielsweise jeweils alle Texte einer Textsorte und/oder eines Jahres (Tabelle 2).

[67]Ein solches Format kann folgendermaßen eingeschätzt werden:

• Aus Anwendungsperspektive ist das Einsatzspektrum eines solchen Textformats sicherlich geringer als bei den einzeltextbasierten N-Grammen. Immerhin sind solche Formate aber für bestimmte Fragestellungen und Anwendungen, die sich nicht auf den Einzeltext beziehen, immer noch informativ genug, da N-Gramme auch Informationen zum Sprachgebrauch enthalten. Solche Korpora wären bereits nützlich, um Einsichten in die sprachlichen Regeln bestimmter Felder zu gewinnen, z. B. welche Worte mit einer gewissen Wahrscheinlichkeit auf andere Worte folgen. Sie würden aber auch die Entwicklung und Verbesserung ganz praktischer Anwendungen, z. B. die Verbesserung von themenspezifischer Spracherkennung, unterstützen können. Sind die zugrundeliegenden Teilkorpora ausreichend spezifisch, ist auch die Extraktion distinktiver N-Gramme im Vergleich mehrerer Teilkorpora möglich
• Die Rekonstruierbarkeit dürfte im Gegenzug deutlich eingeschränkt sein. Wenn nun Bibliotheken oder Archive sehr große Bestände etwa als 5-Gramme anbieten und dabei (wie Google) die N-Gramme des Korpus zählen, die in allen Büchern eines Jahres vorkommen, ist es sehr viel schwieriger, wenn nicht unmöglich, einen bestimmten Text oder auch nur längere Passagen beliebiger Texte aus den N-Grammen wiederherzustellen. Dies gilt insbesondere dann, wenn man dem Modell Googles auch in dem Punkt folgt, dass alle N-Gramme, die im Gesamtkorpus eine bestimmte Mindesthäufigkeit nicht haben, auch nicht im Format enthalten sind
• Eine Herausforderung aus Anbietersicht stellt hierbei die Frage dar, welche Aggregation von Einzeltexten innerhalb eines Gesamtkorpus (also z. B. alle digitalen Texte einer Bibliothek) für die Forschung relevant sind und an welchem Punkt eine rechtlich relevante Grenze überschritten wird: Neben der chronologischen Ordnung (jeweils die N-Gramm-Häufigkeiten aller Texte aus einem Jahr), die für Begriffs- und Ideengeschichte, aber auch Sprachgeschichte und andere historische Interessen brauchbar ist, könnte man sich auch andere Aggregationen vorstellen, die eher an Themen beziehungsweise Sachgruppen oder Textsorten orientiert sind (z. B. alle medizinischen oder auf die Wirtschaft bezogenen Texte). Es stellt sich dabei die Frage, wie klein die Gruppe sein kann und ob man sich eine Metrik vorstellen kann, die es einer Bibliothek leicht macht, zu entscheiden, ab welchem Punkt der Herstellbarkeit von längeren N-Gramm-Ketten die Bibliothek davon Abstand nehmen sollte. Löscht man die N-Gramme, die seltener vorkommen als ein bestimmter Schwellenwert besagt, dann kann man nicht alle, aber immer noch manche längeren N-Gramm-Ketten zusammensetzen, nämlich gerade da, wo häufig verwendete sprachliche Muster genutzt werden; eine entsprechende Metrik müsste also probabilistisch vorgehen

5.2.2 Wort-Embeddings

[68]Neben den tokenbasierten Textformaten und den N-Grammen spielen auch vektorbasierte Formate eine zunehmend wichtige Rolle. Die technische Entwicklung im Bereich der computergestützten Verarbeitung natürlicher Sprache (Natural Language Processing) hat aufgrund von vektorbasierten Textformaten seit etwa 2013 enorme Fortschritte zu verzeichnen. Obwohl die Ziele in der NLP-Forschung – hier geht es primär um die Mensch-Maschine-Interaktion – von den zuvor genannten Analyseverfahren der DH teilweise abweichen, werden die entwickelten Verfahren später oft für die DH angepasst oder weiterentwickelt. Wie bei Topic Modeling und Sentimentanalyse ist davon auszugehen, dass viele der vektorbasierten NLP-Verfahren, die derzeit noch wenig in den DH Anwendung gefunden haben, in Zukunft auch dort vermehrt eine Rolle spielen werden.

[69]Die Grundidee vektorbasierter Textformate ist, Sprache nicht als symbolisches Zeichensystem zu betrachten, sondern Wörter und größere Einheiten wie Sätze oder Dokumente in einem algebraischen Vektorraum abzubilden. Man erhält so eine Informationsanreicherung der Wörter über das reine Symbol hinaus, da auch semantische und syntaktische Informationen im zum Wort gehörenden Vektor repräsentiert werden. Allerdings haben vektorbasierte Textformate auch einen offensichtlichen Nachteil, der gerade in den DH entscheidend sein kann: Durch die Umwandlung von Text in Vektoren gehen explizite, für qualitative Analysen oft entscheidende, Informationen verloren. Das Potential dieser Methoden für die Analyse von Textbeständen sowie als urheberrechtlich unbedenkliches Textformat ist aber naheliegend und soll im Folgenden skizziert werden.

[70]Die erste Generation der vektorbasierten Textformate basiert auf dem Zählen des Auftretens von Wörtern im direkten Umfeld eines Wortes. Ein Wort wird somit als die Häufigkeit der anderen Wörter im Korpus repräsentiert und hat damit Ähnlichkeit zu den schon erwähnten Term-Dokument-Matrizen. Mit dem Word2vec-Verfahren wurden ab 2013 die Wort-Embeddings populär, die mit Verfahren des maschinellen Lernens Parametervektoren aus großen Textsammlungen schätzen.[48] Jedes Token im Vokabular wird demnach als ein Vektor von reellen Zahlen (üblicherweise wenige Hunderte) dargestellt und nicht mehr als Vektor von natürlichen Zahlen mit der Länge der Anzahl der Types im Korpus (mehrere Tausend). Allerdings haben nun die Werte eines Word Embedding Vectors keine explizit interpretierbare Bedeutung mehr. Wo bei den zählbasierten Wortvektoren jeder Eintrag die Häufigkeit des Auftretens eines Wortes im Umfeld repräsentierte, enthält ein Wort-Embedding latente Informationen über die Wahrscheinlichkeit des Auftretens von Wörtern im Umfeld. Diese Art von Wort-Embeddings ist somit komplementär zu den bereits erwähnten abgeleiteten Textformaten zu verstehen. Jeder unterschiedlichen Wortform, alternativ auch jedem unterschiedlichen Lemma, im Korpus wird exakt ein eindeutiger Wortvektor zugeordnet. Dieser repräsentiert die distributionale Semantik dieses Wortes in Bezug auf das gesamte Korpus. Es besteht somit eine global eindeutige Beziehung zwischen Vektor und Token.

[71]In diesem Zusammenhang ergeben sich eine Reihe von denkbaren Szenarien, je nachdem, welche Art von Informationen im Rahmen eines abgeleiteten Textformats angeboten werden.

• Erstens könnte man alle Wortformen in den Ausgangstexten durch ihre Vektoren ersetzen und auch sämtliche Sequenzinformation beibehalten, allerdings um den Preis, dass jegliche Interpretierbarkeit des Textes unmöglich wird. Da bei einem solchen Format dennoch jede Wortform durch einen eindeutigen Vektor repräsentiert ist, kann beispielsweise stilometrische Autorschaftsattribution damit weiterhin bewerkstelligt werden, mit der Einschränkung allerdings, dass die Merkmale nicht interpretierbar sind, weil die jeweils dazugehörige Wortform nicht vorliegt. Aus demselben Grunde wäre ein Verfahren wie Topic Modeling mit einem solchen Textformat zwar technisch möglich, aber wenig aufschlussreich. Urheberrechtlich dürfte das Format völlig unbedenklich sein, insbesondere wenn das Vokabular der so repräsentierten Texte nicht bekannt ist
• Zweitens könnte man das Word Embedding Model als solches publizieren, also die Gesamtheit des Vokabulars einer Textsammlung mit ihren jeweiligen Wortvektoren. Dies ist urheberrechtlich ebenfalls unproblematisch, weil es keinerlei Bezug zu bestimmten Einzeltexten gibt. Allerdings handelt es sich hier dann in erster Linie um eine Ressource zur syntaktisch-semantischen Annotation von Texten, die auf einen geeigneten Textbestand im Sinne einer weiteren Annotationsschicht neben Lemmata und Wortarten angewandt werden könnte. Erstellt man solche Modelle (ähnlich wie für die N-Gramme vorgeschlagen) für verschiedene Subkorpora, kann der Vergleich der Modelle Einblicke in die Sprachentwicklung oder in die konzeptuelle Struktur bestimmter Textsorten bieten[49]
• Schließlich könnte man die oben beschriebenen Textformate über die Annotation nach Lemma und Wortart hinaus mit einer solchen syntaktisch-semantischen Annotationsschicht ausstatten. Eine gewisse Passung zwischen Word Embedding Model und zu annotierenden Texten ist dafür allerdings Voraussetzung. Urheberrechtlich würde dies keinen entscheidenden Unterschied in der Beurteilung des jeweils in Frage stehenden tokenbasierten Textformats bedeuten; vorteilhaft wäre dies aber für verschiedenste Analyseverfahren, die so die Information über die semantischen und syntaktischen Ähnlichkeiten oder Unterschiede der Tokens nutzen könnten

5.2.3 Kontextualisierte Embeddings

[72]Der nächste essentielle Schritt zur Verbesserung bestehender NLP-Verfahren wurde durch das Kontextualisieren von Wort-Embeddings erreicht. Dabei wird Satz für Satz und Wort für Wort erst eine Ersetzung durch Wort-Embeddings durchgeführt, die danach jeweils individuell transformiert werden in Abhängigkeit der Worte die davor und danach in dem konkreten Satz auftreten. Die ersten Verfahren, die erfolgreich dafür eingesetzt wurden, sind rekurrente neuronale Netze, konkret die Long-Short-Term-Memories, und seit 2017 transformerbasierte Modelle, speziell das BERT-Modell.[50] Das Grundprinzip besteht darin, statt eines global statischen Vektors pro Type im Korpus einen individuellen Vektor für jedes Token in jedem bestimmten Satzkontext zu generieren. Wäre zuvor in zwei unterschiedlichen Sätzen, die beide ein Wort gemeinsam haben, dieses Wort durch denselben Vektor repräsentiert worden, ist bei kontextualisierten Embeddings jeder Wortvektor unterschiedlich, weil die umgebenden Wörter im Satz unterschiedlich sind. Damit hat jedes im Korpus auftretende Token prinzipiell eine individuelle Vektorrepräsentation und der Rückschluss von Vektor auf Wort ist nicht mehr trivial möglich.

[73]Die kontextualisierten Embeddings haben damit zwei entscheidende Vorteile gegenüber den bisher dargelegten Textformaten:

• Die Rekonstruktion des ursprünglichen Textes, in dem alle Tokens durch ein kontextualisiertes Embedding ersetzt wurden, ist vermutlich nicht möglich, wenn das Mapping nicht für jedes einzelne Token explizit mit vorliegt. Um eine belastbare Aussage hierzu zu treffen, muss noch theoretische und empirische Forschung betrieben werden. Es lässt sich allerdings vermuten, dass Sätze ab einer gewissen Wortlänge (ca. >3) nicht rekonstruierbar sind. Dies gilt, ohne die Ursprungstexte in irgendeiner Art und Weise zu vereinfachen, also mit vollständigem Erhalt der Wortreihenfolge und Interpunktion. Dies wiederum hat erhebliches Potential für die Forschung auf Satzebene, u. a. zur Satzähnlichkeit und damit auch für Text Re-Use
• Die in einem kontextualisierten Embedding beinhaltete syntaktische und semantische Information ist der anderer Repräsentationsformate deutlich überlegen. Die mit solchen Verfahren gewonnen Ergebnisse auf Analyse-Benchmarks wie Sentimentanalyse, semantische Textähnlichkeit oder Paraphrasierung erreichen weit bessere Ergebnisse als bisherige Verfahren; oft übertreffen diese sogar menschliche Fähigkeiten von Nicht-Expert*innen[51]

[74]Vor diesem Hintergrund sind kontextualisierte Embeddings ein vielversprechender Kandidat für informationsreiche abgeleitete Textformate, die urheberrechtlich unbedenklich sind. Die Einschränkungen für die qualitative Forschung durch den Verzicht auf eine explizite Interpretierbarkeit der Worte bleiben aber auch hier bestehen. Damit befindet man sich mitten in der aktuellen Debatte über die Erklärbarkeit und Verlässlichkeit moderner Verfahren der künstlichen Intelligenz. Ebenso relevant wären kontextualisierte Embedding-Modelle beziehungsweise Transformer. Diese erlauben es, die kontextfreien und die kontextsensitiven Vektoren für Texte zu gewinnen, was zahlreiche Anwendungen in allen modernen digitalen textanalytischen Verfahren erlaubt.

5.3 Zwischenfazit zu den abgeleiteten Textformaten

[75]Die Übersicht über einige denkbare abgeleitete Textformate zeigt, dass es durchaus mehrere vielversprechende Formate gibt, die in der Forschung nutzbringend eingesetzt werden können und die auch aus rechtlicher Sicht umsetzbar erscheinen. Eine kompakte Übersicht bietet Abbildung 1.[52]

Abb. 1: Übersicht über die abgeleiteten Textformate, ihre Nützlichkeit in der Forschung und ihre urheberrechtliche Einschätzung. [Hinzmann / Schöch 2020]

[76]Eine linguistische Annotation zumindest mit der Information über das Lemma und die Wortart erscheint immer wünschenswert und aus rechtlicher Sicht unproblematisch. Die Nutzung eines geeigneten Word Embedding Models im Sinne einer semantisch-syntaktischen Annotation ist ebenso von Vorteil. Der Parameter der Segmentlänge wird voraussichtlich eine Abwägungsfrage bleiben: Aus der Perspektive der Analyseverfahren sind kleine Segmentlängen grundsätzlich besser (nicht zuletzt, weil eine Aggregation auf größere Segmente immer möglich, eine Aufteilung in kleinere Segmente hingegen im Nachhinein nicht möglich ist). Aus rechtlicher Sicht steigt aber in der Regel die Sicherheit, mit der ein Format urheberrechtlich irrelevant ist, mit größerer Segmentlänge an.

[77]Nicht alle denkbaren abgeleiteten Textformate sind hier diskutiert worden. Einige sind rechtlich klar bedenklich, andere für die Forschung wenig nützlich. Urheberrechtlich problematisch sind insbesondere Formate, die längere Folgen von Worten beinhalten, also Formate, bei denen die lokale Sequenzinformation nur teilweise aufgehoben ist. Darunter fallen recht klar Formate, die aus vollständigen Sätzen in durcheinandergewirbelter Form bestehen oder aus einem Sample vollständiger Sätze. Beide Formate sind aus der Sicht der Analyseverfahren, die lokale Sequenzinformation erfordern, wie beispielsweise Sentimentanalyse oder Text Re-Use, besonders attraktiv, auch wenn es in den Digital Humanities häufig erforderlich erscheint, dass Analysen auf dem vollständigen relevanten Sprachmaterial beruhen; sie sind aber aus rechtlicher Hinsicht eher problematisch.

[78]Nicht verschwiegen werden sollen einige inhärente Nachteile, die mit dem Modell der abgeleiteten Textformate verbunden sind und die ebenfalls in der Übersicht deutlich werden. Für diese sind sicherlich geeignete Minimierungsstrategien zu entwickeln. Dazu gehört erstens die nicht vollständige Nachvollziehbarkeit der Forschung, weil Analyseprozesse nicht vom Ursprungsmaterial aus nachvollzogen werden können, sondern nur vom verwendeten, abgeleiteten Textformat aus. Dies ist einer der Gründe, warum die Erstellung der abgeleiteten Textformate ein standardisierter und zertifizierter Prozess sein sollte, der die notwendige Vertrauenswürdigkeit der Formate garantiert. Ein weiterer Nachteil ist zweifellos, dass zwar einige, aber eben nicht alle relevanten Analyseverfahren auch mit einem abgeleiteten Textformat umgesetzt werden können. Schließlich ist in Rechnung zu stellen, dass die Erstellung von standardisierten, zertifizierten Beständen an Texten in abgeleiteten Formaten für die Anbietenden mit einem erheblichen Aufwand verbunden sind. Dennoch überwiegen aus unserer Sicht die Vorteile dieser Strategie gegenüber den (eingangs genannten) Alternativen beziehungsweise ist diese Strategie in jedem Fall eine wichtige, komplementäre Maßnahme neben den alternativen Ansätzen. Dies gilt nicht zuletzt auch, weil mit solchen Textbeständen besser als bisher demonstriert werden könnte, welches Potential in der Analyse urheberrechtlich geschützter Textbestände in den DH liegt. Im Kontext eines gesellschaftlichen und rechtlichen Interessenausgleichs zwischen Rechteinhabenden und Anwender*innen von TDM kann dies ein wichtiges Argument sein.

6.1 Bibliotheken und Archive

[80]Bibliotheken und Archiven kommt eine zentrale Rolle bei der Etablierung abgeleiteter Textformate zu, weil sie rechtmäßigen Zugang zu umfangreichen urheberrechtlich geschützten Textbeständen haben. Schon mit dem UrhWissG wurden sie im UrhG als Institutionen benannt,[53] die urheberrechtlich geschützte Korpora, die von Dritten angefertigt wurden, aufbewahren und selektiv, nämlich zur Überprüfung wissenschaftlicher Qualität, verfügbar machen dürfen und sollen. Die Umsetzung des 2019 verabschiedeten Art. 3 DSM-RL bis Juni 2021 in nationales Recht[54] stärkt die Rolle dieser Einrichtungen im Kontext des TDM nochmals enorm und dies in mehrfacher Hinsicht: Bibliotheken und Archive werden nun ausdrücklich und autonom als Akteure des TDM adressiert und für wissenschaftliche Zwecke privilegiert; zugleich wird das Nachnutzungsverbot für die Korpora für Anschlussforschung aufgehoben werden.[55] Die Frage der wissenschaftlichen Anschlussforschung mittels abgeleiteter Formate tritt also absehbar als eine von dann zwei Säulen neben die Frage der wissenschaftlichen Anschlussforschung an Korpora.[56] Das lässt eine kohärente, in sich stimmige Entwicklungsstrategie der Bestände von der Warte des TDM aus in den Bereich des Möglichen rücken. Und beides ist verbunden mit einem nun expliziten Auftrag des Gesetzgebers an die Bibliotheken und Archive, sich jedenfalls insoweit mit dem Bereich TDM aktiv auseinanderzusetzen. Denn neben Forschungsorganisationen werden insofern nur Kulturerbeeinrichtungen privilegiert, anders als etwa andere Behörden, Bildungsträger, Journalisten oder Privatwirtschaft. Das ist eine Chance für Bibliotheken und Archive, aber zugleich auch eine Verantwortung.

[81]Es bleibt in diesem Kontext im anstehenden neuen Recht bei der nachvollziehbaren, derzeit impliziten, dann aber auch ausdrücklich im Gesetz stehenden Einschränkung, dass die Nutzung der Korpora einen rechtmäßigen Zugang voraussetzt und in bestimmten Fällen sogar nur in den Räumen der privilegierten Einrichtungen gewährt werden darf. Bibliotheken und Archive werden künftig im Kontext von TDM eine aktivere Rolle in Forschungsprozessen einnehmen, wodurch sich die Funktionen der Einrichtungen selbst langfristig verändern werden.

[82]Bibliotheken und Archive sehen es stets und unverändert als ihre genuine Aufgabe an, die Bestände in einer jeweils zeitgemäßen Form zur Nutzung zur Verfügung zu stellen. Die Bibliotheken und Archive können demnach durch die neuen rechtlichen Rahmenbedingungen und sobald geeignete Spezifikationen für grundsätzlich nützliche abgeleitete Textformate vorliegen, in die Rolle der Anbieter von entsprechenden Datensätzen für die Forschung treten. Abgeleitete Formate haben das Potential, sich hier zu einem wichtigen Arbeits- und Angebotsbereich im Kerngeschäft von Bibliotheken und Archiven zu entwickeln.

[83]Abgeleitete Textformate fördern die Perspektive auf eine globale, virtuelle Sammlung für die Forschung, die als Linked Open Data ausgeformt werden kann. Auch daraus ergeben sich weitreichende Konsequenzen für die Rolle, die Funktionen und das institutionelle Selbstverständnis dieser Einrichtungen.[57] Neben der Erstellung und Bereitstellung der abgeleiteten Textformate selbst wird es auch notwendig sein, für die Forschenden in den DH relevante Metadaten über die Texte bereitzustellen oder Wege zu entwickeln, wie diese erhoben werden können. Denn für die Forschung sind oft andere, forschungsnähere oder fachnähere Metadaten notwendig als diejenigen, die üblicherweise aus bibliothekarischer Perspektive erhoben würden.

[84]Eine besondere Herausforderung bedeutet die Dokumentation einzelner Analysen unter wissenschaftlichen Anforderungen. In einem Bestand abgeleiteter Daten, der sich durch diverse technische und fachliche Einflüsse in einem fortwährenden Optimierungsprozess[58] befindet, muss eine besondere Herausforderung auf die Referenzierbarkeit einzelner Datensätze über persistente Identifikatoren sowie deren Echtheitsnachweis und Integrität zukommen. Grundsätzlich bestehen hohe Anforderungen an die Dokumentation, Transparenz und Verlässlichkeit des Prozesses der Erstellung von abgeleiteten Textformaten. Denn die Forschenden, die ein abgeleitetes Textformat für ihre Analysen einsetzen möchten, müssen sich darauf verlassen können, dass die abgeleiteten Textformate wirklich exakt im jeweils dokumentierten Verhältnis zu den Ausgangstexten stehen. Eine direkte Einsicht durch die Nutzenden ist bei den urheberrechtlich geschützten Ausgangstexten im Regelfall ja gerade nicht möglich.

[85]Daraus ergibt sich die Notwendigkeit, abgeleitete Textformate durch detaillierte Spezifikationen zu beschreiben, deren Einhaltung entsprechend geprüft werden kann. Dies schließt die jeweils gewählten Konzepte, Verfahren und Werkzeuge für Tokenisierung, Lemmatisierung, Wortartauszeichnung (einschließlich des jeweils verwendeten Sprachmodells und des Tagsets) mit ein, die allerdings sprachspezifisch beziehungsweise auch sprachstufenspezifisch sind. Diese Spezifikationen sollten von der Anbieterseite gemeinsam mit den TDM-Anwender*innen im Sinne eines Community-Standards entwickelt werden. Der Programmiercode, der für den Verarbeitungsprozess von den Ausgangstexten zu den abgeleiteten Textformaten eingesetzt wird, muss darüber hinaus öffentlich und frei zur Verfügung stehen, damit die Nachvollziehbarkeit und Nachnutzbarkeit des Codes garantiert ist. Ideal wäre es, wenn die Pipeline zur Erstellung der Textformate institutionenübergreifend entwickelt, gepflegt und geprüft würde, sodass es auch hier zu einer Standardisierung kommt. Dann könnte auch eine Dokumentation gemeinsam entwickelt werden, die die Verarbeitungsschritte in Prosa erläutert und anhand urheberrechtlich unbedenklicher Textbestände demonstriert. Eine solche Standardisierung der Prozesse und Formate wird es dann auch erlauben, Bestände abgeleiteter Textformate aus unterschiedlichen anbietenden Institutionen für bestimmte Forschungsvorhaben zu kombinieren.

[86]Aus den genannten Punkten ergeben sich sicherlich auch infrastrukturelle und institutionelle Herausforderungen mit Bezug auf die Personalentwicklung (Data Curation, Rechts- und IT-Expertise), wie sie derzeit vermutlich nur bei größeren Gedächtnisinstitutionen vorhanden sind. Auch bestimmte Rechte und Pflichten der beteiligten Akteure werden in diesem Kontext von Relevanz sein, insbesondere betrifft dies die Service anbietenden Bibliotheken und Archive und die TDM praktizierenden Nutzenden. Hierbei gilt es, unter Berücksichtigung von fachspezifischen, bibliothekarischen, wirtschaftlichen und juristischen Belangen, für alle beteiligten Akteure transparente Rahmenbedingungen zu schaffen. Diese können in einer Data Governance münden und darüber hinaus können inhaltliche Entwicklungen durch Policies gesteuert werden.

6.2 Informatik und Computerlinguistik

[87]Im Zusammenhang mit den abgeleiteten Textformaten ergeben sich auch für die Informatik und Computerlinguistik neue Tätigkeitsfelder. So kann die Computerlinguistik sicherlich dabei mitwirken, standardisierte und zukunftsfähige Textformate sowie insbesondere standardisierte und zertifizierbare Pipelines für das Erstellen von abgeleiteten Textformaten zu entwickeln. Darüber hinaus könnten diese Fächer in den Bereichen Benchmarking und Rekonstruierbarkeit tätig werden.

[88]Die empirische Überprüfung der Wahrscheinlichkeit beziehungsweise des Grades, mit der ein Ausgangstext auf der Grundlage eines abgeleiteten Textformats rekonstruiert werden kann, wird hier sicherlich eine wichtige Aufgabe der Informatik sein. Welcher Anteil eines Textes kann rekonstruiert werden? Wie lang sind die Fragmente, die auf diese Weise entstehen? Mit welcher Wahrscheinlichkeit sind die rekonstruierten Fragmente auch tatsächlich korrekt? Neben solchen Fragen ist hier insbesondere relevant, dass eine Rekonstruktion auch nicht durch die Kombination von Informationen aus mehreren unterschiedlichen abgeleiteten Textformaten möglich sein sollte. Für die Beantwortung dieser Fragen sind gemeinfreie Textbestände, bei denen Ausgangstexte und abgeleitete Formate gemeinsam vorliegen, einsetzbar beziehungsweise erforderlich.

[89]In Kooperation von Informatik oder Computerlinguistik mit den Anwender*innen in den DH sollten Benchmarking-Analysen und vergleichende Untersuchungen durchgeführt werden. Solche Analysen können auf der Grundlage von Datenbeständen, die Ausgangstexte und abgeleitete Textformate gleichermaßen beinhalten, überprüfen, wie groß die Unterschiede in der Performance bestimmter Analysemethoden sind, wenn man sie auf den Ausgangstexten einerseits, verschiedenen abgeleiteten Textformaten andererseits, einsetzt. Derartige Analysen wiederum sind schon jetzt von großem Interesse für die Definition und Spezifikation der abgeleiteten Textformate und können auch auf urheberrechtlich unbedenklichen (beispielsweise gemeinfreien) Beständen durchgeführt werden, bevor eine verlässliche rechtswissenschaftliche Einschätzung eines bestimmten Textformats vorliegt.

6.3 Digital Humanities

[90]Eine wesentliche Aufgabe der DH als die am unmittelbarsten betroffenen Stakeholder wird es sein, eine enge Abstimmung zwischen den verschiedenen Akteuren und Communities sicherzustellen. Denn nur, wenn ein mit allen relevanten Akteuren (insbesondere aus DH, Rechtswissenschaften, Gedächtnisinstitutionen und Informatik) abgestimmtes Inventar von abgeleiteten Textformaten entwickelt wird, können auch entsprechend standardisierte und zertifizierte Pipelines für das Erstellen der Textformate entwickelt und angeboten werden. Diese tragen wiederum entscheidend zur Verlässlichkeit und Nützlichkeit der in dieser Form angebotenen Textbestände für die Forschung in den DH bei.

[91]Mit dem vorliegenden Beitrag haben wir das Ziel verfolgt, erste Schritte zu einer solchen Konsensbildung innerhalb der Fachcommunity zu gehen. Anliegen war uns demnach, die Grundidee der abgeleiteten Textformate und die damit einhergehenden Chancen und Herausforderungen insbesondere in der Community der DH sowie der Bibliotheken und Archive vorzustellen und eine Diskussion über sie anzuregen. Wir hoffen, dass unser Beitrag zeigen konnte, dass das Erstellen, Veröffentlichen und Nutzen solcher abgeleiteten Textformate grundsätzlich möglich und wünschenswert ist. Darüber hinaus hoffen wir, dass es gelungen ist, der Realisierung solcher Datenbestände näher zu kommen und die nächsten notwendigen Schritte unterschiedlicher Akteure herauszuarbeiten.