Available at http://www.zfdg.de
Sofern nicht anders angegeben
Available at http://www.zfdg.de"> (c) Forschungsverbund MWW
Ausgewählte Beiträge der Tagung 2015 an der Herzog August Bibliothek Wolfenbüttel im Rahmen des Forschungsverbundes Marbach Weimar Wolfenbüttel
Transformation der WORD-Vorlage nach XML/TEI-P5 durch Apache TIKA 1.7 und XSLT
Lektorat des Textes durch die Redaktion.
Medienrechte liegen bei den Autoren
All links checked
Erste Empfehlungen für die Einordnung und Bewertung digitaler Editionen sind bereits im Zuge der Etablierung des WWW als primärem Publikationsmedium für digitale Inhalte in den späten 90er-Jahren veröffentlicht worden. Trotzdem und auch aufgrund von methodischen und technischen Weiterentwicklungen stehen selbst grundlegende Fragen zur Evaluation von digitalen Editionen noch immer zur Diskussion. Dieser Beitrag setzt sich insbesondere mit dem Reviewing als einer möglichen Form der Beurteilung von wissenschaftlichen digitalen Editionen auseinander, tut dies aber vor dem Hintergrund der den Rezensionen zugrundeliegenden Bewertungskriterien und dem weiteren Kontext der Evaluation digitaler Forschungsergebnisse insgesamt. Auf diese Weise werden wesentliche Bereiche für die Bewertung digitaler Editionen herausgearbeitet: die angemessene Repräsentation des edierten Gegenstandes in digitalen Daten zum Beispiel durch Textcodierung, ein innovativer Umgang mit dem digitalen Medium, eine sinnvolle Abstimmung von Inhalt und Form in der Präsentation des edierten Materials, etc. Trotz der allfälligen Veränderungen in der Wissenschaftskommunikation bleibt die Rezension als ›Evaluationstextsorte mit Tradition‹ ein geeignetes Mittel zur Diskussion der Qualität von digitalen Editionen.
The first recommendations for the classification and evaluation of digital editions were already published in the process of establishing the WWW as the primary medium of publication for digital content in the late 1990s. However, owing in part to methodological and technical developments, basic questions about the evaluation of digital editions are still being discussed. This article explores the review process as a means of evaluating scholarly digital editions, building on the background of the evaluation criteria that provide the basis for reviewing and the broader context of evaluating digital research results as a whole. In this way, many aspects can be worked out for the evaluation of digital editions: the appropriate representation of the edited object in digital data, for example, through text encoding; the innovative interaction with the digital medium; a meaningful consensus between content and form in the presentation of the edited material, etc. Despite the future changes in scholarly communication, the review as an ›evaluative genre with tradition‹ remains an ideal tool for discussing the quality of digital editions.
Evaluation – Das Unwichtige läßt sich am genauesten
messen. Aber wie stellt man fest, was wichtig ist? – Es ist das, was
übrigbleibt, wenn alles gemessen wurde.
Rainer Kohlmayer in
Die Schnake
15/16 (2000).
Das Rezensieren wissenschaftlicher Veröffentlichungen und die Publikation von Rezensionen in wissenschaftlichen Zeitschriften haben eine lange Tradition. Das gilt jedoch nicht in gleicher Weise für Rezensionen zu digitalen Forschungsergebnissen. Die Bewertung digitaler Arbeiten wirft allgemein viele Fragen auf: Wann hat ein digitales Produkt einen Bearbeitungsstand erreicht, der evaluiert werden kann? Haben Bewertungen digitaler Projekte und Ressourcen andere Funktionen und Ziele als bei gedruckten Publikationen? Wer sollte und kann eine Evaluation durchführen? Welche Aspekte und Bestandteile digitaler Forschung sind sinnvollerweise zu evaluieren?
Da die Evaluation digitaler Ressourcen insgesamt noch nicht ausgereift ist,
werden im ersten Teil dieses Beitrags allgemeine Problemfelder aufgezeigt
und diskutiert. Bestehende Ansätze werden in den Blick genommen. Der Beitrag
geht im zweiten Teil auf digitale Editionen ein und untersucht, inwiefern
ein Bedarf an Evaluation besteht und welche Aspekte für diese Art von
digitaler Ressource im Hinblick auf die Bewertung spezifisch sind. Anhand
zweier Beispiele werden im dritten Teil Bewertungskriterien von digitalen
Editionen daraufhin untersucht, inwieweit sie auf der einen Seite auf
digitale Forschungsergebnisse im Allgemeinen anwendbar sind und auf der
anderen Seite auf wissenschaftliche Editionen, unabhängig von deren medialer
Realisierung. So kristallisieren sich Kriterien heraus, die sich nicht in
einen digitalen und einen Editionsbestandteil auflösen lassen und Hinweise
darauf geben, wo das ›Zentrum‹ der Bewertung digitaler wissenschaftlicher
Editionen liegt. Im vierten Teil wird auf Rezensionen als Bewertungsform für
digitale Editionen eingegangen und diskutiert, inwieweit Reviews eine für
digitale wissenschaftliche Editionen geeignete Evaluationsform sind.
Es ist darauf hingewiesen worden, dass digitale Forschungsergebnisse bei der
Einschätzung wissenschaftlicher Leistungen noch nicht in gleichem Maße
berücksichtigt werden wie traditionelle, gedruckte Publikationen.In my own promotion review,
despite the fact that I was a scholar whose work took new digital
modes of communication as its explicit focus, questions were raised
about the relative status of online and print publications.
(Fitzpatrick 2011, S. 196.) und Schreibman et al: There
is a growing consensus that humanities disciplines must find ways
not simply of evaluating but also of valuing digital scholarship as
part of hiring, promotion, and tenure decisions.
(Schreibman
et al. 2011, S. 123.) Rockwell nennt die Aufforderung der
Modern Language Association, die Legitimität von in neuen Medien
produzierter Wissenschaft anzuerkennen, einen dramatic
move
(Rockwell 2011, S. 152) und
Cohen und Fragaszy Troyano führen an, dass von mancher Seite gar eine
Neudefinition oder zumindest Erweiterung dessen gefordert werde, was
anrechnungsfähige Wissenschaft sei (Cohen / Fragaszy Troyano 2012). Im
DFG-Projekt Future Publications in den Humanities (FuPush), in dem die
Potentiale digitalen Publizierens untersucht worden und
Handlungsempfehlungen entwickelt worden sind, ist festgestellt worden,
dass Geisteswissenschaftler sich nach wie vor weitgehend an
traditionellen Formen aus der Printkultur
orientieren und
wenn sie digital publizieren, dann an den etablierten Modellen
der Verlagspublikation in einem dem Printparadigma möglichst
ähnlichen Format
(Kaden et al. 2016). In diesem
Zusammenhang ist auch auf die Aktivitäten der AG Publikationen des
DHd-Verbands hinzuweisen, der das Verständnis digitaler Publikationen
fördern und Empfehlungen entwickeln möchte, welche Entscheidungsträgern
für eine gute digitale Praxis an die Hand gegeben werden sollen. Vgl.
Stäcker
et al. 2016.
Obwohl Publikationen in Online-Zeitschriften und ausschließlich digital
publizierte Monographien und Sammelbände wegen der Nähe zu gedruckten
Publikationen noch den einfachsten Fall darstellen – es sind
Forschungsergebnisse, die in linearer Textform dargestellt und fixiert
werden – gibt es wie bei allen digitalen Forschungsergebnissen Zweifel und
Unsicherheiten hinsichtlich der Qualität, der Verlässlichkeit und
dauerhaften Verfügbarkeit. Die Erstellungs-, Bewertungs- und
Publikationsprozesse für wissenschaftliche Veröffentlichungen und ihre
Sicherung sind im Digitalen noch nicht so etabliert und erscheinen dadurch
unsicher. Das Magazin für digitale Editionswissenschaften beispielsweise
versteht sich als offenes Forum zur Vorstellung von ›best practises‹
für Online-Editionen
.sofort eingestellt
. Die Aussagen auf der Webseite des
Magazins vermitteln den Eindruck von größerer Offenheit hinsichtlich des
Inhalts und der Form der Beiträge und den Veröffentlichungsprozess
betreffend. Bei Druckpublikationen wird dagegen zumeist von einem dahinter
stehenden Wissenschaftsverlag ausgegangen, bei dem eine inhaltliche
Begutachtung, ein Lektorat, die Vergabe einer ISBN oder ISSN und eine
professionelle Distribution als prinzipiell gesichert angenommen werden.
Auch die potentielle Unabgeschlossenheit digitaler Ergebnisse spielt bei der
Skepsis gegenüber digitalen Veröffentlichungen eine Rolle: sie können leicht
verändert, überarbeitet oder erweitert werden. Dazu kommt noch, dass
digitale Forschungsergebnisse aufgrund ihrer möglichen Vielschichtigkeit,
Komplexität und des großen Umfangs oft durch die Zusammenarbeit mehrerer
Personen entstehen, die auf einzelne Bereiche spezialisiert sind. Das
erschwert ihre Bewertung, wenn es um die Feststellung der Leistung Einzelner
geht.
Wer sollte evaluieren?
Die Evaluation von
Forschungsergebnissen, die digital publiziert werden, stellt spezifische
Anforderungen an die bewertende Person: Es braucht Erfahrung im Umgang mit
den vielfältigen Formen, die solche Ergebnisse annehmen können, also eine
methodische Kompetenz, die über die fachlich-inhaltliche Expertise
hinausgeht und die noch nicht selbstverständlich geworden ist. Die
Schwierigkeiten und Herausforderungen, die sich durch das digitale Medium
für die Praxis des Evaluierens ergeben, werfen nicht nur Fragen zu den
Produkten digitaler Wissenschaft auf, sondern auch zum Evaluieren selbst:
Wer soll bewerten? Was soll bewertet werden? Wann wird bewertet? In welcher
Form kann Evaluation stattfinden? Welche Zwecke erfüllt Evaluation? Dass
diese Fragen vermehrt aufkommen, zeigt, dass sie neu beantwortet werden
müssen, unabhängig davon, ob sich aus der Diskussion um die Evaluation
digitaler Forschungsergebnisse im Verhältnis zur Bewertung von in gedruckter
Form veröffentlichten Erkenntnissen jeweils neue und andere Antworten
ergeben werden oder nicht.Evaluating Digital Scholarship
, vgl. Profession
(2011). Auf der internationalen Konferenz dh2016 wird das
Thema Evaluation
im Prä-Konferenz-Workshop
RDA/ADHO Workshop: Evaluating Research Data Infrastructure
Components and Engaging in their Development
, bei dem Panel
The Scholarly Digital Edition: Best Practices, Guidelines,
and Peer Evaluation
und den Beiträgen Evaluating
GitHub as a Platform of Knowledge for the Humanities
sowie
Prototypes as Thinking through Making. Decision Points and
Evaluation in Prototyping a Visualisation Framework for Historical
Documents
aufgegriffen. Vgl. Digital Humanities
2016.
Zunächst stellt sich die Frage, ob Einzelne überhaupt alle diese Fähigkeiten
in sich vereinen müssen. Pfannenschmidt und Clement merken hierzu an:
Another concern in evaluation is the degree of expertise the
reviewers should have in both the technology and the subject area that
covers the material under consideration. The eclectic nature of digital
scholarship poses challenges to the traditional method of finding one or
two experts to take on review. The difficulty is partially due to the
issue of determining what aspect is evaluated and why. […] Yet no one
person can be an expert in every method, field, and medium: seemingly,
collaborative work requires collaborative review.
Was soll bewertet werden?
Für einen in einer
Online-Zeitschrift veröffentlichten wissenschaftlichen Artikel wird diese
Frage wesentlich leichter zu beantworten sein als z. B. für eine digitale
Edition, wobei sogar im ersten Fall erwogen werden kann, auch
Forschungsdaten zu begutachten, die möglicherweise hinter den in dem Artikel
formulierten Ergebnissen stehen. Im Fall der Edition ist zu fragen, ob nur
das an der Oberfläche sichtbare Ergebnis bewertet werden sollte, also
derzeit in den meisten Fällen eine Web-Anwendung, oder auch die dahinter
liegende digitale Form der Inhalte, welche die Anwendung füllen – digitale
Faksimiles, codierte Texte, daraus abgeleitete, ergänzende, mit weiteren
Daten angereicherte Materialien und Metadaten. In Frage kommen außerdem
Programmteile, welche die Anwendung steuern, durch die letztlich die Auswahl
der anzuzeigenden Inhalte erfolgt und durch die Funktionalitäten definiert
oder zumindest implementiert werden, sowie schließlich noch technische
Grundlagen und organisatorische Rahmenbedingungen. Da sich der
Forschungsbeitrag einer digitalen Ressource nicht auf die Form ihrer
medialen Präsentation beschränkt, sollten möglichst viele der genannten
Aspekte in eine Begutachtung einbezogen werden. In Abgrenzung zum Druck geht
es gerade darum, die ausschließliche Konzentration auf die Präsentation der
Ergebnisse zu überwinden, um die einfließenden Forschungsleistungen in
angemessener Weise zu berücksichtigen. Verschiedene Ergebnisebenen
einzubeziehen wird dem kooperativen und interdisziplinären Charakter vieler
digitaler Vorhaben gerecht. Es trägt zu der Diskussion bei, was als
Forschungsergebnis gelten kann und vermag vielleicht manche Form der
Zuarbeit, die jedoch Teil des Wesens digitaler Forschungsarbeit ist, aus den
Tiefen großer Projekte zu heben.
Wichtig erscheint auch eine Bestimmung dessen, was als Ergebnis gelten kann
und beurteilungsfähig ist. So fragen Pfannenschmidt und Clement: How
should evaluators assess digital tools used in the production of
scholarship
Der Ansatz, Ergebnisse zu beurteilen und nicht Praktiken, erscheint sinnvoll. Was als Ergebnis wahrgenommen werden soll, kann flexibel gestaltet werden: Wird etwas publiziert, kann es als Ergebnis ge- und bewertet werden, ob nun ein Text, ein Skript oder ein Forschungsdatensatz oder eine Methode, die beschrieben wird. Dadurch, dass etwas zugänglich gemacht und veröffentlicht wird, wird ein Signal gegeben. Dieses kann auch erfolgen, wenn etwas noch nicht einen als final betrachteten Status erreicht hat, sondern vielleicht ein Etappenziel, bis hin zur kontinuierlichen Offenlegung von Zwischenergebnissen. Das gilt zwar unabhängig vom Präsentationsmedium grundsätzlich für jegliches wissenschaftliches Arbeiten, jedoch erleichtert das digitale Medium die Veröffentlichung verschiedener Arbeitsstände z. B. als Versionen und ebenso die Veröffentlichung auch umfangreicher Daten, ohne dass diese in eine Form gebracht werden müssen, die für eine Publikation in Buchform geeignet ist. In jedem Fall kann Offenheit gefordert und gefördert werden, wenn einerseits nicht nur eine Darlegung in Textform, sondern auch Datensätze und Programmteile als Ergebnisse gewertet werden und andererseits die Publikation digitaler Forschungsergebnisse als Voraussetzung für deren Beurteilung betrachtet wird. Wenn z. B. die TEI-Codierung edierter Texte als Teil einer digitalen Edition bewertet werden soll, kann, sofern es keine rechtlichen Einschränkungen gibt, auch die Veröffentlichung der zugrundeliegenden TEI-Dateien eingefordert werden.
Wann soll bewertet werden?
Ob der
Ergebnischarakter digitaler Forschungsprodukte als Bedingung für eine
Bewertung angesetzt werden kann, ist aber auch vom Zeitpunkt einer
Evaluation und ihrem Zweck abhängig. Im Sinne einer klassischen Rezension
würde eine Evaluation erst erfolgen, wenn die Arbeiten abgeschlossen sind;
das Ergebnis wird in Augenschein genommen, eingeordnet und bewertet. Neben
der Einbindung eines Forschungsergebnisses in den wissenschaftlichen Diskurs
und eine Positionierung der oder des Rezensierenden zu dem Rezensat ist der
Zweck eine nachträgliche und zugleich in die Zukunft gerichtete
Qualitätssicherung, wenn Leser auf die Güte des besprochenen Gegenstandes
schließen und zukünftige Unternehmungen aus der Rezension Lehren ziehen
können. Eine Begutachtung kann aber auch zu Beginn erfolgen, wenn ein Antrag
vorliegt, aber noch keine Ergebnisse, oder ›mittendrin‹, wenn eine
Zwischenevaluation das bisher Erreichte bewerten soll und zu Korrekturen und
Kursänderungen führen kann. Beratungen, bei denen die Initiative von den
Erstellern einer digitalen Ressource bzw. von den Mitarbeitern eines
digitalen Projektes ausgeht, welche Externe um eine Beurteilung und
Ratschläge bitten, sind vorstellbar und in jeder Phase und zu jedem
Zeitpunkt denkbar. Sie haben den Zweck, die Qualität der
Forschungsergebnisse noch vor deren Fertigstellung zu sichern. Ein
Peer-Review schließlich würde kurz vor dem Abschluss erfolgen und soll
insbesondere im Hinblick auf die Veröffentlichung eine letzte Hilfestellung
und Qualitätssicherung bieten. Evaluationen gehen auch von digitalen
Vorhaben selbst aus, wenn Entscheidungen darüber getroffen werden müssen,
welche Datenmodelle, Standards und Werkzeuge für die Bearbeitung der eigenen
Materialien und Ziele am besten geeignet sind. Dahinter können dann
theoretische, methodische und praktische Erwägungen stehen und es geht
weniger darum, die wissenschaftliche Leistung von Personen, Gruppen oder
Institutionen festzustellen.
Zu der Frage, in welchen Phasen eine Evaluation für digitale Projekte
besonders wichtig ist, gibt es verschiedene Ansichten: Pfannenschmidt und
Clement stellen fest, dass Bewertungen, die zu einem frühen Zeitpunkt
erfolgen und den Planungs- und Entwicklungsprozess noch beeinflussen können,
zu Kosteneffizienz beitragen und helfen können, typische Fehler zu
vermeiden.
In welcher Form soll Evaluation erfolgen?
Einige
Formen, welche die Evaluation von digitaler Forschung und deren Ergebnissen
annehmen kann, wurden bereits genannt: Gutachten zu Projektanträgen und
laufenden Projekten, Beratung, Peer-Review und Rezensionen. Wie diese
Evaluationsformen genau ausgestaltet werden, ist damit aber noch nicht
gesagt und es ist anzunehmen, dass sie selbst aus zwei Gründen einer
Transformation unterliegen: sie behandeln Gegenstände, die eine neue mediale
Gestalt annehmen oder in ihrem Wesen gänzlich neuartig sind und werden
selbst in den meisten Fällen in digitaler Form stattfinden.Wikipedia
in der Praxis
auf dem Blog des Arbeitskreises kommentiert werden
können. Die Autoren werden zu einer abschließenden Entgegnung aufgefordert
und am Ende sollen die Kommentare zusammen mit den Beiträgen publiziert
werden.
Welche Ansätze für Evaluation gibt es bereits?
Zu den Initiativen zur Förderung der Evaluation digitaler Forschung zählen
die Entwicklung von Richtlinien und Best Practices und die Einrichtung von
Plattformen, die zur Erstellung und Veröffentlichung von Bewertungen genutzt
werden können. Die Aktivitäten beziehen sich auf digitale Forschungsprojekte
und -ressourcen im Allgemeinen oder, spezieller, auf bestimmte Fachbereiche
oder bestimmte Gegenstände wie digitale wissenschaftliche Editionen oder
Archive. Im Folgenden werden verschiedene Ansätze genannt:
Richtlinien zur Bewertung digitaler Forschungsarbeiten im Allgemeinen:
Guidelines for Evaluating Work in Digital Humanities and Digital Media
Short Guide To Evaluation Of Digital Workvon Geoffrey Rockwell, der sowohl mögliche Fragen für Gutachter formuliert, die digitale Arbeiten bewerten sollen, als auch Best Practices in Form einer Checkliste sowie Tipps, wie man Experten zur Unterstützung finden kann.
How to Evaluate Digital Scholarshipvon Todd Presner, welche als Grundlage für die Evaluation von Wissenschaft in
the Humanities, Social Sciences, Arts, and related disciplines
Allgemeine Rezensionszeitschriften und Fragebögen mit eigenen Richtlinien:
Review Guidelineszur Orientierung für die Autoren an.
Guía de buenas prácticas)
Ansätze aus einzelnen Fachbereichen und für bestimmte Forschungsgebiete:
Guidelines for the Evaluation of Digital Scholarship in Historyvon der American Historical Association (AHA)
Reviews in History,
Guidelines for Promotion and Tenure Committees in Judging Digital Work
Richtlinien für die Evaluation wissenschaftlicher, einschließlich digitaler Editionen:
Guidelines for Editors of Scholarly Editions
Förderkriterien für wissenschaftliche Editionen in der Literaturwissenschaft
Kriterien für die Evaluation digitaler wissenschaftlicher Editionen:
Minimum Standards for Electronic Editions
Bewertungskriterien für elektronische Editionenvon Fotis Jannidis, bei denen der
Bedarf einer Klärungbetont wird, den elektronische Editionen als
neue Gegenstände im philologischen Alltagim Vergleich zu gedrucken Editionen hervorrufen, bei denen die Kriterien
mehr oder wenige selbstverständlicher Teil des Fachs
Kriterien für die Besprechung digitaler Editionen
Rezensionszeitschriften für digitale wissenschaftliche Editionen:
Magazin für digitale Editionswissenschaftenvom Interdisziplinären Zentrum für Editionswissenschaften der Friedrich-Alexander-Universität Erlangen-Nürnberg, welches ein Forum zur Vorstellung von Best Practices für digitale Editionen bieten möchte und bei dem laufende Editionsprojekte mit Beiträgen verschiedene Aspekte ihrerde Arbeit vorstellen können.
Questionnaire) gehört, mit dem umfassende Informationen zu den rezensierten Editionen systematisch erfasst werden.
Es gibt also eine Reihe von Hinweisen für die Evaluation digitaler Forschung und Experimente mit unterschiedlichen Formen der Bewertung. Die Initiatoren der Entwicklung von Richtlinien und Foren für Evaluation sind einerseits Einzelpersonen, häufiger aber Gruppen von Wissenschaftlern und Forschungsinstitutionen. Es ist auffällig, dass Rezensionsjournale und -plattformen in den meisten Fällen von eigenen Vorschlägen für Bewertungskriterien begleitet werden, welche als Hilfestellung oder Anleitung fungieren. Dies zeugt von einem Bewusstsein dafür, dass im Digitalen neue Maßstäbe für die Bewertung laufender oder abgeschlossener Forschungsarbeiten angesetzt werden müssen, welche nicht als selbstverständlich vorausgesetzt werden können. Zugleich erfüllen die Kriterien oft die doppelte Funktion, eine Bewertungsgrundlage für Gutachter zu sein und zugleich eine Checkliste für Wissenschaftler, die digitale Projekte planen und umsetzen. Zu erkennen ist, dass mit der als Unterstützung gedachten Explizierung von Kriterien eine gewisse Formalisierung des Bewertungsprozesses einhergeht. Auch Fragebögen, mit denen detailliert und strukturiert Informationen zu der jeweils betrachteten digitalen Ressource abgefragt werden, deuten in diese Richtung.
Es ist nun bereits viel über die Evaluation von digitaler Forschung und digitalen Forschungsergebnissen im Allgemeinen gesagt worden. Die Herausforderungen und Fragen, die sich bei der Bewertung digitaler Arbeit insgesamt stellen, treffen gleichermaßen auf digitale wissenschaftliche Editionen zu, in vielen Aspekten sogar ganz besonders.
Um eine digitale Edition erstellen und bewerten zu können, sind neben den fachlichen und technischen Kompetenzen zusätzlich Kenntnisse in editionswissenschaftlicher Theorie und Methodik notwendig. Die entstehenden Ausgaben können in ihrem Aufbau und der Präsentation einen hohen Grad an Komplexität erreichen. Wegen der Unterschiedlichkeit der edierten Gegenstände, der theoretischen Fundierung, der unterschiedlichen Methodiken und Zielstellungen wird kaum eine Edition einer anderen gleichen. Bei Bewertungen müssen all diese Aspekte berücksichtigt werden.
Speziell für Editionen ergibt sich ein zusätzlicher Bedarf für Evaluation
daraus, dass dieselben Gegenstände – historische Dokumente und literarische
Werke etwa – auch in nicht-wissenschaftlicher Form digital aufbereitet und
präsentiert werden. War dies auch bereits im Gedruckten der Fall, so scheint
es, dass die Grenzen im Digitalen nicht so deutlich zu ziehen sind und eine
Abgrenzung dringender wird. Das mag auch damit zu tun haben, dass die
Gestalt wissenschaftlicher Editionen im Digitalen weniger festgelegt ist als
sie es im Druck noch ist. Neben dem Attribut der Wissenschaftlichkeit kann
auch die Kennzeichnung als ›Edition‹ zur Debatte stehen. Einige Tendenzen,
die im Zusammenhang mit digitalen Editionen häufiger genannt werden, lassen
diese in die Nähe digitaler Archive rücken, so dass auch in dieser Hinsicht
definitorische und begriffliche Klärungen nötig sind.Wenn sich Inhalte, Strukturen und Präsentationsformen
der Edition grundlegend wandeln, dann müssen die traditionellen
Begriffe zur Kennzeichnung dieses Unternehmens neu justiert werden,
weil ihr Verhältnis zu benachbarten Konzepten – die ebenfalls in
Bewegung geraten – unklar wird und es zu Überschneidungen kommen
kann. Für die Edition betrifft das vor allem das Konzept des
Archivs. Wenn der Schwerpunkt editorischer Arbeiten sich zunächst in
Richtung auf die Erschließung der Überlieferung und die genaue
Wiedergabe der Dokumente verschiebt, das digitale Archiv aber
zugleich die Grunderschließung durch vollständige bildliche
Wiedergaben ergänzt, dann bewegen sich beide Begriffe offenkundig
aufeinander zu
(Sahle 2013, S. 152f.). Zum
Thema Dokumentorientierung führt Robinson an: For both Gabler and
Pierazzo, digital editing is rooted in the document […] However,
Gabler sees an editor as much more than a collector of documents,
and a digital edition as much more than an archive. In this
document-centred editing, Gabler argues that the central
responsibility of the editor is to explain to the reader the tale
told by the documents
(Robinson 2013, S.
111).
Eine weitere Frage betrifft den digitalen Charakter einer wissenschaftlichen
Edition. Ist überhaupt ein Unterschied zu machen zwischen einer
›traditionellen‹ wissenschaftlichen Edition und einer digitalen
wissenschaftlichen Edition? Hierzu gibt es unterschiedliche Standpunkte.
Fließen diese in die Formulierung von Best Practices und Bewertungskriterien
ein, dann kann das die Ergebnisse der Evaluation von digitalen Editionen
beeinflussen. Es wird deutlich, dass nicht nur die Editionen selbst
diskutiert werden müssen, sondern auch Guidelines, Fragenkataloge und deren
theoretische Fundierung. Schon die Titel von Richtlinien,
Rezensionszeitschriften und -plattformen kommunizieren eine bestimmte
Haltung: Taucht ›digital‹ im Titel auf oder nicht? Wird es also zumindest
vorübergehend als notwendiger Bestandteil der Benennung von Gegenständen
angesehen, als Verweis auf eine eigene Art, oder spielt das Medium keine
Rolle? Die Deutsche Forschungsgemeinschaft z. B. spricht allgemein von
Förderkriterien für wissenschaftliche Editionen in der
Literaturwissenschaft
[n]icht für
jedes Editionsprojekt wird eine digitale Veröffentlichtungsform
erwartet
›Digitale Editionen‹ werden nicht nur in digitaler Form
publiziert, sondern folgen in ihrer Methodologie einem digitalen
Paradigma. […] Retrokonvertierte gedruckte Editionen oder vertiefende
Digitalisierungs- und Erschließungsprojekte in Bibliotheken und Archiven
überschreiten oft nicht die Schwelle zu ›digitale Editionen‹ im hier
verwendeten Sinne.
digitales Paradigma
wird bei Sahle näher erläutert.
Ein Aspekt betrifft das Verhältnis zum Druck: Eine digitale
Edition ist dadurch bestimmt, dass sie nicht ohne wesentliche
Informations- und Funktionsverluste in eine typografische Form
gebracht werden kann – und in diesem Sinne über die druckbare
Edition hinausgeht
und weiter: Die digitale Edition
ist dadurch gekennzeichnet, dass ihre Grunddaten in elektronischer
Form vorliegen
, Eine Theorie der digitalen Edition
ist aus den allgemeinen Anforderungen und Zielstellungen an
wissenschaftliche Editionen insgesamt abzuleiten und wird dadurch
gekennzeichnet, dass sie hier einen umfassenden Anspruch verfolgt,
was die inhaltliche Wiedergabe, die Erschließung, den Einsatz
aktueller Technologien und die Berücksichtigung methodischer
Rückwirkungen dieser Technologien betrifft
(Sahle
2013, S. 149f.).
Die Ziele der Evaluation digitaler wissenschaftlicher Editionen können also sein: Zu überprüfen, ob Konzepte und Pläne förderungswürdig sind; bei laufenden Vorhaben zu unterstützen und zu beraten; wissenschaftliche Leistungen festzustellen und zu beurteilen; überhaupt festzustellen, ob eine digitale Ressource eine digitale wissenschaftliche Edition ist und damit auch in eine theoretische und methodische Diskussion um das Wesen, die Grenzen und die Entwicklung des Gegenstandes einzutreten; die Erstellung digitaler Editionen zu fördern. Strenge Kriterien, was die Wissenschaftlichkeit und Digitalität von Editionen betrifft, sollten nicht in erster Linie als Ausschlussprinzipien und exklusive Merkmale angesehen werden, sondern als ein Angebot von Vorschlägen, die bei einer Evaluation als Leitfaden dienen und bei der Erarbeitung einer digitalen Edition eine Orientierung bieten können. Denn nicht alle wissenschaftlichen Editionen werden bereits in digitaler Form erstellt. Kriterien und Evaluationen sollen auch dazu beitragen, das Vertrauen in digitale Editionen zu stärken und die Überführung grundlegender historischer Texte und Objekte in digitale Repräsentationen zu fördern.
Werden Bewertungen wie ausgefüllte Fragebögen, Rezensionen und Gutachten gesammelt und veröffentlicht, können sie dazu beitragen, einen Eindruck vom Stand der Dinge in der digitalen Editorik zu vermitteln. Noch systematischer gelingt dies mit Katalogen, die eine Vielzahl digitaler Editionen erfassen und einordnen. Solche Übersichten können selbst wieder den Bedarf an Evaluation sichtbar machen, wenn sie zeigen, in welchen Bereichen es noch nicht viele digitale Editionen gibt oder wo es – reduziert auf die erfassten Charakteristika der Editionen – Verbesserungsmöglichkeiten gibt.
Die folgenden Abbildungen basieren auf dem Katalog Digital Scholarly
Editions
Abbildung 2 zeigt die
Gesamtzahl digitaler wissenschaftlicher Editionen nach Fachbereichen und
Jahren. Den Katalogauswertungen zufolge kommt der Großteil der digitalen
Editionen aus der Literatur- und Geschichtswissenschaft, was zu dem Eindruck
passt, dass besonders in diesen Fachbereichen eigene Best Practices und
Guidelines formuliert werden bzw. ihre Erarbeitung von diesen Fächern
ausgeht.Guidelines for the
Evaluation of Digital Scholarship in History 2015
,
Bewertungskriterien
für elektronische Editionen 1999
von Fotis
Jannidis, die von der DFG herausgegebenen Förderkriterien für wissenschaftliche Editionen in der
Literaturwissenschaft 2015
sowie die von Porta
Historica Qualitätskriterien für
elektronische Quelleneditionen 2008
und die
Empfehlungen zum Umgang mit Editionen im digitalen Zeitalter
der Arbeitsgemeinschaft für germanistische Edition in
Verbindung mit dem Deutschen Literaturarchiv Marbach, bei denen aber
betont wird, dass es hinsichtlich der Empfehlungen prinzipiell
keinen Unterschied zwischen germanistischen Editionen und Editionen
in anderen Disziplinen wie z. B. Philosophie, Geschichte oder
Musikwissenschaft
gibt. Vgl. Empfehlungen zum Umgang mit
Editionen im digitalen Zeitalter 2012.Metaprojekt
meint
größere Unternehmungen, die mehrere Teileditionen umfassen
können.It could be argued that
work on scholarly electornic editions is particularly important at
this juncture since we are in a transformative epoch when new
scholarly resources are being designed and built for the next
generation to interpret
(Rockwell 2011, S.
156).
Welche Kriterien sollten bei der Bewertung von digitalen
Editionen angesetzt werden?
Es soll an dieser Stelle nicht
darum gehen, Kriterien aus bestehenden Katalogen vollständig aufzuführen
oder neue Kriterien zu entwickeln. Die Hauptbereiche der Bewertung, wie sie
sich aus der Gliederung von Kriterienkatalogen ableiten lassen, sollen
skizziert und an zwei Beispielen soll eine visuell unterstützte Analyse von
Kriterienarten vorgenommen werden. Das Ziel ist, diejenigen Kriterien
auszumachen, die für digitale Editionen spezifisch sind.
Bei allen ›Guidelines‹ wird deutlich, dass das Bewerten digitaler
wissenschaftlicher Editionen auf der einen Seite zu einem großen Teil mit
dem Bewerten wissenschaftlicher Editionen gleichzusetzen ist und auf der
anderen Seite mit dem Bewerten digitaler (wissenschaftlicher) Ressourcen im
Allgemeinen. Für die Frage nach der Besonderheit digitaler Editionen im
Hinblick auf ihre Evaluation sind daher vor allem die Bereiche von
Bedeutung, in denen wissenschaftliche Edition
und
digitale Ressource
bei der Formulierung der Kriterien
zusammenkommen. Dies kann als Hinweis darauf gedeutet werden, in welchen
Bereichen die digitale wissenschaftliche Edition aus Sicht der Guidelines
nicht nur die Summe ihrer Teile, sondern in ihrem Wesen integrativ ist.
Abbildung 4 zeigt den
Kriterienkatalog des Instituts für Dokumentologie und Editorik (IDE) mit
farblich hinterlegten Kriteriengruppen. Die blau hinterlegten Bereiche sind
Kriterien, die generell auf wissenschaftliche Editionen anwendbar sind, die
grünen solche, die allgemein auf digitale (wissenschaftliche) Ressourcen
zutreffen und die orange eingefärbten Punkte solche, die speziell für
digitale wissenschaftliche Editionen von Bedeutung sind. Der Katalog des IDE
ist in die Bereiche Präliminarien der Besprechung
,
Gegenstand und Inhalte der Edition
, Ziele und
Methoden
, Umsetzung und Präsentation
und
Fazit
eingeteilt. Bis zum letzten Unterpunkt des dritten
Abschnitts Ziele und Methoden
treffen die zugehörigen
Kriterien auf wissenschaftliche Editionen im Allgemeinen zu. Es geht z. B.
darum, welche Relevanz die Edition für die Forschung haben kann, welche
Materialien ausgewählt wurden, inwieweit es Vorarbeiten gab, welche Inhalte
in der Edition angeboten werden, ob die Ziele und Methoden der Edition
reflektiert und dokumentiert werden, wie mit den Texten umgegangen wird und
inwieweit Texte und Dokumente kritisch erschlossen werden. Erst beim Punkt
3.7 Modellierung
wird der digitale Aspekt relevant, wenn
nach dem Datenmodell, Datenformaten und Standards und insbesondere danach
gefragt wird, wie die editorische Methodik technisch umgesetzt wird. Der
Bereich Umsetzung und Präsentation
besteht weitgehend aus
Kriterien, die auf digitale (wissenschaftliche) Ressourcen allgemein
anwendbar sind. Es gibt Fragen nach der technischen Architektur, der
Benutzungsoberfläche, Referenzierbarkeit, Schnittstellen, Exportformaten,
Grunddaten, Rechten und Lizenzen, dauerhaften Nutzbarkeit. Die in diesem
Abschnitt des Katalogs für digitale Editionen spezifischen Kriterien fragen
danach, wie die Inhalte der Edition (Abbildungen, Texte und darüber
hinausgehende Zusammenstellungen wie Indices) im Digitalen aufbereitet sind
und wie sie in der digitalen Oberfläche weiter erschlossen wurden, z. B.
durch interne und externe Vernetzung und Metadaten. Es wird nach weiteren,
ungewöhnlichen
Funktionalitäten wie Visualisierungen und
Kommentarfunktionen gefragt und danach, ob Dokumentation und
Editionsrichtlinien in die Präsentation aufgenommen sind. Im Fazit kommen
die verschiedenen Arten von Kriterien, die zuvor in eigenen Bereichen
behandelt wurden, zusammen, wenn es um eine abschließende Bewertung der
Wissenschaftlichkeit, Digitalität, der Zielstellungen, Methoden und
Ergebnisse der Edition geht. Für digitale Editionen wesentlich sind vor
allem die Punkte 5.1 und 5.4: 5.1 Terminologische Einordnung. Handelt
es sich eigentlich um eine digitale (wissenschaftliche, kritische)
Edition und in welchem Sinne? Wie würde man die Ressource präzise
beschreiben? [...]
5.4 Spezifischer Beitrag der Edition? Welchen
Beitrag leistet die Edition zum inhaltlichen Forschungsstand? Welchen
Beitrag leistet sie zur methodischen Entwicklung und zur Etablierung von
best practices digitaler Editionen? Inwiefern
leistet die Edition mehr, als eine gedruckte Version leisten
könnte?
Auch bei dem Katalog, den Yates als Grundlage für die Verleihung eines
Preises für die beste digitale Edition / das beste digitale Archiv
formuliert, kommen Kriterien zusammen, die auf wissenschaftliche Editionen
im Allgemeinen, digitale Ressourcen im Allgemeinen und digitale
wissenschaftliche Editionen im Speziellen zutreffen. Die Kriterien sind in
die Bereiche Criteria for Inclusion: Scholarly standards
,
Criteria for Inclusion: Field
, Criteria for
Inclusion: Technical
, Judging Standards:
Usability
und Judging Standards: Usefulness
eingeteilt. Scholarly standards
und Field
beziehen sich auf wissenschaftliche Genauigkeit und Strenge, den Beitrag zur
Forschung und den relevanten Fachbereich einer wissenschaftlichen Edition.
Beim Abschnitt Usability
geht es um eine heuristische
Evaluation der Oberfläche aus Nutzersicht, ein Aspekt, der für digitale
Ressourcen im Allgemeinen relevant ist. Die für digitale wissenschaftliche
Editionen spezifischen Kriterien sind in den Abschnitten Criteria for
Inclusion: Technical
und Judging Standards:
Usefulness
zu finden: it should go further than a print
edition can go, taking full advantage of the capacities of its
medium
live
links
und Markup verwenden und vollständig im Web verfügbar
sein. Gefragt wird danach, wie sich die digitale Edition zur neuesten
Druckausgabe verhält, inwiefern sie interdisziplinäre Forschung und Lehre
unterstützt, was ihre hervorragenden Merkmale sind und inwiefern die
technischen Entscheidungen auf die ›Bedürfnisse‹ des Textes abgestimmt sind:
how does the medium contribute to the message of this work? […]
The most difficult factor of evaluation is the fit of the material with
the form of its digital edition. This question is not just a matter of
whether the edition has taken advantage of every available technological
option, but of the sensitivity shown by the editors to the philological
demands of the text in making decisions about markup policy
A good digital edition should walk this line
in ways that are sensitive to its subject matter
Aus der Betrachtung der beiden Kriterienkataloge kristallisieren sich
folgende Aspekte als ›wesentlich‹ für die digitale wissenschaftliche Edition
heraus: (1) Ein grundlegender Bestandteil ist die digitale Modellierung und
Codierung der Texte bzw. die erschließende Repräsentation des
Editionsgegenstandes, die zunächst unabhängig von der medialen Präsentation
ist. In der Textcodierung schlagen sich theoretische Haltungen und
methodische Herangehensweisen nieder und wird sichtbar, inwieweit das
Konzept der Edition stimmig ist. (2) Ein weiterer wesentlicher Aspekt ist
ein möglichst innovativer Umgang mit dem digitalen Medium, insbesondere in
der Gestaltung der Editionsoberfläche und ihrer Präsentation. Erneuerung und
Experimentalität sind hier ein Standard, eine Best Practice, wenn
Bewertungskriterien diese einfordern. Diese eigentliche Unvereinbarkeit ist
den Autoren der Richtlinien aber bewusst, wenn sie darauf hinweisen, dass
die Standardisierung an dieser Stelle in Konflikt mit neuen Ansätzen steht
und dass auch die Kriterien selbst immer wieder diskutiert werden müssen,
dass manches (noch) nicht standardisiert ist und einige Standards sich
(noch) ändern.Es
kann nicht übersehen werden, dass sich viele Fragen noch in der
Diskussion befinden und deshalb keine allgemeinen Anforderungen
abgeleitet werden können. Besprechungen digitaler Editionen sollen
bei diesesn Fragen auch einen Beitrag zur Methodendiskussion
leisten
.The Scholarly Digital Edition: Best
Practices, Guidelines, and Peer Evaluation
, welches während
der Konferenz dh2016 in Kraków am 13.7.2016 stattfand, hat Elena
Pierazzo hervorgehoben, dass Experimentierfreude beim digitalen Edieren
zwar erfreulich sei, eine gewisse Standardisierung aber ebenso wichtig,
damit mehr digitale Editionen produziert werden, die digitalen Methoden
von mehr EditorInnen für sinnvoll erachtet und angenommen werden und die
Herausforderungen für NeueinsteigerInnen nicht zu groß sind.
Die Bewertungskriterien, die aus theoretischen und methodischen Erwägungen heraus formuliert sein mögen und auch auf einem bestimmten praktischen Erfahrungsstand mit digitalen Editionen basieren können, treten erst durch ihre Anwendung in direkten Kontakt mit dem Gegenstand, für dessen Evaluation sie geschaffen wurden. Mit der Evaluation kann dann nicht nur die Edition diskutiert werden, sondern auch die Kriterien, so dass konkrete Bewertungen als Mittler zwischen Theorie und Praxis, zwischen Standards und individuelle Umsetzungen treten können.
Es wurden bereits verschiedene mögliche Formen der Evaluation genannt.
Rezensionen, ›Reviews‹, stellen eine Möglichkeit dar, auf die hier kurz
eingegangen werden soll. Aus dem Englischen kommend kann das Review
allgemeinsprachlich die Handlung des genauen Betrachtens und Untersuchens
von etwas sein, im Hinblick auf die Qualität des Betrachteten, aber auch auf
seinen allgemeinen Zustand. Es kann zugleich Ausdruck und Niederschlag der
Meinung sein, die sich jemand zur Qualität von etwas gebildet hat oder eine
Zeitschrift, die Gedanken und Meinungen zu etwas versammelt. Das Präfix
re
darauf hin, dass man zu etwas zurückkehrt, sich einer
Sache erneut zuwendet. Werden digitale Editionen in Rezensionen besprochen,
so bedeutet dies also eine genaue Inspektion des Forschungsergebnisses,
jedoch mit einer klaren individuellen Position, die von den Rezensenten
bezogen wird und in die Bewertung einfließt. Angesichts des Aufkommens von
Richtlinien, Fragebögen und weiteren formalisierten Zugängen zur Bewertung
von digitalen Editionen sind individuelle Besprechungen wichtig, damit es
nicht zu schematischen Bewertungen kommt, die eine Weiterentwicklung der
Editionsmethoden oder der Evaluationsformen und -prinzipien selbst
verhindern könnten. Die stärker geregelten Ansätze stellen zwar einen
wichtigen Rahmen dar, der eine Etablierung von Best Practices für die
digitale Editorik fördert, doch sollten Evaluationen sich nicht
beispielsweise im Ausfüllen von Fragebögen erschöpfen, bei denen
Bewertungskategorien und gegebenenfalls auch verschiedene Antworten
vorgegeben sind. Eine Kombination und ein Wechselspiel verschiedener stärker
und weniger stark formalisierter Evaluationsmethoden bietet sich an, um
sowohl eine Festigung als auch Reifung der Methoden und Praxis des digitalen
Edierens zu ermöglichen.
Traditionell ist die Rezension eine freie Form: Häufig ist die Klage
zu vernehmen, das Rezensieren kenne im Grunde keine Regeln und kein
Gesetz. Allgemein anerkannte Programme oder Partituren, die rezensive
Kritik verbindlich leiten könnten, existieren in der Tat
nicht.
Welscher Gast digital
(Klug 2016), die
in der aktuellen vierten Ausgabe von ride erschienen ist.
Eine weitere Eigenschaft der Rezensionen, die möglicherweise einem Wandel unterliegt, ist ihre Länge. Hat die Art des besprochenen Gegenstands Einfluss auf den Umfang der Rezensionen? Leider liegen nur wenige Daten für Rezensionen zu digitalen Editionen und digitalen Projekten insgesamt vor, so dass die Entwicklung des Umfangs von Rezensionen ebenso wie die Entwicklung der Anzahl digitaler Editionen nur tentativ erfolgen kann. Um einen Eindruck zu gewinnen, wird hier der Umfang der Rezensionen in ride und dem DHCommons Journal (DHCJ) mit demjenigen von Rezensionen aus dem Romanistischen Jahrbuch (RJb), der Zeitschrift für Germanistik (ZfG) sowie der Jahrgänge 1986, 1996 und 2016 aus der Internationalen Bibliographie der Rezensionen geistes- und sozialwissenschaftlicher Literatur (IBR-Online) verglichen. Die Auswahl der beiden Zeitschriften (RJb und ZfG) ist willkürlich getroffen. Die Untersuchung ließe sich auf weitere Zeitschriften ausweiten. Die Daten für das RJb und die ZfG stammen wie die übrigen bibliographischen Daten, die zum Vergleich mit ride und dem DHCJ herangezogen werden, aus der IBR. In IBR-Online werden bibliographische Metadaten zu Rezensionen in den Geistes- und Sozialwissenschaften ab 1983 erfasst. Aktuell werden 6.200 Zeitschriften indiziert. Für das IBR insgesamt wurden die Jahrgänge 1986, 1996 und 2016 ausgewählt, um Stichproben für die Entwicklung der Länge von Rezensionen zu erhalten. Es wurden jeweils die ersten 1000 Rezensionen aus diesen Jahrgängen berücksichtigt. Um die Länge der Rezensionen zu ermitteln, wurden die Seitenumfänge herangezogen. Einträge mit Umfängen bis 47 Seiten wurden als Rezensionen gewertet. Einträge ab 48 Seiten wurden als Monographien gewertet und nicht einbezogen. Da es bei ride und dem DHCJ keine Seitenangaben gibt, wurde dort ausgehend von den Volltexten und auf der Grundlage einer Normseite à 1500 Zeichen ein Seitenumfang berechnet, um einen Vergleich mit den Angaben aus der IBR zu ermöglichen. Abbildung 6 und 7 zeigen die Ergebnisse für die Mittelwerte und Mediane der Seitenumfänge der Rezensionen in den verschiedenen Datensätzen:
In beiden Abbildungen wird deutlich, dass die Rezensionen in ride deutlich länger sind als in den anderen Zeitschriften. Ein deutlicher Trend hin zu längeren Rezensionen für digitale Ressourcen im Vergleich zu Rezensionen zu gedruckten Publikationen lässt sich so nicht begründen, nicht nur wegen der wenigen vorliegenden Daten zu Rezensionen, die digitale Forschungsergebnisse zum Gegenstand haben. In ride liegen derzeit 25 Rezensionen vor, beim DHCJ sind es nur 14. Im Vergleich dazu wurden hier aus dem RJb 452 Rezensionen berücksichtigt, aus der ZfG 1.918 und aus den Jahren 1986, 1996 und 2016 jeweils 1000. Es ist außerdem nicht klar, wie viele der im Online-IBR erfassten Rezensionen digitale Ressourcen besprechen. Wird der Median als Vergleichsmaß angesetzt, dann liegt neben ride auch das DHCJ vor den anderen Gruppen, der Mittelwert dagegen ist insbesondere für die ZfG, aber auch das RJb und den Jahrgang 1986 höher. Ob ride den Umfang der Rezensionen betreffend ein Einzelfall ist, wäre näher zu untersuchen, sobald mehr Rezensionen zu digitalen Editionen aus anderen Publikationsorganen zugänglich sind.
Die Rezensionen in ride unterscheiden sich von ›klassischen‹ Rezensionen
darüber hinaus auch dadurch, dass sie vor der Veröffentlichung einen
Peer-Review-Prozess durchlaufen.Reviewing von Reviews
mit aller
(übertriebener?) Kraft versucht wird, die Zweifel an der
Wissenschaftlichkeit digitaler Veröffentlichungen auszuräumen. Es muss aber
auch gesagt werden, dass solche Initiativen prinzipiell begrüßt werden
sollten, da die verschiedenen Ansätze zur Evaluation digitaler Editionen im
Moment noch Experimente sind.
Dadurch, dass Rezensionen in Zeitschriften veröffentlicht werden, haben sie z. B. internen Bewertungen oder Diskussionen in sozialen Medien gegenüber den Vorteil, dass die Begutachtungen für andere leichter auffindbar, nachvollziehbar und nachnutzbar sind. Die Rezensionen geben einen bestimmten Diskussionsstand wieder. Sie können von den Erstellern digitaler Editionen als Anregung dafür genutzt werden, die Edition noch zu verbessern – unter Umständen könnten die Rezensionen dann sogar wiederholt werden – und anderen als Inspiration für eigene, geplante Vorhaben dienen. Sie bieten als prinzipiell freie Textform Raum für die Auslegung, Diskussion und Anwendung von Evaluationskriterien und für eine Kontextualisierung. Wie in anderen Fachbereichen auch, ist der Blick zurück, das ›re-view‹, ein sinnvoller Ansatz, um zur weiteren Entwicklung des immer noch jungen Feldes der digitalen Editorik beizutragen.
Die Betrachtung der Zielstellungen, Herausforderungen, Problemfelder und Lösungsansätze zur Evaluation digitaler Forschungsergebnisse insgesamt hat deutlich werden lassen, dass in diesem Themenbereich sowohl theoretisch als auch praktisch noch viel zu leisten ist. Ergebnisse dieses Beitrags sind, dass eine Bewertung durch mehrere Personen mit unterschiedlichen Kompetenzen sinnvoll sein kann oder Evaluatoren auf andere Weise unterstützt werden sollten, damit sowohl inhaltliche als auch methodische und technische Aspekte in Evaluationen einfließen können. Best Practices, Guidelines und Kriterienkataloge, die zunehmend entwickelt werden, unterstützen den Bewertungsprozess auf sinnvolle Weise. Sie können Gutachter, die über Disziplinengrenzen hinweg Evaluationen vornehmen müssen, zur Orientierung dienen. Kriterien können, wenn sie zu spezifisch formuliert werden, zugleich problematisch sein, da sie einen bestimmten methodischen Entwicklungsstand als Best Practice fixieren. Sie müssen daher selbst fortlaufend diskutiert werden.
Damit digitale Forschungsergebnisse aller Art auf allen Ebenen und in allen Facetten bewertet werden können, die sie ausmachen, sind Dokumentation, Transparenz und Offenheit von Seiten der Wissenschaftler wesentlich. Nur so können neben Präsentationsformen auch Forschungsdaten, Textcodierungen, in Projekten entwickelte Werkzeuge und Programmteile evaluiert werden, wenn diese entscheidend zum Wesen und der Gestalt der Edition beitragen. Ein bewusstes Publizieren von Teilergebnissen kann das Signal für die Beurteilungsfähigkeit digitaler Arbeiten geben. Eine Konzentration auf die Bewertung von Ergebnissen gegenüber Praktiken ist sinnvoll: Wenn beispielsweise Tools selbst Ergebnisse der Forschung in einem Editionsvorhaben sind, wären sie Gegenstand einer Rezension, während der Einsatz bestehender Tools zur Gewinnung von Ergebnissen als Praktik gewertet würde. Praktiken könnten eher im Rahmen von Gutachten zu Projektanträgen, also mit Blick auf die Zukunft, bewertet werden, oder in Form von Beratungen im Projektverlauf, sind ansonsten aber schwer zu erfassen, weshalb für Rezensenten die Beurteilung der publizierten Ergebnisse im Vordergrund stehen sollte. Praktiken würden nur im Sinne eines dokumentierten methodischen Vorgehens, welches Teil von publizierten Ergebnissen sein kann und sollte, in das Blickfeld von Rezensionen rücken. Digitale wissenschaftliche Editionen müssen den grundsätzlichen Anforderungen an wissenschaftliche Editionen genügen und unterscheiden sich in dieser Hinsicht nicht von gedruckten wissenschaftlichen Editionen. Als digitale Ressourcen haben digitale wissenschaftliche Editionen Vieles mit anderen Arten digitaler Forschungsergebnisse (wie z. B. digitale Archive oder digitale Tools) gemeinsam. Trotzdem sind für die Evaluation und insbesondere das Reviewing von digitalen wissenschaftlichen Editionen auch eigene Bedarfe und Kriterien auszumachen. Die Kriterien betreffend kann diskutiert werden, ob nicht für verschiedene Arten von digitalen wissenschaftlichen Ressourcen auf allgemeine Richtlinien verwiesen werden kann und Kriterien für einzelne Fachbereiche, bestimmte Arten von Ressourcen und bestimmte Gegenstände sich auf das jeweils Spezifische konzentrieren. Für digitale Editionen spielt die Repräsentation des edierten Gegenstandes in digitalen Daten eine besondere Rolle, z. B. in Form einer Textcodierung: Ist sie durchdacht und angemessen? Auf der anderen Seite ist wesentlich, wie die Edition sich digitale Präsentationsformen zunutze macht. Hier kann besonderer Wert auf Innovation gelegt werden, vor allem aber ist auch bei der Entwicklung von Benutzungsoberflächen entscheidend, dass Inhalt und Form gut aufeinander abgestimmt sind.
Digitale Editionen zu besprechen und zu bewerten trägt zur praktischen Weiterentwicklung und Etablierung des Edierens im digitalen Medium bei. Die Erstellung digitaler Editionen wird gefördert, die Qualität der entstehenden Editionen gesichert, gute Umsetzungen hervorgehoben und die Möglichkeit gegeben, aus Fehlern zu lernen. Wenn Evaluationen einzelne digitale Editionen diskutieren und einordnen, führt dies zugleich zu einem fortwährenden Diskurs zur Definition der ›digitalen Edition‹ und zu den Methoden und Zielen des digitalen Edierens.
Erfolgt die Evaluation wissenschaftlicher Ergebnisse im digitalen Medium und bezieht sie sich auf digitale Forschungsergebnisse, unterliegt sie selbst einem medial induzierten Wandel. Dies wurde am Beispiel der Rezension als Evaluationsform aufgezeigt. Rezensionen tendieren (zumindest im Fall von ride) zu mehr Umfang, orientieren sich an Kriterienkatalogen, folgen diesen unter Umständen in ihrer inhaltlichen Struktur und werden von formalen Auswertungen wie Datenvisualisierungen begleitet. Trotzdem ist die Rezension als narrative Textform, die offen gestaltet werden kann, besonders geeignet, um zwischen Theorie, Methodik und Empirie der digitalen Edition zu vermitteln und vor allem auch ein gutes Gegengewicht zu Kriterienkatalogen zu bilden, die zu einer Formalisierung und Festschreibung von Bewertung und Bewertungsmaßstäben tendieren. Rezensionen bleiben als Evaluations-Use Cases für andere zugänglich und nachvollziehbar. Während auch neue Formen der Evaluation entstehen, ist es zunächst sinnvoll, auf ein etabliertes Verfahren wie die Rezension zurückzugreifen, bei dem Produktion und Rezeption eingespielt sind, um so die Diskussion über die im Digitalen entstehenden Forschungsergebnisse in Gang zu bringen.
Schließlich kann festgehalten werden: Wenn digitale Forschung und ihre Ergebnisse und insbesondere das digitale Edieren als Methode noch nicht sehr etabliert sind, so gilt das für ihre Evaluation erst recht, weshalb die Diskussion möglicher Ansätze essentiell ist. Zugleich sollte es mehr Bewertungen digitaler Arbeiten geben, um deren Reputation zu fördern und zur Stabilisierung des Feldes beizutragen.