Fehlende Gewissheiten

Wissenschaftliches Publikationssystem im Wandel

Die Aufmerksamkeitsökonomie prägt auch das akademische Publikationsverhalten. Für die Bewertung von Wissenschaft bleibt dies nicht folgenlos.

www.gen-ethisches-netzwerk.de/publikationen/gid/244

 

„Alternative Fakten“ wurde jüngst zum deutschen Unwort des Jahres gekürt. In der Begründung der Jury heißt es, der Begriff stehe für den Versuch, falsche Behauptungen in der öffentlichen Debatte salonfähig zu machen. Geprägt hat den Begriff Kellyanne Conway, Beraterin des US-amerikanischen Präsidenten Donald Trump. Sie rechtfertigte damit die Aussage des ehemaligen Pressesprechers des Weißen Hauses, als der behauptete, bei der Amtseinführung Donald Trumps seien mehr Menschen vor Ort gewesen als bei jener Barack Obamas zuvor. Vergleichende Luftaufnahmen beider Veranstaltungen belegten für jedermann einsichtig, dass dies nicht den Tatsachen entsprach.

Nicht immer lassen sich Fakten von bloßen Behauptungen so einfach unterscheiden. Statt aber jede Aussage stets auf ihren Wahrheitsgehalt zu überprüfen, muss in einem demokratischen System darauf vertraut werden, dass bestimmte Autoritäten nicht vorsätzlich falsche Behauptungen verbreiten. Die Diagnose der aufkommenden Post-Truth-Ära bricht jedoch mit diesem Anspruch. Allein das, was die Mehrheit für wahr hält, ungeachtet der Evidenz, setze sich durch. Welche Rolle aber kommt in einem solchen System der Wissenschaft, der traditionellen Hüterin der Wahrheit zu?

Zum Kern des wissenschaftlichen Alltagsgeschäfts gehört es, Aussagen kritisch zu hinterfragen und auf ihre Evidenz hin zu überprüfen. Der Begründer der Wissenschaftssoziologie, Robert K. Merton, fasste jenes Unterfangen als Norm des Organisierten Skeptizismus. Die Institution des Peer Reviews soll durch wechselseitige Kritik die Qualität wissenschaftlicher Ergebnisse sicherstellen, und dies traditionellerweise vor ihrer Veröffentlichung, um eine öffentliche Verbreitung falscher Ergebnisse zu verhindern. In der Buchdruckgesellschaft prägten redaktionelle Veröffentlichungsentscheidungen das, was wissenschaftlich zu sagen möglich war. Eine bekannte Verfahrensrichtlinie wissenschaftlicher Zeitschriften, die sogenannte Ingelfinger Rule lautet, keinen Artikel zu drucken, der bereits in anderen Zeitschriften oder den Massenmedien veröffentlicht ist. Ihr Namenseber, Franz J. Ingelfinger, etablierte dieses Vorgehen 1969 als Chefredakteur des New England Journals of Medicine, um einerseits eine falsche beziehungsweise verzerrende Berichterstattung über gesundheitsrelevante Themen zu minimieren und andererseits den Nachrichtenwert der Zeitschrift durch exklusive medizinische Forschungsbeiträge zu erhöhen.

Veränderte Publikationsprozesse

Mit der gesellschaftsweiten Umstellung auf digitale Verbreitungstechnologien haben sich die Publikationsmöglichkeiten enorm erweitert. Peer Review ist zwar nach wie vor die Richtschnur der Veröffentlichungspraxis, doch lässt sich mit der Digitalisierung ein Trend von der wissenschaftlichen Begutachtung eingereichter Manuskripte vor der Veröffentlichung hin zur nachträglichen Begutachtung identifizieren (Post-publication Peer Review). Mit der zeitlichen Verlagerung des Peer Reviews geht einerseits eine Beschleunigung einher, die den zum Teil mehrjährigen Verzögerungen im wissenschaftlichen Veröffentlichungsprozess entgegenkommt. Andererseits verbindet sich damit eine soziale Erweiterung des Gutachterpools. An der nachträglichen Begutachtung auf den entsprechenden Online-Plattformen kann sich potenziell jedermann beteiligen, was als Demokratisierung des Peer Reviews von vielen Seiten gefordert wird. Wenn, wie Einzelfälle illustrieren, selbst in den hochrangigsten Journalen gefälschte Ergebnisse unterkommen können, so die Argumentation, reichen die Urteile von zwei bis drei Experten, wie sie das klassische Peer Review vorsieht, nicht aus. Post-publication Peer Review ist damit zugleich eine Kritik an der Definitionsmacht der Journale über wissenschaftliche Qualität und damit über ihren Einfluss auf wissenschaftliche Karrieren.(1)

Grenzen des Peer Reviews

Seit Ende der 1990er Jahre ist im Zusammenhang mit der Aufdeckung zahlreicher Fälschungen (2) immer wieder von einer Krise des Peer Reviews die Rede.(3) Herausgeber wissenschaftlicher Zeitschriften reagieren darauf stets mit dem Verweis, dass das System auf wechselseitigem Vertrauen basiere und weder darauf angelegt noch geeignet sei, vorsätzlichen Betrug aufzudecken. Anders als im oben diskutierten Beispiel „alternativer Fakten“ geht es in der Wissenschaft nicht ausschließlich um eine Authentizitätsprüfung der Daten, sondern um ihre (adäquate) Interpretation. Erst die theoretische Einordnung macht wissenschaftliche Anschlüsse möglich. Ob Forschungsergebnisse und ihre Prämissen am Ende halten, was sie versprechen, lässt sich nur bei der Anwendung klären, nicht durch die überprüfung der Plausibilität der Darstellung. Selbst „falsche“ Ergebnisse können zur gemeinschaftlichen Wissensproduktion insofern beitragen, als dass sie die Entwicklung neuer Validierungsmechanismen vorantreiben. Im Unterschied zu bloßen Irrtümern oder Fehlern ist die Fälschung an die Absicht zu täuschen geknüpft und stört damit das Sozialgefüge der Wissenschaft.

Fehlerhafte Studien und fehlende Reproduzierbarkeit

Watchblogs wie das 2010 gegründete Blog Retraction Watch gehen Vorwürfen wissenschaftlichen Fehlverhaltens auf den Grund und machen mögliche Transgressionen online publik. Seit rund 15 Jahren haben die Widerrufe (Retractions) wissenschaftlicher Artikel erheblich zugenommen. Die Gründe für einen Widerruf sind vielfältig; in jedem Falle aber wird damit das zuvor lancierte Ergebnis als nicht haltbar markiert. Auch wenn die Widerrufsrate nach wie vor mit 0,02 Prozent (Stand 2015) (4) einen äußerst geringen Anteil an wissenschaftlichen Artikeln ausmacht, so ist der absolute Anteil an Widerrufen allein im Zeitraum von 2001-2009 um das Zehnfache gestiegen.(5) Dieser Anstieg mag mit einer tatsächlichen Zunahme von Fehlern in der wissenschaftlichen Literatur zusammenhängen oder aber mit einer neuen Sensibilität für Fehler, die über den Post-publication Peer Review inzwischen formal angezeigt beziehungsweise auf entsprechenden Plattformen (wie PubPeer) anonym diskutiert werden. Als große Durchbrüche deklarierte Studien, die medial entsprechend aufgegriffen werden, sind besonders anfällig für eine nachträgliche überprüfung. Je exponierter die Publikation, desto höher scheint die Wahrscheinlichkeit, dass wissenschaftliche Ungereimtheiten entdeckt werden.(6)

Mit der öffentlichen Klage über die fehlende Reproduzierbarkeit einzelner viel beachteter Ergebnisse begann eine ganze Welle sogenannter Replikationsstudien. Diese in den letzten Jahren veröffentlichten Studien kamen zum Teil zu verheerenden Ergebnissen. So wurde die fehlende Reproduzierbarkeit mit bis zu 90 Prozent (7) wie im Falle der Krebsforschung beziffert.(8) Ob diese spektakulären Replikationsstudien zur Abschätzung der Fehlerrate selbst wiederum replizierbar sind, wäre sicher eine eigene Untersuchung wert. Fest steht zumindest, dass das Vertrauen in das Wissenschaftssystem derzeit erschüttert ist. Einer aktuellen Studie der Zeitschrift Nature zufolge stimmen 90 Prozent der befragten Wissenschaftlerinnen der Aussage zu, dass wir uns derzeit in einer leichten, wenn nicht gar schwerwiegenden Reproduzierbarkeitskrise befinden.

Bedeutungswandel der Publikation

Aus dieser Krisendiagnose lassen sich zwei konträre Schlussfolgerungen ziehen. Die eine lautet: Das Ausmaß an Fehlern in der wissenschaftlichen Literatur ist Indiz dafür, dass die Wissenschaft ihre epistemische Autorität eingebüßt hat. Die andere Lesart ist, dass sich gerade im Aufdecken von Fehlern zeigt, dass die Wissensproduktion nach wie vor funktioniert. Die Anzeige von Fehlern in der wissenschaftlichen Literatur wäre dann vielmehr das Symptom statt die Ursache der Vertrauenskrise. Für diese zweite Lesart gibt es aus soziologischer Sicht gute Gründe, die es im Folgenden kurz zu erläutern gilt.

Formal betrachtet stellt die Publikation das Medium dar, wissenschaftliche Ergebnisse zu zirkulieren, um sie dem kritischen Blick der Fachgemeinschaft auszusetzen. Mit der Publikation wird Wissenschaft zugleich zu einer „öffentlichen Angelegenheit“ (9), die potenziell jeden adressiert, in der Regel jedoch nur wenige Spezialisten anspricht - und nicht immer erreicht. Bekanntermaßen wird rund ein Drittel an Publikationen wissenschaftlich überhaupt nicht wahrgenommen, geschweige denn zitiert. So ist nicht die Publikation, sondern die Rezeption die entscheidende Hürde, um Eingang in den Wissenschaftsdiskurs zu finden. Das Erzielen von Aufmerksamkeit über Publizität im Sinne des Erreichens von Empfängern war schon immer Grundbedingung für wissenschaftlichen Erfolg. Allerdings hat sich seit den 1980er Jahren mit der Einführung des New Public Managements im Hochschulsektor weltweit und der damit einhergehenden kontinuierlichen Leistungserfassung über quantitative Indikatoren die Bedeutung der Publikation in der Wissenschaft verändert. So gehören Publikationskennziffern seither zu den zentralen Bewertungsmaßstäben in der internen und externen Forschungsevaluation und prägen damit Allokationsentscheidungen. Publikationen sind dann nicht mehr Mittel der Kommunikation der Wissenschaft (analog zum Briefverkehr vor der Gründung wissenschaftlicher Zeitschriften), sondern ihr Produkt.(10)

Quantität ersetzt Qualität

Für die Wissenschaftlerin und ihre Institutionen heißt es seit der Einführung publikationsbasierter Leistungsindikatoren, (noch) mehr zu publizieren und möglichst hohe Zitationswerte einzustreichen, die gleichsam zum Qualitätsmerkmal von Publikationen erhoben wurden. Auf diese Weise soll individuelle Performanz sichtbar gemacht werden, beispielsweise über die Ermittlung des h-index. Der h-index ist ein kumulativer Faktor, benannt nach seinem Erfinder Jorge E. Hirsch, der über einen Algorithmus die Anzahl der Publikationen mit den erzielten Zitationsraten pro Wissenschaftler ins Verhältnis setzt. Ziel ist, Vergleichbarkeit auf der Mikroebene herzustellen, um beispielsweise Personalentscheidungen zu informieren.

Dass sich wissenschaftliche Qualität, geschweige denn „Wahrheit“, in Kennzahlen übersetzen lässt, ist aus rein methodologischen Gründen ausgeschlossen. Mit der Output-Kontrolle über Kennziffern sind Zielkonflikte im System vorprogrammiert und für die Wissenschaft auch zum Teil schon ausformuliert worden.(11) Umso erstaunlicher ist es, dass sich zitationsbasierte Indikatoren derart in das wissenschaftliche Selbstverständnis eingeschrieben haben, dass sie sogar das Belohnungszentrum im Gehirn aktivieren.(12) Dabei zeigt die Zitationsquote weniger die wissenschaftliche Relevanz, sondern vielmehr die Popularität eines Themas an. Breite Resonanz mag mit der besonderen Qualität eines Beitrags oder der Reputation der Autorin, des Journals oder der Institution zusammenhängen. Die Zitationshäufigkeit eines Beitrags ist aber ebenso beeinflusst von der Größe der Fachcommunity, der gewählten Fachsprache, der Online-Verfügbarkeit, der Aktualität des Themas, seiner politischen oder ökonomischen Relevanz, den kontroversen Thesen oder auch der investierten PR-Arbeit über verschiedene Kanäle. Mit der jüngsten Entwicklung alternativer Metriken, kurz Altmetrics, wird das erfasste Resonanzspektrum nochmals erweitert von Zitierungen in Fachzeitschriften hin zur statistischen Erfassung von Reaktionen in den sozialen Medien (Twitter, Facebook, Reddit etc.).(13) Die bislang weitgehend ausgebliebene Kritik an Altmetrics erklärt sich vermutlich dadurch, dass sie als Narzissmustechnologie fungiert und nicht durch ihre Eignung als wissenschaftlicher Leistungsnachweis.(14)

Aufmerksamkeit als Erfolgskriterium

Der Struktur der medialen Kommunikation ist es geschuldet, dass sich wie im Sensationsjournalismus mit steilen Thesen die größte Aufmerksamkeit in der Wissenschaft erzielen lässt - sofern diese formal mit dem Peer Review-Qualitätssiegel versehen sind. In den sozialen Medien wird der Effekt der Nachrichtenfaktoren (Konflikt, Prominenz, Quantität, Kuriosität etc.) noch verstärkt. Massenmediale Erfolgskriterien stehen potenziell in Konflikt zu wissenschaftlichen Relevanzkriterien. Die Breitenwirksamkeit mag für die Massenmedien ein (ökonomisches) Erfolgskriterium abgeben, doch nicht für die Wissenschaft. Bei der Zirkulation neuer Ergebnisse geht es vielmehr um das Erreichen eines spezifischen Publikums, dessen Größe der Sache nach weniger entscheidend ist als die Urteilskompetenz Einzelner, die qua Status Reputation verleihen. Reputation fungiert in der Wissenschaft als Motivationsverstärker der Wahrheitssuche. Die soziale Erwartung ist, dass die Reputationszuweisung an wissenschaftliche Leistungen gekoppelt sein muss, um eine aufmerksamkeitssteuernde Funktion zu übernehmen und nicht umgekehrt. Für den positiven wie negativen Fall gilt, dass sich die inhaltliche Substanz nicht an Zitationshäufigkeiten ablesen lässt. Wohl aber lässt sich im Rekurs auf mediale Aufmerksamkeitsregeln Resonanzfähigkeit künstlich erhöhen, von der gezielten Eigenwerbung hin zur überzeichnung von Ergebnissen. Im Rückgriff auf quantitative Indikatoren geht die Distinktionsfähigkeit zwischen guter und schlechter Performanz verloren.

Fasst man diese Beobachtungen zusammen, scheint die öffentliche Markierung von Fehlern nicht primär in der Sachdimension, sondern in der Sozialdimension verortet zu sein. Die aktuelle Krisendiagnose deutet vielmehr auf die dysfunktionalen Nebenfolgen einer indikatorenbasierten Leistungsmessung hin.(15) Das Zählen von Publikationen und das Auslesen von Nutzungsstatistiken in der Evaluationspraxis setzt Gaming-Aktivitäten in Gang, die das meritokratische Prinzip der Leistungsgerechtigkeit zu unterhöhlen drohen und eine Spirale des Misstrauens in Gang setzen. In Zeiten der Aufmerksamkeitsökonomie und der ubiquitären Orientierung an Klickzahlen läuft somit Wissenschaft analog zu Journalismus und Politik Gefahr, ihr Kerngeschäft aus den Augen zu verlieren.

 

Fußnoten:

  • (1) How journals like Nature, Cell and Science are damaging science, The Guardian online, 09.12.13., www.theguardian.com oder www.kurzlink.de/gid244_a .

  • (2) Franzen M, Rödder S, Weingart P: Fraud: Causes and culprits as per- ceived by science and the media, EMBO reports 8 (1), 2007, S. 3–7, doi: 10.1038/sj.embor.7400884.

  • (3) Is Peer Review Broken? The Scientist, 01.02.06, www.the-scientist.com oder www.kurzlink.de/gid244_b .

  • (4) Zahlen aus dem Open Science Monitor der Europäischen Kommission auf www.ec.europa.eu oder www.kurzlink.de/gid244_c .

  • (5) Zahlen aus: Van Noorden R: The trouble with retractions. Nature 478, S. 26-28, 2011, doi:10.1038/478026a, www.nature.com oder www.kurzlink.de/gid244_d .

  • (6) Franzen M: Breaking News: Wissenschaftliche Zeitschriften im Kampf um Aufmerksamkeit. Baden-Baden: Nomos, 2011, doi: 10.5771/ 9783845231501.

  • (7) Begley CG, Ellis LM: Drug development: Raise standards for preclini- cal cancer research. Nature 483, 2012, S. 531-533, doi: 10.1038/ 483531a.

  • (8) Einblicke in einzelne Fächer liefert der Band von Atmanspacher H, Maasen S (Hg.): Reproducibility: Principles, Problems, Practices and Prospects. Hoboken, New Jersey: John Wiley & Sons Inc.

  • (9) Neidhardt F: Wissenschaft als öffentliche Angelegenheit. WZB-Vorle- sungen (3), Berlin, 2002.

  • (10) De Solla Price, DJ: The Development and Structure of the Biomedical Literature. In: Warren, Kenneth S. (Hg.): Coping with the Biomedical Literature. New York: Praeger Publications, 1981, S. 3–16.

  • (11) Osterloh M: Governance by numbers: Does it really work in research? Analyse und Kritik 32, 2010, S. 267-283.

  • (12) Paulus FM, Rademacher L, Schäfer TAJ et al.: Journal Impact Factor Shapes Scientists’ Reward Signal in the Prospect of Publication. PLoS ONE 10(11): e0142537, 2015, doi: 10.1371/journal.pone.0142537.

  • (13) Franzen M: Der Impact Faktor war gestern. Altmetrics und die Zukunft der Wissenschaft. Soziale Welt 66 (2), 2015, S. 225–242, doi: 10.5771/0038-6073-2015-2-225.

  • (14) Wouters P, Costas R: Users, Narcissism and Control - Tracking the Impact of Scholarly Publications in the 21st Century. SURFfoundation, 2012, www.surf.nl oder www.kurzlink.de/gid244_e .

  • (15) Schimank U: Reputation statt Wahrheit: Verdrängt der Nebencode den Code? Soziale Systeme 16 (2), 2010, S. 233-242, doi: 10.1515/sosys-2010-0204.