Der internationale Siegeszug der Bibliometrie

Warum zählen, messen und mitteln in der internationalen Wissenschaft immer wichtiger wird und was dabei unter den Tisch zu fallen droht. Torsten Bultmann analysiert die wachsende Rolle der Bibliometrie und stellt ihre Fragwürdigkeit heraus.

Wissenschaftliche Erkenntnis und ihre Überlieferung ist untrennbar an die Schriftkultur gebunden. Dies gilt im Grunde genommen seit mehreren Jahrtausenden. Auch heute werden Forschungsleistungen in der Regel über Veröffentlichungen dargestellt, bewertet und kommuniziert. Der wissenschaftlich-technische Fortschritt seit dem 20. Jahrhundert, forciert noch einmal durch den Übergang vom Industrie- zum High-Tech-Kapitalismus, wird von einem exponentiellen Wachstum an wissenschaftlichen Publikationen begleitet, ebenso folglich von - mehr oder weniger tauglichen - Versuchen, diese Unzahl in irgendeiner Weise zu strukturieren, übersichtlich und bewertbar zu machen.

Damit beginnt der Bedeutungszuwachs der Bibliometrie.¹ Dieser ergibt sich allerdings nicht aus der Überzeugungskraft bibliometrischer Methoden unmittelbar, sondern ist untrennbar mit der Durchsetzung ›wettbewerblicher‹ Methoden zur Steuerung des Hochschulsystems und zunehmend davon geprägter internationaler Hochschulvergleiche verbunden. Der von Anfang an nächst liegende Ansatz war es daher, Publikationen einfach zu zählen und an der Höhe der sich ergebenden Summe die Produktivität einzelner WissenschaftlerInnen, aber auch ganzer Institute und kompletter Universitäten zu messen. Dies schlug sich dann in entsprechenden Rankinglisten nieder. Das resignierte geflügelte Wort "publish or perish" war die Reaktion der scientific community.

Salamitaktik

Es entwickelte sich so eine Anreizstruktur, Forschungsresultate in möglichst vielen Publikationen zu streuen. Zuweilen trieb dies Verfahren kuriose Blüten. Es entstand das Bonmot von der "Salamitaktik" als Suche nach "der kleinstmöglichen publizierbaren Einheit".² WissenschaftlerInnen, die international mithalten wollen, verhalten sich jedenfalls taktisch extrem unklug, wenn sie ein dickes Buch schreiben. Mitte der 90er Jahre verkoppelte die australische Regierung etwa die Besoldung einzelner WissenschaftlerInnen und die Grundfinanzierung der Universitäten mit der Zahl der Veröffentlichungen. Das Erwartete geschah: Diese Zahl schwoll dramatisch an. Allerdings sank der Umfang der Zitierungen der gleichen Arbeiten umgekehrt proportional.³

Diese Einwände sind weder neu noch originell. Die Verfechter solcher Methoden reagieren darauf i.d.R. mit dem Hinweis, dass ständig an deren Verfeinerung gearbeitet werde. Dazu gehöre etwa die unterschiedliche Gewichtung der Veröffentlichungsorte, d.h. ein Ranking der einschlägigen Zeitschriften selbst, ebenso wie eine Messung ihrer Zitierhäufigkeit. In den einflussreichsten internationalen Hochschulrankings nimmt daher die Bibliometrie einen zentralen Platz ein. Die Platzierung einer Universität im Shanghai-Ranking (seit 2003) ergibt sich etwa zu 20 Prozent aus der Artikelanzahl in den (naturwissenschaftlichen) Zeitschriften science und nature, die offenbar - ohne weitere Begründung - für Leitmedien des wissenschaftlich-technischen Fortschritts gehalten werden. Zu weiteren 20 Prozent werden die gezählten Veröffentlichungen im web of science (s.u.) gewichtet. Der Rankingplatz im Times Higher Education Ranking (THE, seit 1971) setzt sich aktuell zu 30 Prozent aus einer Messung der Forschungsleistung über die Zitierhäufigkeit zusammen.

Seit Anfang der 60er Jahre des vorigen Jahrhunderts wird versucht, Zitations-Indizes mit dem Anspruch, auf diese Weise die Beachtung eines Aufsatzes in der scientific community messen zu können, herzustellen. Dieser Ansatz wurde natürlich durch die Digitalisierung in Verbindung mit der Möglichkeit, großformatige Literaturdatenbanken zu errichten und entsprechende Such-Algorithmen zu produzieren, begünstigt und beschleunigt.

Marktführer der wissenschaftlichen Datenbanken - und damit zentrale Quelle für rankingproduzierende Datenanhäufungen - ist derzeit das web of science, dessen physischer Standort Philadelphia (USA) ist. Es wird vom Institute for Scientific Information (ISI; seit 2008 Bestandteil der Thomson Reuters Corporation) erstellt und ständig aktualisiert. Das ISI gibt einen jährlichen Journal Citation Report (JCR) heraus, welcher wissenschaftliche Zeitschriften nach ihrem Journal Impact Factor (JIF) in einer Rangliste einstuft. Datengrundlage sind zwei Editionen. In der Science Edition werden derzeit ca. 8.000 Zeitschriften aus Naturwissenschaft, Medizin und Technik erfasst; in der Social Science Edition etwa 2.600 Zeitschriften (überwiegend) aus den Sozialwissenschaften. Damit sind aber insgesamt nur geschätzte 10 Prozent aller weltweit verfügbaren wissenschaftlichen Zeitschriften nach einer strengen Auswahl durch das ISI einbezogen.⁴ Es herrscht keine Transparenz darüber, welche exakten Kriterien das ISI an die Auswahl dieser sog. Source Journals anlegt. In jedem Fall dominieren die englischsprachigen Fachzeitschriften zu etwa 95 Prozent das web of science.⁵ Nach Einschätzung von Richard Münch hat ein Artikel eines amerikanischen Autors insgesamt "eine bis zu 30-mal größere Chance, zitiert zu werden, als ein Artikel eines deutschen Autors."⁶ Im web of science weiterhin nicht erfasst werden Sammelbände und sämtliche Buchpublikationen (Monographien), also ein erheblicher Umfang wissenschaftlicher Veröffentlichungen.

Der Journal Impact Factor (JIF)

Der auf der Basis des web of science berechnete JIF ist die zentrale Bezuggröße in der internationalen Bibliometrie. Er beziffert die durchschnittliche Anzahl von Zitierungen einer Zeitschrift in einem Bezugsjahr etwa zwei Jahre nach deren Erscheinen. Wenn eine Zeitschrift (z.B. 2011) 250-mal zitiert wird (Zähler) und in den zwei Jahren davor (2009-2010) 150 Artikel veröffentlicht hat (Nenner), dann beträgt ihr JIF 1,66. Der JIF wird also ausschließlich auf die (quantitative) Wahrnehmung der gesamten Zeitschrift bezogen, nicht auf den Zitationsumfang der einzelnen Artikel. Zwischen beiden Größen kann es erhebliche Abweichungen geben.⁷ Dennoch wird der JIF interpretiert als Forschungsstärke aller einzelnen Autoren, die dort im gemessenen Zeitraum publizieren. Das wird u.a. begründet mit der strengen Auswahl durch Fachgutachter (Peer Review); schließlich liegt die Ablehnungsquote in den Source Journals bei bis zu 90 Prozent.

Der JIF lässt sich nun durch wissenschaftsindifferente Methoden und Tricks in die Höhe treiben, um so etwa den wissenschaftlichen Marktwert (Rankingposition) der jeweiligen Autoren zu steigern⁸: dazu gehören etwa Geisterzitate, umfangreiche Selbstzitate und Zitierkartelle der Stammautoren in den Source Journals. In der Zitierpraxis ebenso bekannt ist der Matthäus-Effekt: "Er beschreibt die Tatsache, dass bereits erfolgreiche Forscher besonders häufig zitiert werden, da sich die Zitierenden gerne auf eine Autorität des Faches beziehen."⁹

Bibliometrie in den geschilderten Formen ist im Kern eine Messung der Aufmerksamkeitsökonomie. Sie ist tatsächlich in der Lage, quantitativ zu bestimmen, welche Rolle einzelne Veröffentlichungen in der Kommunikation eines Faches spielen. Nicht weniger, aber eben auch nicht mehr. Über tatsächlichen gesellschaftlich relevanten wissenschaftlichen Erkenntnisfortschritt gibt sie keine Auskunft: "Man könnte hier von einer Kolonisierung des Primärcodes ›Wahrheit‹ durch den Sekundärcode ›Rezeption‹ sprechen."¹⁰

Es soll gar nicht bestritten werden, dass der Zugang zu den tonangebenden Fachzeitschriften über strenge Mechanismen der Qualitätssicherung und -kontrolle erfolgt, möglicherweise sogar auf hohem Niveau. Allerdings ist dieses Niveau bestimmt durch die felsenfesten herrschenden Paradigmen der scientific community. Der Mechanismus ist ein konservativer. Die Dominanz der Chicago-Schule in den internationalen ökonomischen Wissenschaften während dreier Jahrzehnte - die Schule ist mitverantwortlich für die größte Wirtschaftskrise seit achtzig Jahren - korrespondierte mit ihrer absoluten Dominanz in den zentralen high impacted journals des Faches.¹¹ Ein deutliches Beispiel dafür, wie durch wissenschaftsinterne Machtverhältnisse am gesellschaftlichen Erkenntnisbedarf komplett vorbei geforscht und publiziert werden kann. Wirklich innovative Wissenschaft hingegen zeichnete sich seit je dadurch aus, dass sie die herrschenden Paradigmen in Frage stellt, gar mit ihnen bricht und neue Maßstäbe in die Welt bringt.

Angelsächsische  Dominanz?

Die vorherrschenden Formen der Bibliometrie lassen sich auch als zunehmende international dominante Stellung des angelsächsischen Wissenschaftsraumes interpretieren. Allerdings sollte man sich davor hüten, diesen Sachverhalt verschwörungstheoretisch deuten zu wollen; etwa, als wollten die USA durch unfaire Manipulationen ihre wissenschaftliche Hegemonie sichern. Damit sich die genannten Maßstäbe als international akzeptierte wissenschaftliche Währung durchsetzen, bedarf es der Akzeptanz und der Zuarbeit aus aller Herren Länder, in denen etwa eine wachsende Zahl von WissenschaftlerInnen förmlich Schlange steht, um in die Zeitschriften, die das web of science erfasst, zu gelangen. Aus den Daten der Bibliometrie und zusätzlichen quantitativen Leistungsmessungen werden etwa Hierarchien zwischen Universitäten produziert und in Ranking-Listen dargestellt. Diese waren ursprünglich tatsächlich eine Spezialität der angelsächsischen Welt, die woanders kaum beachtet wurde oder zumindest keinerlei strukturpolitische Konsequenzen hatte. Die Vorstellung etwa, Universitäten würden als komplette Institutionen gegeneinander auf einem imaginären Markt konkurrieren, ist in der deutschen Wissenschaftskultur, in der sich die wesentliche akademische Leistungskonkurrenz zwischen den einzelnen Lehrstühlen vollzog, ursprünglich völlig fremd. Die hierzulande ausgebrütete "Exzellenzinitiative" (vgl. Forum Wissenschaft 2-2012) versucht aber nun genau einen solchen Blick auf die deutsche Universitätslandschaft - und deren entsprechende Hierarchisierung - durchzusetzen, nicht zuletzt, um sich so den Maßstäben des angelsächsischen Raumes anzunähern. Eine programmatische Schlüsselsentenz in den Dokumenten der Exzellenzinitiative ist dann auch konsequent, man wolle "die internationale Sichtbarkeit" deutscher Universitäten erhöhen.

Die Kritik an der Eindimensionalität und dem selektiven Charakter der vorherrschenden bibliometrischen Verfahren sind in der Fachöffentlichkeit durchaus verbreitet. Die Konsequenz daraus ist dann etwa die Empfehlung, man möge den JIF nur äußerst zurückhaltend und wenn, dann unter Hinzuziehung anderer (quantitativer) Indikatoren nutzen. Zitationsmessungen sollten für einzelne Artikel angefertigt und nicht für komplette Zeitschriften pauschalisiert, schließlich auch auf alle Publikationsarten (inkl. Bücher und Sammelbände) ausgedehnt werden, etwa mit technischer Hilfe von Google Scholar.¹² Das heißt aber nichts anderes, als dass die Kritik dem Rahmen des Rankingprinzips als solchem und eines (simulierten) Wettbewerbes verhaftet bleibt. Es werden lediglich dessen Gegenstände vermehrt.

Der EUA-Report 2011

Dies gilt auch für den im Juni 2011 veröffentlichten Report Global University Rankings and their Impact, welcher im Auftrag der European University Association (EUA), quasi die europäische Hochschulrektorenkonferenz, erstellt wurde.¹³ Die Kritik an den einflussreichsten internationalen Rankings darin (u.a. Shanghai, THE) ist zunächst äußerst konsequent und zustimmungsfähig. Sie lässt sich so zusammenfassen, dass deren Schaden größer sei als ihr Nutzen. In diesen würden überhaupt nur 1-3 Prozent der (weltweiten) Universitäten auftauchen und ein erheblicher Teil der forschungsbasierten Publikationen gar nicht berücksichtigt werden. Vor allen Dingen jedoch würden sie der Diversifizierung und individuellen Profilbildung der Hochschullandschaft, welche der EUA offenbar ein Anliegen ist, entgegen wirken (7). Aufgrund des (zudem selektiven) Spitzenforschungsbezuges würden wichtige gesellschaftlich relevante Funktionen ("missions") der Hochschulen nicht bewertet und perspektivisch sogar - etwa in dem Maße, in dem sich die Hochschulleitungen an einer besseren Platzierung in den Forschungsrankings orientieren - geschwächt: dazu gehören etwa die Lehrqualität, der Beitrag der Hochschule zum lebenslangen Lernen, zur Ermöglichung eines berufsbegleitenden Studiums und zur Entwicklung der jeweiligen Region. (16) So weit, so schön. Die Empfehlung lautet dann aber: "Now that rankings attract a great deal of attention from the general public, politicians included, there is a demand for more ›democratic‹ rankings." (16; Hervorhebung im Original).

Auch dies ist keine Infragestellung des Prinzips, sondern dessen Radikalisierung. Der Vorschlag ›demokratischer Rankings‹ läuft darauf hinaus, die vielfältigen gesellschaftlichen Funktionen der Hochschulen auch diesseits der Forschung zusätzlich in quantitativen Indikatoren darzustellen und wettbewerblich zu vergleichen (weil das breite Publikum nun mal so gerne fußballligaähnliche Tabellen liest).

Traditionelle ebenso wie ›modernisierte‹ Rankings verdeutlichen vor allen Dingen Unterschiede in den materiellen Leistungsbedingungen der Hochschulen, nicht hingegen in der subjektiven Leistungsfähigkeit einzelner WissenschaftlerInnen. Wenn dann zusätzlich unterschiedliche Rankingplatzierungen finanzwirksam werden - was der Sinn wettbewerblicher Vergleiche ist - werden vor allen Dingen diese Unterschiede vertieft. Eine gleichrangige Entwicklung vielfältiger Hochschulprofile und -funktionen wird so gerade verhindert. Die Aufwertung bestimmter gesellschaftlich relevanter Wissenschaftsfunktionen ist ebenso wie die Geltendmachung alternativer Wissenschaftsansätze im Verhältnis zu den herrschenden Paradigmen rein wissenschaftsimmanent - oder durch Erfindung neuer Messindikatoren - kaum, sondern in letzter Konsequenz nur politisch möglich. Beides bedarf zunächst einer stärkeren Unterstützung innerhalb der wissenschaftlichen Gemeinschaft und zugleich der Kooperation mit (Teilen) der gesellschaftlichen Öffentlichkeit, besser noch mit sozialen Bewegungen. Das ist zumindest eine historische Erfahrung und einfacher geht´s nun mal nicht.

Anmerkungen

1) Im Grunde ein Sammelbegriff für alle methodischen Ansätze, Publikationen statistisch zu erfassen und quantitativ zu bewerten.

2) Richard Münch 2011: Akademischer Kapitalismus - Über die politische Ökonomie der Hochschulreform, Berlin: 368; vgl. dazu auch den Beitrag von Armin Himmelrath in dieser Ausgabe.

3) Vgl. dazu: Margit Osterloh / Bruno S. Frey: "Die Krankheit der Wissenschaft - Der Forschungsbetrieb leidet am Übermaß falsch ausgerichteter Evaluationen", in: Forschung & Lehre 11/2007: 670-673 (hier: 670). Zitierhäufigkeit ist sicher kein wissenschaftliches Qualitätskriterium an sich. Wenn jedoch Nicht-Beachtung als Massenphänomen auftritt, darf vermutet werden, dass die Relevanz der jeweiligen Werke gesunken ist.

4) Werner Marx / Lutz Bornmann: "Der Journal Impact Factor: Aussagekraft, Grenzen und Alternativen in der Forschungsevaluation", in: Beiträge zur Hochschulforschung 2-2012: 50-67 (hier: 51f).

5) Münch, a.a.O.: 56.

6) A.a.O.: 57.

7) Marx / Bornemann, a.a.O.: 59.

8) Ein Überblick findet sich bei Marx und Bornemann, a.a.O., 57f.

9) Harry Müller: "Zitationen als Grundlage von Forschungsleistungsrankings - Konzeptionelle Überlegungen am Beispiel der Betriebswirtschaftslehre"; in: Beiträge zur Hochschulforschung 2-2012: 68-93 (hier: 81).

10) Münch, a.a.O.: 216; und weiter an gleicher Stelle: "Forschung mutiert unter diesen Anreiz- und Selektionsbedingungen zur konditionierten Produktion von Kennzahlen, unter deren Regime die Kreativität abstirbt, weil sie per definitionem quer zu aller Forschungsmetrik steht. Der authentische, innengesteuerte, seinem Erkenntnistrieb und seiner Neugier folgende Forscher wird vom außengesteuerten Punktejäger verdrängt."

11) A.a.O.: 127.

12) Vgl. Marx / Bornemann, a. a.O.: 61; Müller, a.a.O.: 76, 78.

13) Vgl.: www.eua.be/pubs/Global_University_Rankings_and_Their_Impact.pdf. Die folgenden Seitengaben im laufenden Text nach dieser Publikation. Für studis-online habe ich eine ausführlichere Analyse des Reports angefertigt: www.studis-online.de/HoPo/art-1232-eua-ranking-report.php.

Torsten Bultmann ist politischer Geschäftsführer des BdWi.