Meßbarkeit von Forschungsqualität? Der Zeitschriften-Impact-Faktor und die Zitieranalyse.

Rolf-Peter Kraft, M. A.

Zentralbibliothek

Knapper fließende Forschungsmittel, ein angespanntes Gutachtersystem und die Sinnfälligkeit von Ranglisten führen auch in Deutschland zum zunehmenden Einsatz bibliometrischer Methoden zur Messung von Forschungsqualität. Zur Einschätzung der Relevanz der Arbeiten von Wissenschaftlern wird (neben anderen Bewertungsverfahren) immer häufiger das Publikationsverhalten der Autoren als Kriterium herangezogen. Grundlage der meisten Bewertungen sind dabei Zitieranalysen mit Hilfe des Science Citation Index (SCI) und seiner Nebenprodukte.

Der SCI wird in Deutschland mittlerweile bei der Besetzung von Professorenstellen, bei der leistungsbezogenen Mittelzuweisung in öffentlich sowie privatwirtschaftlich finanzierten Forschungseinrichtungen oder anläßlich der Zulassung von Wissenschaftlern zur Habilitation zu Rate gezogen. Auch bei der Präsentation von Jahres- bzw. Leistungsberichten von Forschungseinrichtungen und Universitätskliniken sowie in der Werbung hochrangiger Fachzeitschriften wird davon Gebrauch gemacht. Anwendung findet der Index in weiten Bereichen der Grundlagenforschung, darunter in der Biomedizin, in deren Fächern Publikationen beim wissenschaftlichen Gedankenaustausch eine große Rolle spielen.

Zwei, beinahe willkürlich ausgewählte Pressemeldungen aus den Monaten November 96 bis Januar 97 lassen die "Konjunktur" für entsprechende quantitative Bewertungsmöglichkeiten von Forschungsergebnissen erahnen, wenn nicht erkennen. dpa am 28.11.96: Der Etat des Bundesforschungsministeriums wird "1997 um knapp 900 Millionen auf 14,8 Milliarden Mark reduziert. Das entspricht einem überproportionalen Rückgang von 5,6 Prozent.... Neue politische Schwerpunkte werden (nach Rüttgers) mit mehr wettbewerbsorientierter Forschungsförderung gesetzt." Und: "Bonn fordert für Zuschüsse größere Leistung von Forschern.... Das HWWA (eines der wirtschaftswissenschaftlichen Forschungsinstitute der Bundesrepublik) scheint in seiner Arbeit gefährdet.... Dort fehlen den Gutachtern (des Wissenschaftsrates) die Zusammenarbeit mit akademischen Einrichtungen sowie Veröffentlichungen in renommierten wissenschaftlichen Zeitschriften" (Frankfurter Rundschau am 7.1.97). Das letzte Zitat leitet unmittelbar zum Thema über. Der Science (wie der Social Science) Citation Index liefern die Maßzahlen u. a. für die Bewertung naturwissenschaflicher (wie sozial- und wirtschaftswissenschaftlicher) Zeitschriften.

Der Science Citation Index

Der 1963 begründete Science Citation Index ist eine der umfangreichsten verfügbaren Literaturdatenbanken mit z. Z. ca 650.000 Hinweisen auf naturwissenschaftliche, mathematische und biomedizinische Publikationen pro Jahr. Er enthält neben den Quellenangaben und Inhaltskurzfassungen auch die Literaturhinweise (Referenzen bzw. Zitierungen) aus dem Anhang der Publikationen. Ausgangspunkt dieses speziellen, in den Naturwissenschaften einmaligen Index war die Überlegung, daß wissenschaftliche Autoren in aller Regel diejenigen Arbeiten zitieren, deren Gedanken oder Ergebnisse sie verwenden, weiterentwickeln oder falsifizieren. Die Anzahl der in der Datenbank (bzw. in der gedruckten Version) recherchierbaren Zitierungen einer bestimmten Publikation wird als Maß der Resonanz oder der Wirkung der Veröffentlichung unter den Fachkollegen betrachtet.

Der SCI berücksichtigt einen Kernsatz von ca. 3.500 wissenschaftlichen Zeitschriften. Sie umfassen mehr als 12 Millionen Zitierungen pro Jahr. In der Datenbank werden ausschließlich sog. Peer-Review-Zeitschriften erfaßt, also Publikationsorgane, in die Veröffentlichungen nur nach Begutachtung durch ausgewiesene Fachgutachter gelangen. Besonders renommierte Fachzeitschriften (wie etwa Science) lehnen auf Grund ihrer Qualitätsmaßstäbe bekanntermaßen bis 85% der eingereichten Artikel ab. Auf diese Weise findet eine i. d. R. fundierte qualitative Selektion von Publikationen und damit eine entsprechende Auswahl der im SCI berücksichtigten Beiträge statt.

Der Zeitschriften-Einflußfaktor

Als ein wichtiges Nebenprodukt des Science Citation Index erscheinen seit 1976 die Journal Citation Reports (JCR). Sie werden, wie das Grundwerk, vom Institute for Scientific Information (ISI), einer erfolgreichen Nonprofit-Organisation in Philadelphia, herausgegeben. Begründer ist Eugene Garfield, Chemiker und Bibliothekar, zugleich Vorreiter und Pionier der Zitationsforschung und -Praxis.

Wird im Science Citation Index aufgelistet, welcher Autor welchen anderen Autor im jeweiligen Aufsatz zitiert, so werden diese Informationen in den Journal Citation Reports nach Zeitschriften zusammengefaßt. Auf diese Weise läßt sich ablesen, welche Zeitschrift am häufigsten zitiert wurde. Da die Zitierhäufigkeit wiederum von der Zahl der in ihr veröffentlichten Aufsätze abhängt (je mehr Aufsätze publiziert werden, desto mehr von ihnen können anderswo zitiert werden), errechnet E. Garfield den sog. Impact-Faktor. Ins Deutsche läßt sich der Begriff mit Einflußfaktor oder Zeitschriften-Reichweite übersetzen. Er errechnet sich aus dem Quotienten der Zahl der Zitate auf Aufsätze in einer Zeitschrift und der Zahl der Aufsätze, die in dieser Zeitschrift veröffentlicht wurde. Wurden etwa 1.000 Zitate auf Aufsätze in einer Zeitschrift registriert und in dieser Zeitschrift selbst erschienenen 100 Aufsätze, so beträgt der Impact-Faktor der Zeitschrift 10. Die Rangfolge der in Abbildung 122 wiedergegebenen Zeitschriften-Tabelle bildet die Grundlage für die Beurteilung wissenschaftlicher Zeitschriften. Die im Impact-Faktor ausgedrückte relative Maßzahl für die jeweilige Zeitschrift gilt, analog zur Zitierhäufigkeit eines Autors, als Indikator für die Beachtung oder Reputation der Zeitschrift in ihrem Fachgebiet (Ulrich Korwitz).

Der Impact-Faktor einer Zeitschrift etwa von 1995 (vgl. Abb. 122) berücksichtigt dabei lediglich die Zitate, die 1995 zu Artikeln aus den beiden vorausgehenden Jahren (1993 und 94) gezählt wurden, dividiert durch die Anzahl der Artikel, die 1993 und 94 in der gleichen Zeitschrift erschienen. Dieser Definition liegt die (nicht immer zutreffende) Annahme zugrunde, daß der durchschnittliche Artikel am häufigsten während der zwei Jahre nach Erscheinen zitiert wird. Der relativ kurze Zeitraum sorgt dafür, daß neu erscheinende Zeitschriften rasch in der Rangfolge berücksichtigt werden können - ohne die Gültigkeit der Maßzahl wesentlich zu beeinträchtigen.

Der Immediacy Index (II) (Abb. 122) gibt Auskunft über die Schnelligkeit bzw. über den Verzugszeitraum, mit der Artikel in einer Zeitschrift durchschnittlich zitiert werden. Er bezieht nur Zitate ein, die auf Artikel entfallen, die im gleichen Jahr publiziert wurden. Zeitschriften mit einem hohen II ziehen im allgemeinen die Aufmerksamkeit von Autoren auf sich, denen an einer raschen Verbreitung ihrer Forschungsergebnisse besonders gelegen ist.

Insbesondere für bibliothekarische Auswertungen ist die sog. Halbwertszeit einer Zeitschrift (Cited Half-Life) von Interesse. Sie bezieht sich auf die Altersstruktur der Zitate eines Periodikums und bezeichnet den Zeitraum, in dem - vom aktuellen Jahrgang aus betrachtet - 50% aller Zitate dieser Zeitschrift liegen. Sie repräsentiert annährungsweise den zeitlichen Wertverlust einer Zeitschrift. Die Halbwertszeit kann in gewissem Rahmen mit dem Zeitschriftenfachgebiet korrelieren.

Von besonderer Bedeutung für Autoren sind die nach Impact-Faktoren geordneten Fachgebietslisten von Zeitschriften. Sie lassen auf einen Blick die hochrangigen Periodika des einzelnen Fachgebiets erkennen und beantworten eine der am häufigsten an den Index gestellten Fragen: welche Bedeutung haben die Zeitschriften, in denen ein bestimmter Autor oder eine Forschergruppe publiziert? Abbildung 123 zeigt einen Ausschnitt der zellbiologischen Fachzeitschriften mit Impact-Faktoren, beginnend mit der Zeitschrift Cell - mit einer durchschnittlichen Zitierhäufigkeit von 40 pro Aufsatz innerhalb von zwei Jahren. Die Liste zur Medizininformatik (Abbildung 124) beginnt hingegen (mit dem Titel "Medical Decision Making") bei einem Einflußfaktor 2. Diese Diskrepanz weist exemplarisch auf die völlig unterschiedlichen Zitierpraktiken (und Publikationsraten) innerhalb der einzelnen Fachgebiete hin, selbst im Rahmen der Biowissenschaften. Ein Vergleich der Zitierraten von Zeitschriften aus verschiedenen Disziplinen (ebenso wie von Autoren unterschiedlicher Fachgebiete) ist deshalb nicht möglich. Vergleiche auf der Basis des Zeitschriften-Einflußfaktors wie der persönlichen Zitierhäufigkeit sind ausschließlich im Rahmen der Fachgebietsgrenzen aussagefähig und zulässig.

Die Zitieranalyse

Die zweite häufig an die Indices gestellte Frage lautet: Welchen Rang nimmt ein Autor (bibliometrisch betrachtet) in seinem Fachgebiet ein? Wie erwähnt, ist hierfür das Grundwerk, der Science Citation Index, heranzuziehen. Die Addition der Impact-Faktoren aller Zeitschriften, in denen ein Autor publiziert hat, ist dafür kaum ausreichend. Der Autor profitierte (oder litte) von der Reputation (oder unter der Schwäche) der anderen im gleichen Organ publizierenden Autoren. Als adäquates Maß gilt hingegen die Anzahl der im SCI-Band (Citation-Teil) bzw. in der Datenbankversion erfaßten Zitierungen seiner Publikationen (vgl. Abbildung 125). Der SCI gibt in Großschrift den Autor wieder, darunter in Fettdruck seine im Erfassungszeitraum des Index zitierten Publikationen, beginnend mit Publikationsjahr, Zeitschrift in internationaler Kurzform, Band- und Seitenangabe. Darunter erscheinen in Magerschrift die jeweils zitierenden Autoren bzw. Publikationen. Zitierungen in Büchern werden vom Index grundsätzlich nicht berücksichtigt.

Der in Abbildung 125 mit einem Ausschnitt seiner Zitierungen wiedergegebene Autor J.F. Holland erhielt demnach den Wert 18. Von ihm werden 10 Publikationen aus den Jahren 1989 bis 1993 18 mal zitiert. Darunter ist eine Selbstzitierung sowie eine Doppelzitierung durch einen Fachkollegen.

Im Folgenden soll auf einige Schwächen und Fallstricke dieses Verfahrens hingewiesen werden. Dies impliziert die Frage, inwieweit die in einer Zitierung zum Ausdruck kommende Beachtung eines anderen Autors (Publikation, Forschungsergebnis) gleichbedeutend mit fachlicher Bedeutung bzw. Qualität ist. Eine Gleichsetzung setzte sicherlich voraus, daß ausschließlich aus sachlichen Gründen zitiert wird. Wie publizierende Wissenschaftler jedoch wissen, wird das Zitieren anderer Veröffentlichungen - als sozialer Akt - nicht nur von rein sachlichen Erwägungen bestimmt:

Wissenschaftler zitieren sich selbst oder bilden u. U. sog. Zitiergemeinschaften unter Ausschluß anderer Autoren, um bestimmte Lehrmeinungen durchzusetzen. Sie unterliegen der Gefahr, diejenigen mit dem größten Bekanntheitsgrad auszuwählen und diese somit zu begünstigen. Völlig neue Forschungsgebiete brauchen gelegentlich unverhältnismäßig lange, bis sie aufgegriffen und zitiert werden. Junge Wissenschaftler können im allgemeinen nicht die gleiche Zitierhäufigkeit wie Autoren mit langjähriger akademischer Karriere aufweisen. Schließlich haben Reviews (zusammenfassende Forschungsberichte) und methodische Arbeiten eine überproportional hohe Chance, zitiert zu werden.

Einige dieser Unwägbarkeiten lassen sich mit der von Siegfried Lehrl mit dem Science Impact Index (SII) entwickelten Verfeinerung der Methode ausschließen. Der SII schließt Reviews, Selbstzitierungen und Mehrfachnennungen durch andere Autoren innerhalb eines Jahres (als Indikator von Zitiergemeinschaften) aus. Der Zitierwert von J.F. Holland im gewählten Beispiel (Abb. 125) liegt gemäß SII nicht bei 18, sondern 16. Mit Rücksicht auf junge Autoren kann in Vergleichsstudien der (der Zitierrate zu Grunde liegende) Publikationszeitraum auf die aktive Zeit aller berücksichtigten Publizierenden eingeschränkt werden. Der SII trägt auf diese Weise zu einer objektiveren statistischen Erhebung und einer optimierten Vergleichbarkeit von Zitierraten bei. Er erlaubt auf Grund der Fortentwicklung der Zitieranalyse darüber hinaus fachspezifische Normierungen. Für westdeutsche Autoren der medizinischen Fachgebiete bestimmte Lehrl 1991 z. B. die durchschnittlichen fachtypischen Zitierhäufigkeiten pro Jahr. Sie reichten (im nicht-stationären Bereich) von 1,7 für Nuklearmediziner bis 10,1 für Immunologen.

Generell kann man festhalten, daß die Zuverlässigkeit von Zitieranalysen mit der Anzahl der einbezogenen Wissenschaftler und Veröffentlichungen (oder mit der Größe der entsprechenden "scientific community") deutlich steigt - und insoweit weitgehend anerkannt ist. Bei kleinen Spezialgebieten können sich auf Grund einer zu geringen Datenbasis verfälschende Einflüsse sehr viel stärker bemerkbar machen. Als Gegensatzpaare seien hier stellvertretend die Fächer Molekularbiologie und Genetik auf der einen, die Medizininformatik auf der anderen Seite genannt. Die Aussagekraft der Zitieranalyse liegt unter den genannten Voraussetzungen weit über der reiner Publikationsraten (vgl. Abbildung 126)

Grundvoraussetzung für hohe Zitierraten ist freilich das Publizieren in Englisch, der weltweit anerkannten Wissenschaftssprache der Naturwissenschaften und Biomedizin. Deutsch publizierte Beiträge etwa in der biomedizinischen Grundlagenforschung sind a priori klar benachteiligt.

Die Zitieranalyse in der Praxis

In anglo-amerikanischen Ländern sind die besprochenen quantitativen Verfahren seit rund 20 Jahren anerkannt. Sie ergänzen dort i. d. R. die Begutachtung von Wissenschaftlern und Forschungsgruppen durch Gutachtergremien (Peer-Reviews) sowie die Bewertung nach der relativen Höhe der eingeworbenen Drittmittel. Der Wissenschaftsrat in Bern zieht das Verfahren seit einigen Jahren zur Beurteilung des Leistungsstands der eidgenössischen Forschung heran. Erstmals erwähnt der deutsche Bundesforschungsbericht 1993 positiv das beschriebene Verfahren. Am Deutschen Krebsforschungszentrum (DKFZ) werden entsprechende Analysen zusätzlich zu (oder im Rahmen von) Peer-Reviews zur Begutachtung herangezogen. Mit Hilfe des Zeitschriften-Impact-Faktors wurde 1994/95 z. B. eine Verlaufsuntersuchung zum Publikationsverhalten der DKFZ-Autoren durchgeführt, die aufzeigt, daß am Zentrum ein deutlicher Trend zur Publikation in hochrangigen Zeitschriften zu verzeichnen ist (vgl. Abbildung 127). Innerhalb der Helmholtz-Gemeinschaft deutscher Forschungszentren, deren Mitglied das DKFZ ist, ziehen weitere Einrichtungen Zitieranalysen als Bewertungsverfahren heran.

Darüber hinaus können Zitieranalysen zur vergleichenden Leistungsbeurteilung von Forschungseinrichtungen oder auch zur fachspezifischen Beurteilung ganzer Länder erstellt werden. Die Forschungsgruppe des ISI veröffentlicht laufend entsprechende kleinere und umfangreichere Analysen, Ranglisten von Autoren oder hochzitierten aktuellen sog. "Hot Papers" in der Zeitschrift Science Watch. Sie gibt auch spezielle Produkte wie den Topical Citation Report oder die National Science Indicators heraus. In Deutschland führen u. a. die Deutsche Zentralbibliothek für Medizin in Köln und das Institut für Wissenschafts- und Technikforschung (IWT) an der Universität Bielefeld Untersuchungen auf der Basis des SCI durch. Die Ergebnisse des IWT - insbesondere zu Effektivität und Einfluß deutscher Forschungsinstitute - erscheinen regelmäßig als Forschungs-Index im "Bild der Wissenschaft". Auch die Zeitschriften Science und Nature greifen immer wieder bemerkenswerte Untersuchungsergebnisse auf. Die meisten genannten Publikationsorgane sind in der DKFZ-Zentralbibliothek einsehbar.

Der Science Citation Index liegt in der DKFZ-Bibliothek in gedruckter Form von 1945 bis 1994 vor, als Datenbank (verfügbar für alle an das DKFZ-Netz angeschlossenen PCs) ab 1988 bis heute. Die Journal Citation Reports (JCR) sind in Druckform ab 1976, als Datenbank ab 1994 verfügbar. Bei Bedarf, aus Anlaß von Publikationen oder Begutachtungen, hat jeder DKFZ-Mitarbeiter Gelegenheit zu entsprechender Information. Im Zweifelsfall ist die Konsultation der JCR mit ihren Impact-Faktoren für einen Autor schon deshalb ratsam, als bekannt ist, daß 90% aller Zitierungen in der Biomedizin sich auf 10% aller Zeitschriften konzentrieren. Über 40% der im SCI erfaßten Veröffentlichungen erhalten nicht mehr als eine Zitierung. In der Biomedizin (einschließlich Grundlagenforschung) sind in aller Regel Zeitschriften mit einem Einflußfaktor von über 3 für Publikationen erstrebenswert. Werte von 1 bis 3 entsprechen lediglich durchschnittlicher Beachtung. Auf Ausnahmedisziplinen wurde hingewiesen. Sie sind aus den Fachgebietslisten der JCR ersichtlich.

Die Zentralbibliothek unterstützt DKFZ-Mitarbeiterinnen und -Mitarbeiter mit Rat und Tat bei der Erstellung persönlicher Zitieranalysen und natürlich (falls erforderlich) vor der Einreichung von Publikationen bei Verlagen bei der Suche nach geeigneten Zeitschriften mit hohen Einflußfaktoren. Einige wenige Ratschläge zur Erstellung persönlicher, evtl. vergleichender Zitieranalysen mit Hilfe des SCI, der an nahezu jeder Universitäts-Bibliothek verfügbar ist, seien hier beigefügt:

Da der SCI zitierte Arbeiten nur unter dem ersten Autor einer Publikation nachweist, ist für die
Erstellung der vollständigen Zitierrate eines Autors, soweit er als Co-Autor unter den Verfassern
erscheint, die vollständige Publikationsliste zugrundezulegen. Bei der Suche nach der Zitier-
häufigkeit jeder einzelnen Veröffentlichung ist vom jeweils ersten Autor auszugehen.

Namen mit Umlauten (Möller etc.) sind in allen denkbaren Schreibweisen zu recherchieren,
insbesondere unter "Moller" (US-Schreibweise) und "Moeller".

Bei Doppelnamen (z. B. Alsen-Hinrichs) kann es vorkommen, daß der zweite Namensbestandteil
entfällt oder mit dem ersten verschmolzen wird. Zur Vermeidung von Informationsverlust sind
beide Schreibweisen zu berücksichtigen.

Vornamen sind mit Initialen wiedergegeben. Hans-Günter wird "HG". Zur Sicherheit ist auch die
Variante "H" zu berücksichtigen. Die im Deutschen üblichen Bindestriche entfallen.

Mehrere Autoren gleichen Namens (z. B. D.Meyer, H.Schulz etc.) können durch die Heranziehung
des Fachgebietes, der Anschrift und, wenn nichts anderes hilft, wiederum mit Hilfe der
Publikationsliste differenziert werden.

Eine abschließende Bemerkung: Sowenig wie sich ambitionierte Wissenschaftler dem "publish or perish" (publiziere oder gehe unter) entziehen können, so sehr werden sie in Zukunft auch auf dem "Kontinent" mit dem Zeitschriften-Impact-Faktor und der Zitieranalyse zu rechnen haben. Diese quantitativen Methoden können allerdings traditionelle qualitative und subjektive Verfahren wie Peer-Reviews oder Bewertungen durch anerkannte Experten nicht ersetzen. Sie sind dazu gedacht, herkömmliche Verfahren zu ergänzen und bei Bedarf - etwa zwischen Begutachtungen - "Momentaufnahmen" von der Resonanz einzelner Wissenschaftler oder Forschergruppen im Fachkollegenkreis zu ermöglichen. Nicht zuletzt trägt der Einsatz der besprochenen Verfahren über die Notwendigkeit zum englischsprachigen Publizieren zum Wettbewerb der deutschen Biomedizinforschung mit der internationalen, weltweiten Forschung bei.

Ausgewählte Publikationen

Science Citation Index: an international multidisciplinery index to the literature of science, medicine, agriculture, technology, and the behavioral sciences. ISI Press, Philadelphia (1945 ff.)

Science Citation Index, annual: Journal Citation Reports; a bibliographic analysis of science journals in the ISI data base. ISI Press, Philadelphia (1976 ff.)

Garfield, E.: Citation indexing: its theory and application in science, technology, and humanities. Wiley, New York (1979)

Korwitz, U.: Welchen "Rang" hat ein Wissenschaftler? Nachr. f. Dok. 46, 267-272 (1995)

Kahl, M.: Zitatenanalyse mit den Journal Citation Reports des Institute for Scientific Information. Bibliothek, Forsch. u. Praxis 19, 30-63 (1995)

Lehrl, S.: Der Science Impact Index als Maß der Durchsetzung sowie der Forscherqualität und
-kapazität von Wissenschaftlern. Anwendung und Güteeigenschaften. Media Point Verlagsgesellschaft, Nürnberg (1991)

Bundesbericht Forschung 1993, Hrsg.: Bundesministerium für Forschung und Technologie, Bonn (1993)