[:de]Altmetrics – neue Formen der Impact-Messung auf dem Vormarsch?[:en]Altmetrics – new forms of impact measurement on the rise?[:]

[:de]Der oft zitierte Slogan “publish or perish” ist vielen ein Begriff. Er verweist darauf, dass Wissenschaftlerinnen und Wissenschaftler zunehmend danach bewertet werden, wo und wie viel sie publizieren. Auch Berufungskommissionen legen Wert auf eine umfangreiche Publikationsliste. Artikel in den “Top-Journals” eines Fachgebiets sind also die Währung, mit der in der wissenschaftlichen Community gehandelt wird.

Doch woran lässt sich festmachen, welchen Einfluss eine Zeitschrift in der Fach-Community hat? In den letzten Jahrzehnten hat sich hierfür der Journal Impact Factor (JIF) als klassischer Vergleichswert etabliert. Der JIF berechnet den “Einfluss” einer Fachzeitschrift anhand der durchschnittlichen Anzahl von Zitaten, die ein darin veröffentlichter Artikel erreicht.

[Abbildung 1: Berechnung des Journal Impact Factor. Bildquelle: http://library.buffalo.edu/scholarly/

Abbildung 1: Berechnung des Journal Impact Factor. Bildquelle: http://library.buffalo.edu/scholarly/

Über den tatsächlichen Einfluss eines einzelnen Artikels sowie dessen Reichweite in der Fachwelt und darüber hinaus sagt dieser Wert jedoch wenig aus. Somit ist es kaum verwunderlich, dass mit der zunehmenden Verfügbarkeit von wissenschaftlichen Artikeln im Internet vermehrt auch Kritik am Journal Impact Factor und dessen Allgegenwärtigkeit bei der Bewertung wissenschaftlicher Leistungen geäussert wird. In der Ende 2012 veröffentlichten San Francisco Declaration of Research Assessment (DORA) spricht sich etwa eine prominente Gruppe von Wissenschaftlern und Verlegern für ein Umdenken aus. Eine Form der Impact-Messung, die sich allein auf der Ebene von Zeitschriften errechnet, scheint unter den heutigen Bedingungen eines durchwegs digitalisierten Publikationsprozesses nicht mehr zeitgemäss. Zudem zeigen eine Reihe von Studien, dass die Berechnung des JIF fehler- und manipulationsanfällig ist.

Die sogenannten Altmetrics sind als Antwort auf die am JIF geäusserten Kritiken entstanden. Sie können sowohl als „Alternative Metrics“ als auch als „Article Level Metrics“ verstanden werden. Ihnen ist gemeinsam, dass sie den Einfluss einer wissenschaftlichen Publikation auf der Ebene des einzelnen Artikels (Buches, Kapitels etc.) messen möchten und dabei nicht allein auf das Zitate-Zählen abstellen, sondern vor allem auch darüberhinausgehende Einflussfaktoren, wie Nennungen auf Twitter, Bookmarks auf Mendeley oder Download-Zahlen mitberücksichtigen. Altmetrics messen somit nicht ausschliesslich die Reichweite von Publikationen in der Fachcommunity, sondern vor allem auch die Reichweite in einer breiteren Öffentlichkeit.

[Abbildung 2: Eines von vielen Altmetric-Tools, der Altmetric-Donut von www.altmetric.com: Er zeigt auf einen Blick, wie stark der Artikel in sozialen Medien und Social-Bookmarking-Diensten rezipiert wurde. Bildquelle: www.altmetric.com.]

Abbildung 2: Eines von vielen Altmetric-Tools, der Altmetric-Donut von www.altmetric.com: Er zeigt auf einen Blick, wie stark der Artikel in sozialen Medien und Social-Bookmarking-Diensten rezipiert wurde. Bildquelle: www.altmetric.com.

Einige Verlage sind auf den Trend aufgesprungen und haben verschiedene Altmetric-Anwendungen in ihre Plattformen integriert. Als Vorreiter in diesem Bereich gilt der Open-Access-Verlag Public Library of Science, der zu jedem publizierten Artikel umfangreiche Nutzungsdaten anbietet (ein Beispiel ansehen) und die gesammelten Daten auch zur Nachnutzung für Dritte zur Verfügung stellt.

Aber auch Bibliotheken bietet sich hier ein Handlungsfeld: In Repositorien, Hochschulbibliographien oder Discovery-Systemen können Altmetric-Anwendungen integriert werden. Die ETH-Bibliothek bietet auf ihrem Dokumentenserver ETH E-Collection zum Beispiel Download-Statistiken für Einzeldokumente an. Dieser Service dient nicht nur den Autorinnen und Autoren als Messfaktor für die Nutzung ihrer Dokumente, sondern kann auch gezielt vom Repository-Betreiber als Marketinginstrument eingesetzt werden: Das Angebot detaillierter Nutzungszahlen erhöht die Attraktivität einer Publikationsplattform und motiviert Hochschulangehörige, ihre Dokumente dort zu veröffentlichen.

[Abbildung 3: Download-Statistiken in der ETH E-Collection]

Abbildung 3: Download-Statistiken in der ETH E-Collection

Was aber sagt nun die Erwähnung auf Twitter oder die Anzahl von Downloads über die wissenschaftliche Relevanz eines Artikels aus? Nicht viel, möchte man meinen. Und tatsächlich muss die Aussagkraft mancher Werkzeuge differenziert betrachtet werden. Der Verdienst von Altmetrics liegt jedoch im Moment vor allem darin, dass die Diskussion um diese neuen Tools uns mittelfristig zu einer differenzierteren Betrachtung dessen, was wir unter Impact verstehen, führen kann.

impact

Abbildung 4: Kriterien für wissenschaftlichen Impact. Bildquelle: http://altmetrics.org/manifesto/

Dem Begriff des “wissenschaftlichen Impacts” liegt letzten Endes keine eindeutige Definition zugrunde. Somit kann auch die Bemessung einer solchen Kategorie anhand eines einzelnen Faktors, wie dem JIF, nicht zielführend sein. Vielmehr gilt es, den Impact eines Artikels anhand einer Kombination verschiedener Kriterien festzumachen: anhand von Nutzungszahlen (zum Beispiel Downloads), Expertenmeinungen (über einen Peer-Review-Prozess), der Rezeption in der breiteren Öffentlichkeit (u.a. in sozialen Medien) und klassischer Zitationsauswertungen.


Dieses Werk unterliegt einer Creative Commons Attribution-ShareAlike 4.0 International Public License.

CC-BY-SA[:en]Many people will have heard the oft-cited slogan “publish or perish”. It implies how scientists are increasingly being assessed by where and how much they publish. Appointment committees also set great store by an extensive list of publications. In other words, articles in a discipline’s top journals are the currency the academic community deals in.

But how can the impact of a journal in the expert community be gauged? In recent decades, the Journal Impact Factor (JIF) has taken root as a classical reference value, calculating a journal’s “influence” based on the average number of citations achieved by an article published in it.

[Abbildung 1: Berechnung des Journal Impact Factor. Bildquelle: http://library.buffalo.edu/scholarly/img/impact_factor.jpg]

Figure 1: calculating the Journal Impact Factor. Image source: http://library.buffalo.edu/scholarly/

However, this value tells us little about the actual influence of an individual article and its resonance in expert circles. Therefore, it is hardly surprising that, in light of the increasing availability of academic articles on the internet, there is also mounting criticism of the JIF and its omnipresence in the assessment of academic performance. At the end of the San Francisco Declaration of Research Assessment (DORA), which was published in 2012, a prominent group of scientists and publishers advocates a change in thinking. Under today’s conditions, a form of impact measurement that is calculated solely at journal level seems behind the times. Moreover, a series of studies reveal that the JIF calculation is prone to error and manipulation.

Consequently, so-called altmetrics has emerged as a response to the criticism voiced regarding the JIF. It can be understood as both “alternative metrics” and “article level metrics”. Both concepts aim to gauge the influence of an academic publication at individual-article level (book, chapter etc.), without focusing solely on citation figures; they also primarily consider other influential factors, such as mentions on Twitter, bookmarks on Mendeley or download figures. Therefore, altmetrics don’t just measure the reach of publications in the expert community, but also particularly their reach in a broader public.

[Abbildung 2: Eines von vielen Altmetric-Tools, der Altmetric-Donut von www.altmetric.com: Er zeigt auf einen Blick, wie stark der Artikel in sozialen Medien und Social-Bookmarking-Diensten rezipiert wurde. Bildquelle: www.altmetric.com.]

Figure 2: one of many altmetric tools, the altmetric donut by www.altmetric.com: it offers a glimpse into how well an article was received in social media and social bookmarking services. Image source: www.altmetric.com.

Some publishing houses have jumped onto the bandwagon and integrated various altmetric applications in their platforms. The open access publisher Public Library of Science, which offers extensive usage data on each article published (see an example) and also provides the data collected for re-use by third parties, is regarded as a pioneer in this field.

But a field of activity also presents itself for libraries here: altmetric applications can be integrated in repositories, university libraries or discovery systems. ETH-Bibliothek, for instance, offers download statistics for individual documents on its document server ETH E-Collection. The service doesn’t just aid authors as a measurement factor for the use of their documents; the repository operator can also use it specifically as a marketing instrument: the range of detailed usage figures increases a publication platform’s appeal and motivates university members to publish their documents there.

[Abbildung 3: Download-Statistiken in der ETH E-Collection]

Figure 3: Download statistics in the ETH E-Collection

But what does a mention on Twitter or the number of downloads actually say about the academic relevance of an article? Not much, you might think. And sure enough, the significance of some tools needs to be considered with a differentiated approach. At the moment however, the merit of altmetrics primarily lies in the fact that, in the medium term, the discussion on these new tools can lead us to a differentiated consideration of what we understand by Impact.

impact

Figure 4: criteria for academic impact. Image source: http://altmetrics.org/manifesto/

Ultimately, there isn’t a clear, underlying definition for the term “academic Impact”. Therefore, assessing such a category based on a single factor, such as the JIF, cannot be effective. The aim is far more to determine the impact of an article based on a combination of different criteria: usage figures (e.g. downloads), expert opinions (via a peer review process), reception in the wider public (e.g. on social media) and classical citation evaluations.


This work is licensed under a Creative Commons Attribution-ShareAlike 4.0 International Public License.
CC-BY-SA[:]