Springe direkt zu Inhalt

PANNE – Publikationsbias-Analyse der Nichtveröffentlichung und Nichtrezeption von Ergebnissen im disziplinären Vergleich

Forschungsprojekt PANNE


Das Projekt PANNE (Publikationsbias-Analyse der Nichtveröffentlichung und Nichtrezeption von Ergebnissen im disziplinären Vergleich) ist ein Kooperationsprojekt (https://www.berlin-university-alliance.de/commitments/research-quality/project-list-20/panne/index.html) mit der Humboldt-Universität mit Förderung durch die Berlin University Alliance als Teil ihrer Strategie zur Entwicklung und Förderung der Wertigkeit, Qualität, Integrität und Glaubwürdigkeit von Forschung (https://www.berlin-university-alliance.de/commitments/research-quality/index.html).

Das Forschungsprojekt PANNE untersucht dabei das Verhältnis von Forschungsqualität und Publizierbarkeit, also was wie und wo veröffentlicht wird, und was nach welchen Kriterien nicht zur Veröffentlichung kommt. Das Projekt untersucht dabei auch, welche Forschungsergebnisse eher gelesen und zitiert werden und welche wissenschaftliche Erkenntnisse „erfolgreich“ sind.

Um die Sicherung der Forschungsqualität gezielt anzugehen, müssen auch Forschungserkenntnisse veröffentlicht, gelesen und zitiert werden, die auf den schnellen Blick für die Forschenden oder Lesenden weniger interessant wirken, weil sie vielleicht nicht der eigenen Forschungsthese oder dem Zeitgeist entsprechen. Deshalb zielt das Projekt darauf ab, diese Verzerrung, genannt „Publikationsbias“, nachhaltig zu reduzieren.

Um Lösungen zu finden, müssen wir das Problem zunächst in verschiedenen Fächern genauer verstehen und dann die Forschungsgemeinschaft selbst dazu anregen, sich mit diesem Problem auseinanderzusetzen. Wir betrachten dabei mit verschiedenen Methoden (experimentell und mit Hilfe von Interviews) die Fächer Psychologie und Geschichte. Im Zuge dessen werden Lehrmaterialien und ein Workshop entwickelt, um einen solchen Publikationsbias bei Nachwuchswissenschaftler_innen zu reduzieren.

Wir wollen dabei Entscheidungsfaktoren von Wissenschaftler_innen herausfinden, die bei deren Publikationsverhalten eine Rolle spielen, und dabei verstehen, wie die Entscheidungsprozesse verändert werden können, um einen Publikationsbias zu verringern. Dabei wollen wir Veränderungen der alltäglichen wissenschaftlichen Praxis anstoßen und so Forschungsqualität nachhaltig sicherstellen.

Unser Ziel ist, auch wissenschaftliche Ergebnisse stärker in den Fokus zu bringen, die vorher nicht wahrgenommen wurden. Wir wollen Erkenntnisse für Anreize zur Publikation von weniger „interessanten“ Ergebnissen gewinnen.

Unsere später entwickelte Intervention wollen wir zur Verbesserung der Forschungsqualität für andere Forschende zur freien Verfügung stellen. Wir wollen uns mit anderen Wissenschaftler_innen, Forschungsgruppen und Teilnehmenden unseres Workshops austauschen und gemeinsame Erkenntnisse sammeln und zurückgeben.


Was ist Publikationsbias?


Die Veröffentlichung von vollständigen, hochwertigen Forschungsergebnissen ist im Prozess der wissenschaftlichen Erkenntnisproduktion von zentraler Bedeutung. Das Wissenschaftssystem schafft allerdings mitunter Anreize für Veröffentlichungen, die nicht auf der Forschungsqualität beruhen, sondern Ergebnisse erbringen, die den eigenen Hypothesen oder dem Zeitgeist entsprechen. Dies wird Publikationsbias genannt.

Publikationsbias bezog sich bisher häufig speziell auf die Nichtveröffentlichung statistisch nicht-signifikanter Ergebnisse und wurde daher vor allem in quantitativen und experimentellen Disziplinen wie den Biowissenschaften, der Psychologie und den Wirtschaftswissenschaften angewandt. Wir erwarten jedoch ein übergreifendes Spannungsverhältnis zwischen Forschungsqualität und Publikationswerten (Publizierbarkeit und Rezeptionsanreize) auch in anderen Disziplinen, die aufgrund ihrer eher qualitativen oder hermeneutischen Methoden keinen Fokus auf statistisch (un-)signifikante Ergebnisse legen, insbesondere Geisteswissenschaften und Teile der Sozialwissenschaften.

Publikationsbias als Forschungsthema ist hier über eine ausschließliche Fokussierung auf nicht-signifikante Ergebnisse hinaus und breiter als eine selektive Nicht-Veröffentlichung wissenschaftlicher Ergebnisse zu verstehen, um auch andere Faktoren zu berücksichtigen und einen disziplinären Vergleich mit Fächern zu ermöglichen, die nicht explizit mit quantitativen empirischen Methoden arbeiten.


Wissenschaftliche Entscheidungsprozesse und Dual Process Theory


Aus psychologischer Sicht werden die Prozesse, die den Entscheidungen von Wissenschaftler_innen über die Nichtveröffentlichung und die Rezeption von Ergebnissen zugrunde liegen, mit Hilfe der dualen Prozesstheorie untersucht.

Wenn wir den Entscheidungsprozess des Publizierens, Lesens und Zitierens in der Psychologischen Forschung und in den Geschichtswissenschaften als einen dualen Prozess verstehen, in dem schnelle, intuitive und auch fehlerbehaftete Prozesse langsameren, analytischen und überlegteren Prozessen vorausgehen, müssten wir einen Bias beobachten, der trotz seines fehlenden Bezugs zur Forschungsqualität verfolgt wird.

Während in der psychologischen Forschung die Übereinstimmung mit Hypothesen und die Signifikanz statistischer Ergebnisse im Vordergrund stehen, könnte in der Geschichtswissenschaft der Ruf der Autor_Innen, die positive Bewertung in Rezensionen und Fußnoten, die Lesbarkeit (z. B. das Vergnügen, den Text zu lesen) und die Aktualität des Themas eine Rolle spielen.

Das Forschungsprojekt hat zum Ziel herauszufinden, wie Entscheidungsprozesse der beiden Disziplinen vergleichbar und unterschiedlich sind.

 

Forschungsvorhaben


Das Projekt strebt an von verschiedenen Perspektiven das Problem des Publikationsbias zu verstehen.

Dazu werden einerseits Interviews (Arbeitspaket, AP, 3) und teilnehmende Beobachtungen (AP 4) zur Forschungspraxis aus verschiedenen Disziplinen (Klinische Psychologie und Geschichtswissenschaften) und Statusgruppen (Doktorand_innen bis Professor_innen) durchgeführt, um einen Einblick in die Entscheidungsprozesse im Alltag zu bekommen – dies wird von unseren Kooperationspartner_innen der HU übernommen.

Andererseits werden die Publikationen in einer Übersichtsarbeit in verschiedenen Arbeitsgruppen hinsichtlich ihrer Ergebnisse fachvergleichend betrachtet (AP 2).

Außerdem werden in experimentellen Untersuchungen mit Hilfe der dualen Prozesstheorie Entscheidungen von Wissenschaftler_innen hinsichtlich ihrer Präferenzen Forschungsergebnisse zu publizieren, zu lesen oder zu zitieren beobachtet (AP 1).

Die Ergebnisse dieser vier Teilprojekte dienen als empirische Grundlage zur Entwicklung eines Workshops (siehe unten), den wir gemeinsam mit unseren Kooperationspartner_innen konzipieren.

 

Aktuelle Studienergebnisse


 Im Sinne des Projektes soll ein besonderes Augenmerk auf die Veröffentlichung aller Ergebnisse gelegt werden, unabhängig davon, ob die Ergebnisse statistisch signifikant sind oder Hypothesen bestätigen. Alle Veröffentlichungen sollen der wissenschaftlichen Gemeinschaft kostenfrei zugänglich gemacht werden. Dazu wird primär eine Open Access Veröffentlichung in hochrangigen internationalen peer-reviewed Zeitschriften angestrebt.

Präregistrierung vom Arbeitspaket I

 

Online-Kolloquium



Um unsere Forschung vorzustellen und mit Ihnen zu diskutieren, laden wir Sie herzlich zu unseren regelmäßigen Online-Kolloquiums ein.

Aktueller Link - zweites Online-Kolloquium: https://fu-berlin.webex.com/fu-berlin/j.php?MTID=m77238121acb1a48d15efb220de01004a
Dienstag, 30.08.2022, von 14:15 - 15:45 Uhr

Zweites Online-Kolloquium am 30.08.2022 zum Thema „Grundlagen des Datenschutzes und Teilen personenbezogener Daten“ mit Dr. Evgeny Bobrov

Der Vortrag „Grundlagen des Datenschutzes und Teilen personenbezogener Daten“ wird insbesondere drei Punkte adressieren: (1.) Grundlagen des Datenschutzes – Grundbegriffe und Rechte gemäß der Datenschutz-Grundverordnung (2.) Einwilligung als Schlüssel für das spätere Teilen von Daten – was ist zu beachten? (3.) Pseudonymisierung und Anonymisierung – Was ist darunter zu verstehen, ist es überhaupt erreichbar, und wenn ja, wie?

Dr. Evgeny Bobrov ist am QUEST Center des Berliner Instituts für Gesundheitsforschung in der Charité Projektleiter Open Data und Forschungsdatenmanagement (FDM). Er koordiniert institutionelle Aktivitäten im Bereich FDM und unterstützt Forschende durch Beratungen und Fortbildungen zu Themen des FDM, oft mit Fokus auf personenbezogene Daten. Darüber hinaus ist er an Projekten beteiligt, die das FDM auf Ebene der Berlin University Alliance weiterentwickeln sowie die Offenheit und Nachnutzbarkeit von Forschungsdaten an der Charité und darüber hinaus untersuchen.


Erstes Online-Kolloquium am 19.7.2022: Zu Gast war Dr. Chris Hartgerink - Thema „New publishing formats as an enabler of a more open science. Introduction to ResearchEquals.com - step by step publishing”:

Open science brings many changes, yet publishing remains the same. As a result, many improvements in the research and education process can't fulfill their promises. In order to facilitate a rapidly changing research ecosystem, ResearchEquals allows researchers to publish whatever outputs their work creates, instead of working to create outputs that can be published. Building on open infrastructures, ResearchEquals allows you to publish over 20 different types of research modules, with more being added based on the needs from you. Example modules include theory, study materials, data, or software. However, other outputs, like presentations, figures, or educational resources can also be published. All of these research steps are linked together, to create a research journey - recognizing that educational materials, research design and analysis are all part of our learning journeys. In this session you will get an introduction to ResearchEquals and how to join to co-create the platform.

Chris Hartgerink was awarded his PhD in Methodology and Statistics from Tilburg University (2020) for his work on building sustainable science  (https://thesiscommons.org/4wtpc/). He was a Mozilla Open Science Fellow (2018) and is currently a Shuttleworth Fellow. In 2019, he founded Liberate Science GmbH (https://libscie.org).
 

Workshop zu Publikationsbias


Wir werden mit unseren Ergebnissen einen fächerübergreifenden Workshop konzipieren, der Wissenschaftler_innen über Publikationsbias sensibilisieren soll. Dazu wollen wir eine edukative Gruppenintervention konzipieren, auf die eine Erinnerung im Arbeitsalltag folgt. Veränderungen zu Einstellungen und Entscheidungen wollen wir über Fragebögen vor und nach dem Workshop überprüfen. Mehr dazu folgt Anfang 2023.

 

German Reproducibility Network

Wir sind Mitglied des German Reproducibility Network (GRN). Das Netzwerk GRN setzt sich vor allem aus lokalen Initiativen und Akteuren in ganz Deutschland zusammen und ist ein interdisziplinäres Konsortium, das sich zum Ziel gesetzt hat, die Vertrauenswürdigkeit und Transparenz der wissenschaftlichen Forschung zu erhöhen, indem es die Faktoren untersucht und fördert, die zu einer soliden Forschung beitragen.

Sie können sich hier unser Video anschauen: LINK ZUM VIDEO

 

Mitarbeiter*innen


Helen Niemeyer

Kristina Eichel

Louis Johannes Schiekiera

 

Ansprechpartner*in


Kristina Eichel

 

Kooperationspartner*innen


Dr. Felicitas Heßelmann

Jacqueline Sachse, M.A.

Sophie Müller, B.A.


Vertiefende Literatur


Niemeyer, H.*, van Aert, R.C.M.*, Schmidt, S., Uelsmann, D., Knaevelsrud, C. & Schulte-Herbrueggen, O. (2020). Publication Bias in Meta-Analyses of Posttraumatic Stress Disorder Interventions. Meta-Psychology, 4, MP.2018.884. https://doi.org/10.15626/MP.2018.884

Niemeyer, H., Musch, J., & Pietrowsky, R. (2013). Publication bias in meta-analyses of the efficacy of psychotherapeutic interventions for depression. Journal of Consulting and Clinical Psychology, 81(1), 58-74. https://doi.org/10.1037/a0031152

Niemeyer, H., Musch, J., & Pietrowsky, R. (2012). Publication bias in meta-analyses of the efficacy of psychotherapeutic interventions for schizophrenia. Schizophrenia Research, 138(2-3), 103–112. https://doi.org/10.1016/j.schres.2012.03.023

Van Aert, R.C.M. & Niemeyer, H. (in print). Publication Bias. In Lilienfeld, S., O’ Donohue, W. & Masuda, A. (Eds), Questionable Research Practices in Clinical Psychology. Berlin: Springer.

 

Weitere Informationen


https://www.berlin-university-alliance.de/news/items/2021/210611-call-open-science.html

https://www.berlin-university-alliance.de/commitments/research-quality/project-list-20/panne/index.html

 

_____________________________________________________________________________________________________

Photos by photographers on Unsplash (https://unsplash.com) and Pixabay (https://pixabay.com)