PANNE – Publikationsbias-Analyse der Nichtveröffentlichung und Nichtrezeption von Ergebnissen im disziplinären Vergleich
Forschungsprojekt PANNE
Das Projekt PANNE (Publikationsbias-Analyse der Nichtveröffentlichung und Nichtrezeption von Ergebnissen im disziplinären Vergleich) ist ein Kooperationsprojekt (https://www.berlin-university-alliance.de/commitments/research-quality/project-list-20/panne/index.html) mit der Humboldt-Universität mit Förderung durch die Berlin University Alliance als Teil ihrer Strategie zur Entwicklung und Förderung der Wertigkeit, Qualität, Integrität und Glaubwürdigkeit von Forschung (https://www.berlin-university-alliance.de/commitments/research-quality/index.html).
Das Forschungsprojekt PANNE untersucht dabei das Verhältnis von Forschungsqualität und Publizierbarkeit, also was wie und wo veröffentlicht wird, und was nach welchen Kriterien nicht zur Veröffentlichung kommt. Das Projekt untersucht dabei auch, welche Forschungsergebnisse eher gelesen und zitiert werden und welche wissenschaftliche Erkenntnisse „erfolgreich“ sind.
Um die Sicherung der Forschungsqualität gezielt anzugehen, müssen auch Forschungserkenntnisse veröffentlicht, gelesen und zitiert werden, die auf den schnellen Blick für die Forschenden oder Lesenden weniger interessant wirken, weil sie vielleicht nicht der eigenen Forschungsthese oder dem Zeitgeist entsprechen. Deshalb zielt das Projekt darauf ab, diese Verzerrung, genannt „Publikationsbias“, nachhaltig zu reduzieren.
Um Lösungen zu finden, müssen wir das Problem zunächst in verschiedenen Fächern genauer verstehen und dann die Forschungsgemeinschaft selbst dazu anregen, sich mit diesem Problem auseinanderzusetzen. Wir betrachten dabei mit verschiedenen Methoden (experimentell und mit Hilfe von Interviews) die Fächer Psychologie und Geschichte. Im Zuge dessen werden Lehrmaterialien und ein Workshop entwickelt, um einen solchen Publikationsbias bei Nachwuchswissenschaftler_innen zu reduzieren.
Wir wollen dabei Entscheidungsfaktoren von Wissenschaftler_innen herausfinden, die bei deren Publikationsverhalten eine Rolle spielen, und dabei verstehen, wie die Entscheidungsprozesse verändert werden können, um einen Publikationsbias zu verringern. Dabei wollen wir Veränderungen der alltäglichen wissenschaftlichen Praxis anstoßen und so Forschungsqualität nachhaltig sicherstellen.
Unser Ziel ist, auch wissenschaftliche Ergebnisse stärker in den Fokus zu bringen, die vorher nicht wahrgenommen wurden. Wir wollen Erkenntnisse für Anreize zur Publikation von weniger „interessanten“ Ergebnissen gewinnen.
Unsere später entwickelte Intervention wollen wir zur Verbesserung der Forschungsqualität für andere Forschende zur freien Verfügung stellen. Wir wollen uns mit anderen Wissenschaftler_innen, Forschungsgruppen und Teilnehmenden unseres Workshops austauschen und gemeinsame Erkenntnisse sammeln und zurückgeben.
Was ist Publikationsbias?
Die Veröffentlichung von vollständigen, hochwertigen Forschungsergebnissen ist im Prozess der wissenschaftlichen Erkenntnisproduktion von zentraler Bedeutung. Das Wissenschaftssystem schafft allerdings mitunter Anreize für Veröffentlichungen, die nicht auf der Forschungsqualität beruhen, sondern Ergebnisse erbringen, die den eigenen Hypothesen oder dem Zeitgeist entsprechen. Dies wird Publikationsbias genannt.
Publikationsbias bezog sich bisher häufig speziell auf die Nichtveröffentlichung statistisch nicht-signifikanter Ergebnisse und wurde daher vor allem in quantitativen und experimentellen Disziplinen wie den Biowissenschaften, der Psychologie und den Wirtschaftswissenschaften angewandt. Wir erwarten jedoch ein übergreifendes Spannungsverhältnis zwischen Forschungsqualität und Publikationswerten (Publizierbarkeit und Rezeptionsanreize) auch in anderen Disziplinen, die aufgrund ihrer eher qualitativen oder hermeneutischen Methoden keinen Fokus auf statistisch (un-)signifikante Ergebnisse legen, insbesondere Geisteswissenschaften und Teile der Sozialwissenschaften.
Publikationsbias als Forschungsthema ist hier über eine ausschließliche Fokussierung auf nicht-signifikante Ergebnisse hinaus und breiter als eine selektive Nicht-Veröffentlichung wissenschaftlicher Ergebnisse zu verstehen, um auch andere Faktoren zu berücksichtigen und einen disziplinären Vergleich mit Fächern zu ermöglichen, die nicht explizit mit quantitativen empirischen Methoden arbeiten.
Wissenschaftliche Entscheidungsprozesse und Dual Process Theory
Aus psychologischer Sicht werden die Prozesse, die den Entscheidungen von Wissenschaftler_innen über die Nichtveröffentlichung und die Rezeption von Ergebnissen zugrunde liegen, mit Hilfe der dualen Prozesstheorie untersucht.
Wenn wir den Entscheidungsprozess des Publizierens, Lesens und Zitierens in der Psychologischen Forschung und in den Geschichtswissenschaften als einen dualen Prozess verstehen, in dem schnelle, intuitive und auch fehlerbehaftete Prozesse langsameren, analytischen und überlegteren Prozessen vorausgehen, müssten wir einen Bias beobachten, der trotz seines fehlenden Bezugs zur Forschungsqualität verfolgt wird.
Während in der psychologischen Forschung die Übereinstimmung mit Hypothesen und die Signifikanz statistischer Ergebnisse im Vordergrund stehen, könnte in der Geschichtswissenschaft der Ruf der Autor_Innen, die positive Bewertung in Rezensionen und Fußnoten, die Lesbarkeit (z. B. das Vergnügen, den Text zu lesen) und die Aktualität des Themas eine Rolle spielen.
Das Forschungsprojekt hat zum Ziel herauszufinden, wie Entscheidungsprozesse der beiden Disziplinen vergleichbar und unterschiedlich sind.
Forschungsvorhaben
Das Projekt strebt an von verschiedenen Perspektiven das Problem des Publikationsbias zu verstehen.
Dazu werden einerseits Interviews (Arbeitspaket, AP, 3) und teilnehmende Beobachtungen (AP 4) zur Forschungspraxis aus verschiedenen Disziplinen (Klinische Psychologie und Geschichtswissenschaften) und Statusgruppen (Doktorand_innen bis Professor_innen) durchgeführt, um einen Einblick in die Entscheidungsprozesse im Alltag zu bekommen – dies wird von unseren Kooperationspartner_innen der HU übernommen.
Andererseits werden die Publikationen in einer Übersichtsarbeit in verschiedenen Arbeitsgruppen hinsichtlich ihrer Ergebnisse fachvergleichend betrachtet (AP 2).
Außerdem werden in experimentellen Untersuchungen mit Hilfe der dualen Prozesstheorie Entscheidungen von Wissenschaftler_innen hinsichtlich ihrer Präferenzen Forschungsergebnisse zu publizieren, zu lesen oder zu zitieren beobachtet (AP 1).
Die Ergebnisse dieser vier Teilprojekte dienen als empirische Grundlage zur Entwicklung eines Workshops (siehe unten), den wir gemeinsam mit unseren Kooperationspartner_innen konzipieren.
Aktuelle Studienergebnisse
Im Sinne des Projektes soll ein besonderes Augenmerk auf die Veröffentlichung aller Ergebnisse gelegt werden, unabhängig davon, ob die Ergebnisse statistisch signifikant sind oder Hypothesen bestätigen. Alle Veröffentlichungen sollen der wissenschaftlichen Gemeinschaft kostenfrei zugänglich gemacht werden. Dazu wird primär eine Open Access Veröffentlichung in hochrangigen internationalen peer-reviewed Zeitschriften angestrebt.
Präregistrierung vom Arbeitspaket I
Online-Kolloquium
Um unsere Forschung vorzustellen und mit Ihnen zu diskutieren, laden wir Sie herzlich zu unseren regelmäßigen Online-Kolloquiums ein.
Aktueller Link - drittes Online-Kolloquium: https://fu-berlin.webex.com/fu-berlin/j.php?MTID=m760bd15bd11e7c901faa35c6e8fcbf3a
Dienstag, 29.11.2022, von 14:15 - 15:45 Uhr
Drittes PANNE Online-Kolloquium am 29.11.2022 zu „Incentivierung offener und reproduzierbarer Forschung: Alternative Metriken zur verantwortungsvollen Forschungsbewertung und deren mögliche Implementierung" von Dr. Anne Gärtner
Das Projekt PANNE lädt zum dritten Online-Kolloquium am Dienstag, 29.11.2022, von 14:15 - 15:45 Uhr zum Thema „Incentivierung offener und reproduzierbarer Forschung: Alternative Metriken zur verantwortungsvollen Forschungsbewertung und deren mögliche Implementierung" mit Dr. Anne Gärtner ein! Es ist offen für alle interessierten Psycholog:innen aller Qualifikationsstufen. Wir möchten mit euch Incentivierung von Open Science Praktiken diskutieren, um gemeinsam die Forschungsqualität steigern zu können.
Das Projekt PANNE (Publikationsbias-Analyse der Nichtveröffentlichung und Nichtrezeption von Ergebnissen im disziplinären Vergleich) ist ein Kooperationsprojekt (https://www.berlin-university-alliance.de/commitments/research-quality/project-list-20/panne/index.html) mit der Humboldt-Universität mit Förderung durch die Berlin University Alliance als Teil ihrer Strategie zur Entwicklung und Förderung der Wertigkeit, Qualität, Integrität und Glaubwürdigkeit von Forschung (https://www.berlin-university-alliance.de/commitments/research-quality/index.html).
In der Psychologie und der biomedizinischen Forschung gibt es eine kontroverse Debatte über die "Replikations‑ und Reproduzierbarkeitskrise". Studien legen nahe, dass ein Großteil der empirischen Ergebnisse von unabhängigen Forschungsgruppen weder repliziert noch reproduziert werden kann. Es wird sogar davon ausgegangen, dass bis zu 85 % der Forschungsanstrengungen „verschwendet“ wurden. Open Science Praktiken – wie Präregistrierung, offene Daten, Replikationsstudien, reproduzierbarer Code – verbessern nachweislich die Qualität der Forschung und den Zuwachs wissenschaftlicher Erkenntnisse. Mit praktischen Tipps und Hinweisen werde ich im ersten Teil des Vortrags zeigen, wie man Open Science Praktiken leicht in den eigenen Forschungsalltag integrieren kann. Die Anwendung von Open Science Praktiken geht oft mit einem erhöhten Zeit- und Kostenaufwand einher. Gleichzeitig beruht die aktuelle Bewertung von wissenschaftlichem Output, wie sie zum Beispiel bei Einstellungsentscheidungen vorgenommen wird, eher auf quantitativen (z.B. Journal Impact Faktor, H-Index) statt qualitativen Metriken. Die von der DGPs unterzeichnete San Francisco Declaration on Research Assessment (DORA) ruft dazu auf, bei der Forschungsbewertung für Einstellungen und Beförderungen mehr Gewicht auf Qualität und Reproduzierbarkeit zu legen. Im zweiten Teil des Vortrags wird ein erster Vorschlag für eine verantwortungsvolle Forschungsbewertung vorgestellt. Der Vorschlag basiert auf einem zweistufigen Auswahlverfahren mit alternativen Metriken, die besonders die Forschungsqualität widerspiegeln und effektiv und effizient bewertet werden können. Abschließend werden konkrete Schritte und mögliche Hürden bei der Implementierung des Bewertungsschemas diskutiert.
Dr. Anne Gärtner hat 2019 an dem Lehrstuhl Differentielle und Persönlichkeitspsychologie der Technischen Universität Dresden zu „Individual Differences in Cognitive, Neurobiological and Psychopathological Correlates of Emotion Regulation” promoviert und ist seit 2019 an dem Lehrstuhl Postdoc. Ihre Forschungsinteressen sind einerseits individuelle Unterschiede der Emotionsverarbeitung und Emotionsregulation und andererseits Open Science und Reproduzierbarkeit in Psychologie und Neurowissenschaften. Für die Implementierung von Open Science hat sie bereits mehrere Awards und Förderungen (u.a. von der DFG und der Society for the Improvement of Psychological Science, SIPS) erhalten, ist Mitglied verschiedener Gruppen und Kommissionen (u.a. in der DGPs und als Gründungsmitglied der Interessengruppe Offene und Reproduzierbare Forschung in der Biologischen Psychologie) und veröffentlicht zu dem Thema in verschiedenen Journals.
Zweites Online-Kolloquium am 30.08.2022 zum Thema „Grundlagen des Datenschutzes und Teilen personenbezogener Daten“ mit Dr. Evgeny Bobrov
Der Vortrag „Grundlagen des Datenschutzes und Teilen personenbezogener Daten“ wird insbesondere drei Punkte adressieren: (1.) Grundlagen des Datenschutzes – Grundbegriffe und Rechte gemäß der Datenschutz-Grundverordnung (2.) Einwilligung als Schlüssel für das spätere Teilen von Daten – was ist zu beachten? (3.) Pseudonymisierung und Anonymisierung – Was ist darunter zu verstehen, ist es überhaupt erreichbar, und wenn ja, wie?
Dr. Evgeny Bobrov ist am QUEST Center des Berliner Instituts für Gesundheitsforschung in der Charité Projektleiter Open Data und Forschungsdatenmanagement (FDM). Er koordiniert institutionelle Aktivitäten im Bereich FDM und unterstützt Forschende durch Beratungen und Fortbildungen zu Themen des FDM, oft mit Fokus auf personenbezogene Daten. Darüber hinaus ist er an Projekten beteiligt, die das FDM auf Ebene der Berlin University Alliance weiterentwickeln sowie die Offenheit und Nachnutzbarkeit von Forschungsdaten an der Charité und darüber hinaus untersuchen.
Erstes Online-Kolloquium am 19.7.2022: Zu Gast war Dr. Chris Hartgerink - Thema „New publishing formats as an enabler of a more open science. Introduction to ResearchEquals.com - step by step publishing”:
Open science brings many changes, yet publishing remains the same. As a result, many improvements in the research and education process can't fulfill their promises. In order to facilitate a rapidly changing research ecosystem, ResearchEquals allows researchers to publish whatever outputs their work creates, instead of working to create outputs that can be published. Building on open infrastructures, ResearchEquals allows you to publish over 20 different types of research modules, with more being added based on the needs from you. Example modules include theory, study materials, data, or software. However, other outputs, like presentations, figures, or educational resources can also be published. All of these research steps are linked together, to create a research journey - recognizing that educational materials, research design and analysis are all part of our learning journeys. In this session you will get an introduction to ResearchEquals and how to join to co-create the platform.
Chris Hartgerink was awarded his PhD in Methodology and Statistics from Tilburg University (2020) for his work on building sustainable science (https://thesiscommons.org/4wtpc/). He was a Mozilla Open Science Fellow (2018) and is currently a Shuttleworth Fellow. In 2019, he founded Liberate Science GmbH (https://libscie.org).
Workshop zu Publikationsbias
Wir werden mit unseren Ergebnissen einen fächerübergreifenden Workshop konzipieren, der Wissenschaftler_innen über Publikationsbias sensibilisieren soll. Dazu wollen wir eine edukative Gruppenintervention konzipieren, auf die eine Erinnerung im Arbeitsalltag folgt. Veränderungen zu Einstellungen und Entscheidungen wollen wir über Fragebögen vor und nach dem Workshop überprüfen. Mehr dazu folgt Anfang 2023.
German Reproducibility Network
Wir sind Mitglied des German Reproducibility Network (GRN). Das Netzwerk GRN setzt sich vor allem aus lokalen Initiativen und Akteuren in ganz Deutschland zusammen und ist ein interdisziplinäres Konsortium, das sich zum Ziel gesetzt hat, die Vertrauenswürdigkeit und Transparenz der wissenschaftlichen Forschung zu erhöhen, indem es die Faktoren untersucht und fördert, die zu einer soliden Forschung beitragen.
Sie können sich hier unser Video anschauen: LINK ZUM VIDEO
Mitarbeiter*innen
Ansprechpartner*in
Kooperationspartner*innen
Sophie Müller, B.A.
Vertiefende Literatur
Niemeyer, H.*, van Aert, R.C.M.*, Schmidt, S., Uelsmann, D., Knaevelsrud, C. & Schulte-Herbrueggen, O. (2020). Publication Bias in Meta-Analyses of Posttraumatic Stress Disorder Interventions. Meta-Psychology, 4, MP.2018.884. https://doi.org/10.15626/MP.2018.884
Niemeyer, H., Musch, J., & Pietrowsky, R. (2013). Publication bias in meta-analyses of the efficacy of psychotherapeutic interventions for depression. Journal of Consulting and Clinical Psychology, 81(1), 58-74. https://doi.org/10.1037/a0031152
Niemeyer, H., Musch, J., & Pietrowsky, R. (2012). Publication bias in meta-analyses of the efficacy of psychotherapeutic interventions for schizophrenia. Schizophrenia Research, 138(2-3), 103–112. https://doi.org/10.1016/j.schres.2012.03.023
Van Aert, R.C.M. & Niemeyer, H. (in print). Publication Bias. In Lilienfeld, S., O’ Donohue, W. & Masuda, A. (Eds), Questionable Research Practices in Clinical Psychology. Berlin: Springer.
Weitere Informationen
https://www.berlin-university-alliance.de/news/items/2021/210611-call-open-science.html
_____________________________________________________________________________________________________
Photos by photographers on Unsplash (https://unsplash.com) and Pixabay (https://pixabay.com)