Entdecke Prä-Registrierung

Die Replikationskrise in der Wissenschaft hat deutlich gemacht, wie wichtig es ist, unsere Forschung offener und transparenter zu gestalten. Prä-Registrierung beinhaltet eine transparente Dokumentation dessen, was zu einem bestimmten Zeitpunkt geplant war und erlaubt damit Rückschlüsse darauf, was sich danach geändert hat. Dies hilft uns, unsere Projekte zu planen und ihren Verlauf zu verfolgen, und es hilft anderen, die Ergebnisse unserer Studie zu interpretieren. Es ermöglicht auch eine klare Unterscheidung zwischen konfirmatorischen (auf Hypothesen basierenden) und exploratorischen Analysen (Exploration der Daten). So kann Prä-Registrierung die Transparenz und das Vertrauen in unsere Forschung steigern.

• Hardwicke & Wagenmakers (2023) veranschaulichen die historische Entwicklung von Prä-Registrierung, beschreiben ihre Funktionen, geben eine Zusammenfassung zu Meta-Forschung über Prä-Registrierung und Empfehlungen für die Nutzung
• Nosek et al. (2018) liefern Argumente für Prä-Registrierung und Hinweise auf mögliche Herausforderungen
• Munafò et al. (2017) liefern Argumente für den Einsatz von Open-Science-Techniken wie Prä-Registrierung zur Verbesserung von Transparenz, Reproduzierbarkeit und Effizienz von Wissenschaft

Fragwürdige Forschungspraktiken (QRPs, questionable research practices) wurden für die niedrige Replikationsrate psychologischer Forschung verantwortlich gemacht, die durch die bahnbrechende Arbeit der Open Science Collaboration (OSC, 2015) aufgedeckt wurde. Prä-Registrierung wurde als Abhilfe vorgeschlagen, da sie die Veröffentlichung eines Studienplans beinhaltet, der eine heimliche Änderung von Hypothesen unmöglich macht, analytische Flexibilität wie p-hacking verringert und Publikationsbias abmildert. Eine Möglichkeit, die Wirksamkeit von Prä-Registrierung zu bewerten, besteht darin, prä-registrierte mit nicht-prä-registrierten Forschungsartikeln hinsichtlich ihrer Ergebnisse zu vergleichen. Weniger positive Ergebnisse (d. h. weniger bestätigte Hypothesen) und geringere Effektgrößen in prä-registrierten Studien würden darauf hindeuten, dass Prä-Registrierung QRPs entgegenwirkt, während diese in nicht-prä-registrierten Studien vorhandenen sind. Die aufgeführten Studien folgten diesem Ansatz.

• Schäfer & Schwarz (2019) fanden einen geringeren Anteil positiver Ergebnisse (0,64 vs. 0,79) und geringere mediane Effektgrößen (0,16 vs. 0,36) in prä-registrierten vs. nicht-prä-registrierten Publikationen.
• Scheel et al. (2021) fanden einen geringeren Anteil positiver Ergebnisse in veröffentlichten Registered Reports als in nicht-prä-registrierten Publikationen (0,44 vs. 0,96).
• Toth et al. (2021) fanden ebenfalls einen geringeren Anteil positiver Ergebnisse in prä-registrierten vs. nicht-prä-registrierten Studien (0.48 vs. 0.66).
• Van den Akker et al. (2023) verglichen ebenfalls prä-registrierte vs. nicht-prä-registrierte Studien, fanden aber keinen Unterschied im Anteil positiver Ergebnisse (dafür berichten sie aber andere Vorteile).

Ein zweiter Ansatz, um die Wirksamkeit von Prä-Registrierung zu untersuchen, besteht in der Einschätzung ihrer Fähigkeit, die analytische Flexibilität einzuschränken. Einige Studien verglichen Prä-Registrierungen mit ihren resultierenden Publikationen, um zu bestimmen, ob Abweichungen auftraten und wenn, ob sie transparent berichtet wurden. Zusammenfassend lässt sich sagen, dass die Studien für detaillierte, strukturierte Prä-Registrierungsvorlagen und eine transparente Berichterstattung von Abweichungen plädieren, da alle noch Raum für Verbesserungen fanden. Im Einklang mit diesen Ergebnissen stellen wir strukturierte und detaillierte Vorlagen für die Erstellung von Prä-Registrierungen und Abweichungsprotokollen zur Verfügung.

• Bakker et al. (2020) verglichen Prä-Registrierungen, die frei vs. mit strukturierten Templates erstellt wurden. Das strukturierte Format schränkte die opportunistische Nutzung der Freiheitsgrade besser ein.
• Van Den Akker et al. (2023) bestätigten dieses Ergebnis in einer größeren Stichprobe.
• Heirene et al. (2021) verwendeten Kodierungsprotokolle, um die Restriktivität der Freiheitsgrade und ihre Übereinstimmung mit daraus resultierenden Publikationen zu bewerten. Da die Punktzahlen recht niedrig waren, entwickelten sie praktische Empfehlungen dazu, was verbessert werden sollte.

Meta-wissenschafliche Studien zeigen, dass Prä-Registrierung und andere Open-Science-Praktiken in der psychologischen Fachgemeinschaft zunehmend anerkannt und angewandt werden. Entsprechend berichten viele Forschende, dass sie selbst bereits prä-registriert haben oder es in der Zukunft tun möchten, motiviert durch den Wunsch nach mehr Transparenz, Vertrauenswürdigkeit und besserer Projektplanung. Gleichzeitig werden Hindernisse genannt, die Prä-Registrierung erschweren, wie beispielsweise Aufwand und Zeit, Mangel an Wissen und Unsicherheit über den Umgang mit Abweichungen. Die Bewältigung dieser Herausforderungen, beispielsweise durch verstärkte Unterstützung und Workshops, könnte eine breitere Anwendung der Prä-Registrierung in der Zukunft erleichtern.

• Stürmer et al (2017) befragten Nachwuchsforschende zur Prävalenz von fragwürdigen Forschungspraktiken und offener Wissenschaft als Lösung.
• Abele-Brehm et al. (2019) untersuchten die Ängste und Hoffnungen deutscher Forschender in Bezug auf Open Science und dem Teilen von Daten.
• Spitzer & Mueller (2023) führten eine Umfrage unter psychologischen Forschenden bezüglich ihrer Einstellungen, Motivationen und Hindernissen zu Prä-Registrierung durch und diskutieren mögliche Lösungen für letztere.