Heterogenität in direkten Replikationen

Bewilligungszeitraum 09/2021-09/2024

Diverse psychologische und andere sozialwissenschaftliche Effekte lassen sich nur begrenzt replizieren. Auch wenn Replikationen gelingen, sind diese häufig "heterogen" - dies bedeutet, dass die Ausprägung der Effekte stärker variiert als gängige statische Modelle annehmen. Ähnliche oder weitgehend “identische” Studien führen also nicht notwendigerweise zu ähnlichen oder identischen Ergebnissen. Um diesen Zustand näher zu untersuchen hat die Deutsche Forschungsgesellschaft (DFG) das Schwerpunktprogramm META-REP (SPP 2317) ausgerufen. Innerhalb dieses Schwerpunktprogramms arbeiten wir in Kooperation mit der Ludwig-Maximilian-Universität München an dem Projekt DRIPHT - Direct Replications in Psychology and Heterogeneity (RE 2762/3-1), das mit ca. 200.000 Euro gefördert wird.

Unser übergeordnetes Ziel besteht dabei darin, mögliche methodische Probleme bei der Messung von Heterogenität zu untersuchen und gegebenenfalls aufzulösen. Ein wesentlicher Teil dieser Probleme beruht darauf, dass Heterogenität in psychologischen direkten Replikationen vor allem anhand sogenannter standardisierter Effektgrößen gefunden wurde. Derartige Effektgrößen können wiederum durch diverse statistische Artefakte (systematisch) verzerrt sein. So hat, zum Beispiel, die Variabilität innerhalb verschiedener Stichproben einen Einfluss auf die Größe einer standardisierten Effektgröße. Häufig haben wir allerdings Grund zur Annahme, dass die Durchführung derselben Studie an verschiedenen Orten der Welt oder zu verschiedenen Zeitpunkten zu unterschiedlich stark ausgeprägter Variabilität führt. Dies würde implizieren, dass nicht allein der psychologische Effekt selbst, sondern auch der Standardisierungsprozess zu Heterogenität in Replikationen führen kann. In ähnlicher Weise kann auch Variation in der Messgenauigkeit verschiedener Studien die Heterogenität in standardisierten Effektgrößen beeinflussen.

In der Psychologie sind in den letzten Jahren diverse groß-angelegte Replikationsserien entstanden, die das Datenmaterial für unser Forschungsvorhaben liefern. Unser Ziel ist es, diese bereits bestehenden Replikationsprojekte, wie ManyLabs (z.B. Klein et al., 2018) und Registered Replication Reports (z.B. Wagenmakers et al., 2016), zu re-analysieren. Dabei werden wir untersuchen, inwiefern statistische Artefakte, wie z.B. variierende Standardabweichungen oder Mess(un)genauigkeiten, die Heterogenität in psychologischen Effekten erklären können.