In 68.000 meta-analisi che includono oltre 700.000 stime di grandezza dell'effetto, la correzione per il bias di pubblicazione tendeva a: - Ridurre notevolmente le grandezze degli effetti - Ridurre notevolmente la probabilità che ci sia un effetto in assoluto L'economia è stata colpita più duramente:

Anche questo è forse troppo generoso. Ricorda che correggere per il bias di pubblicazione spesso produce effetti che sono ancora più grandi degli effetti ottenuti in successivi studi di replicazione su larga scala.

Un ottimo esempio di questo proviene dagli studi di priming. Ricordi il priming del denaro, dove semplicemente vedere o maneggiare denaro rendeva le persone più egoiste e migliori negli affari? Quegli studi erano afflitti da bias di pubblicazione, ma gli studi preregistrati non sono riusciti a trovare nulla.

Allo stesso modo, negli studi finanziati da autorità che richiedono - Preregistrazione - Analisti esterni - Reporting obbligatorio dei risultati - Grandi trial - Ambienti realistici Non ci sono prove di p-hacking e le dimensioni degli effetti sono molto piccole. Qui, nell'istruzione, la media è 0,06 d

Il problema del bias di pubblicazione è enorme Molte cose probabilmente non sono così reali quando ci mettiamo davvero a riflettere. Questa è una scoperta sfortunatamente comune e un'accusa del processo di pubblicazione che richiederà sforzi concertati di replicazione per essere risolta Se lo risolviamo.