В 68 000 мета-анализов, включая более 700 000 оценок эффекта, коррекция на публикационный bias, как правило: - Значительно снижала размеры эффекта - Значительно снижала вероятность того, что эффект вообще существует Экономика пострадала больше всего:
Даже это, возможно, слишком щедро. Помните, что коррекция на публикационную предвзятость часто приводит к эффектам, которые все еще больше, чем эффекты, достигнутые в последующих крупных репликационных исследованиях.
Отличный пример этого приходит из исследований прайминга. Помните прайминг деньгами, когда простое видение или обращение с деньгами делало людей более эгоистичными и лучшими в бизнесе? Эти исследования страдали от публикационного искажения, но предварительно зарегистрированные исследования совершенно не смогли найти ничего.
Аналогично, в исследованиях, финансируемых властями, которые требуют - Предварительной регистрации - Внешних аналитиков - Обязательной отчетности о результатах - Крупных испытаний - Реалистичных условий Нет доказательств p-hacking, и размеры эффектов очень малы. Здесь, в образовании, среднее значение составляет 0.06 d
Проблема публикационного смещения огромна Так много вещей, вероятно, не так уж и реальны, когда мы действительно вникаем в суть. Это, к сожалению, распространенная находка и обвинение в адрес процесса публикации, для исправления которого потребуются согласованные усилия по репликации Если мы вообще это исправим
24,23K