Сравнение мощности статистических критериев в связи с обсуждением критерия воспроизводимости

В отечественном сегменте методологии науки обсуждается содержание такого критерия научности как воспроизводимость, а также обсуждается специфика его функционирования в постнеклассической науке. Вместе с тем, отечественная критика паранаучных и предположительно паранаучных проектов демонстрирует ситуацию, когда критики избегают в своей аргументации статистических выкладок. В связи с этим возникает ряд вопросов. В частности: «что такое воспроизводимость?» и «какова математическая формулировка критерия воспроизводимости?» Из литературного обзора мы видим, что к настоящему времени зарубежными коллегами предложено пять показателей воспроизводимости, которые апробируются и обсуждаются, но не существует пока общей математической формулировки критерия воспроизводимости (интегрального критерия, охватывающего указанные показатели), и тем более эти показатели еще не стали стандартом. В настоящей работе сравниваются два статистических критерия, относящихся к одному из пяти указанных показателей воспроизводимости.
Цель исследования. Целью настоящей работы является сравнение мощности двух статистических критериев, которые могут быть использованы для выявления эффекта с учетом требования воспроизводимости результатов исследований. При этом воспроизводимость оценивается по показателю «значимость». В соответствии с первым критерием эффект считается выявленным, если значимой оказалась величина эффекта во всех исследованиях (т. е. если значимость величины эффекта воспроизводится во всех исследованиях). В соответствии со вторым критерием эффект считается выявленным, если значимой оказалась взвешенная средняя величина эффекта, полученная в результате метаанализа (при этом значимость величины эффекта может отсутствовать в  индивидуальных исследованиях).
Материалы и методы. Для достижения поставленной цели используются методы математической статистики. Мощности двух указанных критериев сравниваются по двум оценкам. Первая оценка является теоретической. Вторая оценка получена в ходе статистического эксперимента. Мощности вычисляются: 1) при различных значениях величины эффекта по Коэну: «малая», «средняя» и «большая», 2) при различной степени гетерогенности: нулевая (модель с фиксированным эффектом), «малая», «средняя» и «большая», 3) при различном числе первичных исследований (от 2 до 8). Результаты. Мощность первого критерия меньше либо много меньше, чем мощность второго критерия. Мощность первого критерия убывает с ростом числа первичных исследований, а мощность второго возрастает. С учетом конвенционального значения мощности равного 80% первый критерий оказывается непригодным к употреблению при рассмотренных значениях параметров первичных исследований (т. е. если для выяснения значимости величины эффекта в индивидуальных исследованиях будет использован двусторонний t-критерий с уровнем значимости 0,05 и с двумя выборками типичной длины n = 25), в то время как мощность второго критерия может быть при необходимости увеличена путем увеличения числа первичных исследований, включаемых в метаанализ.
Вывод. Если критерий воспроизводимости, известный из философии науки, имеет своей целью подтвердить существование эффекта (связи) или, иными словами, выявить эффект, то в условиях, когда в процессе измерения присутствует существенная случайная составляющая, целесообразно применять не первый, а второй критерий.

1. Лешкевич Т. Г. Философия: курс лекций. М.: ИНФРА-М, 2000. 240 с.

2. Ильин В. В. Критерии научности знания: монография. М.: Высш. шк., 1989. 128 с.

3. Ильин В. В. Философия: учебник. В 2 т. Т. 1. Ростов н/Д: Феникс, 2006. 832 с.

4. Кезин А. В. Научность: эталоны, идеалы, критерии. Критический анализ методологического редукционизма и плюрализма. М.: Издательство московского университиета, 1985. 128 с.

5. Рузавин Г.И. Методология научного познания: учеб. пособие для вузов. М.: ЮНИТИ-ДАНА, 2012. 287 с.

6. Черникова И. В. Природа науки и критерии научности // Гуманитарный вектор. 2012. № 3 (31). С. 89–96.

7. Карпин В.А., Кузьмина Н.В., Добрынина И.Ю. и др. Методология научного исследования // Вестник СурГУ. Медицина. 2015. № 2 (24). С. 24–27.

8. Полякова Я. С. Трансформация идеала и критериев научности в науке // Физическое воспитание и тренировка. 2011. № 1. С. 183–186.

9. Баяндин А. В. К проблеме критериев научности // Философия науки. 2000. № 1 (7). С. 13.

10. Холтон Дж. Что такое «антинаука»? //Вопросы философии. № 2. 1992. С. 26–58.

11. Штанько В.И. Философия и методология науки. Учебное пособие для аспирантов и магистрантов естественнонаучных и технических вузов. Харьков: ХНУРЭ, 2002. 292 с.

12. Губанов Н. И., Губанов Н. Н., Третьяков Н. Г. Критерии некоторых аспектов научного

13. знания // Вестник северо-восточного федерального университета им. М.К. Аммосова. Серия: Педагогика. Психология. Философия. 2016. № 1 (01). С. 25–35.

14. Губанов Н.И., Губанов Н.Н., Волков А.Э. Особенности критериев научности в социально-гуманитарных науках // Гуманитарное образование в креативно-антропологическом измерении: сборник научных статей 12-й Всероссийской научно-практической конференции, 19–20 нояб. 2015 г., Екатеринбург / науч. ред. С. З. Гончаров, Рос. гос. проф.-пед. ун-т. Екатеринбург: Издательский Дом «Ажур», 2015. С. 15–23.

15. Лекторский В. А. Научное и вненаучное мышление: скользящая граница // Научные и вненаучные формы мышления. Симпозиум (Москва, 4–9 апреля 1995 г.). Москва-Киль, 1996. Режим доступа: http://philosophy.ru/iphras/library/ruspaper/LEKTORS1.htm (дата обращения: 29.05.2014).

16. Вачков И. В., Вачкова С. Н. Воспроизводимость психологических экспериментов как проблема постнеклассической науки // Культурно-историческая психология. 2016. Т. 12. № 1. С. 97—101. DOI: 10.17759/chp.2016120110.

17. Федорова А. К. Критерии научности знания // Вестник научных конференций. 2015. № 2–4 (2). С. 156–157.

18. Хуббеев Р.И., Семенова Э.Р. Основные критерии научности знания // Вестник научных конференций. 2015. № 4–5 (4). С. 95–96.

19. Стебаков Д. А. Психологический эксперимент в контексте проблемы сложности //Философия науки и техники. 2017. Т. 22. № 1. С. 46–60. DOI: 10.21146/2413-9084-2017-22-1-46-60.

20. Nosek B. and oth. Estimating the reproducibility of psychological science [Электрон. ресурс] // Science. 28 Aug. 2015. Vol. 349. Iss. 6251. DOI: 10.1126/science.aac4716.

21. Режим доступа: http://datacolada.org/wpcontent/uploads/2016/03/5341-Nosek-et-al-Science-2015-Estimating-the-reproducibilityof-psychological-science.pdf (дата обращения

22. 01.2018).

23. Braver S. L., Thoemmes F. J., Rosenthal R. Continuously cumulating meta-analysis and replicability // Perspectives on Psychological Science. 2014. Vol. 9(3). P. 333–342. Режим доступа: http://journals.sagepub.com/doi/pdf/10.1177/1745691614529796 (дата обращения 20.07.2018)

24. Cohen J. Statistical power analysis for the behavioral sciences. Hillsdale, New Jersey: Erlbaum, 1988. 567 p.

25. Borenstein M., Hedges L., Higgins J., Rothstein H. Introduction to Meta-Analysis. New

26. Jersey: Wiley, 2009. 421 p.

27. DerSimonian R., Laird N. A meta-analysis in clinical trials // Controlled Clinical Trials. 1986. 7. P. 177–188.