Чверть психологічних досліджень визнали недостовірними
Американський вчений знайшов спосіб одноманітно оцінювати достовірність наукових досліджень і дійшов висновку, що до чверті робіт з психології, які використовували найпоширеніший критерій достовірності, можуть містити помилкові висновки.
Робота Валена Джонсона присвячена порівнянню двох способів оцінити достовірність висновків у науковому дослідженні.
Професор Техаського університету звернув увагу на те, що зазвичай вчені використовують або імовірнісний, або байєсовський підходи, але стандартного способу зіставити їх між собою досі не було.
У випадку з імовірнісним підходом вчений, який отримав у своїх спостереженнях чисельні дані, задається питанням про ймовірність отримати точно такі самі дані у випадку, коли результат насправді випадковий (тобто шуканої закономірності в даних нема).
Байєсовський підхід заснований на іншому питанні. Дослідники, які використовують його у своїх роботах, оцінюють імовірність отримати ті дані, які вони отримали, у випадку, коли їхня модель вірна.
Джонсон запропонував спеціальний статистичний тест, який у багатьох випадках дозволяє порівняти обидві оцінки одну з одною.
Розрахунки показали, що у більшості випадків найбільш поширена “достатня”достовірність на рівні p<0,05 ( допустима похибка у 0,05%) відповідає лише байєсовській оцінці на рівні близько 5, а це вважається досить маленьким значенням.
За оцінками Джонсона, такі прорахунки можуть приблизно у 17-25% випадків приводити до невірних висновків: вчені повідомлять про наявність закономірності там, де її насправді немає.
Дослідник наголошує, що погана статистика може бути однією з головних причин невідтворюваності наукових робіт: випереджаючи фальсифікації та помилки в ході самого експерименту.
Спеціаліст зі статистики запропонував переглянути загальноприйняту домовленість про те, які ж результати вважати значущими. На думку Джонсона, значення 0,05, що дається імовірнісним підходом, треба знизити до 0,005: його аналіз показує, що роботи з p<0,005 майже напевне витримають додаткові перевірки. За зростання точності, за словами вченого, доведеться платити збільшенням кількості вимірювань і подорожчанням досліджень, але докладені до його статті розрахунки говорять про окупність таких витрат.