Труднощі реплікації досліджень

Реплікацією називають повторне дослідження, мета якого полягає в тому, щоб визначити, чи можуть висновки оригінального дослідження бути узагальнені і поширені на інші групи учасників та обставини.

Чому може знадобитися реплікація дослідження?

Отримання статистично значущих результатів в дослідженні говорить багато про що, однак більш достовірними висновки можуть вважатися тільки тоді, коли застосування тих же процедур і методів в роботі з іншими змінними призводить до тих же результатів.

Подібні дослідження проводяться з метою:

• визначення ступеня надійності і достовірності результатів оригінального дослідження;
• узагальнення результатів оригінального дослідження для широкої групи людей;
• розкриття достовірності результатів оригінального дослідження для інших ситуацій і умов.

Як вчені проводять реплікації?

При проведенні дослідження або експерименту важливо чітко визначити всі змінні, які дослідники мають намір виміряти. При поданні результатів необхідно також описати методи, матеріали, і процедури, що використовувалися для збору даних.

При реплікації раннього дослідження експериментатори повинні жити за такими самими процедурами, проте працювати їм доведеться з іншого вибіркою учасників. Якщо дослідники отримують ті ж або аналогічні результати в подальших експериментах, це означає, що ймовірність того, що результати оригінального дослідження носять випадковий характер, вкрай мала.

Так що ж відбувається, якщо оригінальні результати не можуть бути відтворені?

Чи означає це, що фахівці неправильно провели оригінальне дослідження або, що ще гірше, сфальсифікували дані? Насправді, фальсифікація зустрічається рідко, так як більшість вчених мотивовані на чесність, адже тільки так можна зберегти свою професійну репутацію і науковий статус.

У більшості випадків, невоспроизводимость дослідження обумовлена відмінностями учасників або іншими факторами, які можуть впливати на результати експерименту. Іноді відмінності можуть бути не відразу помітні, тільки в деяких випадках дослідники здатні заздалегідь визначити, які змінні можуть вплинути на результати. Наприклад, незначні відмінності в формулюванні питання, погоді або навіть часу доби можуть надавати несподівано сильний вплив на результати експерименту. Дослідники прагнуть до точного відтворення оригінальне дослідження, але часто таких змін уникнути неможливо.

Чому результати психологічного експерименту так важко відтворити?

У 2015 році група з більш ніж 250 дослідників опублікувала результати своєї п`ятирічної роботи по відтворенню 100 різних досліджень, опублікованих в раніше трьох провідних журналах з психології. Ці вчені тісно співпрацювали з авторами оригінальних досліджень, з тим щоб повторити експерименти настільки точно, наскільки це було можливо.

Результати виявилися несподіваними: 64% досліджень повторити не змогли. У 97% оригінальних досліджень висновки були визнані статистично значущими, і тільки в 36% відтворених досліджень вдалося отримати статистично значущі результати.
Як і слід було очікувати, ці похмурі висновки викликали справжній переполох в науковому співтоваристві.

Результати досліджень психології часто отримують широкий розголос в популярній пресі, тому припущення про те, що більшість таких досліджень може виявитися помилковим, становить серйозну проблему. Багато хто починає сумніватися в тому, що результатами психологічних досліджень взагалі варто довіряти.

Так чому ж ці результати так важко повторити? Один з журналістів The Guardian припускає, що існує цілий ряд причин, за якими це відбувається. Навмисну фальсифікацію він вважає однією з найрідкісніших причин, замість цього вважаючи, що невоспроизводимость результатів може бути пов`язана з гострою конкуренцією за фінансування і популярність: приголомшливі, але абсолютно випадково отримані результати в таких випадках приймаються без повторного огляду.

Брейн Носек, керівник проекту по реплікації досліджень, підкреслив в розмові з авторами сайту FiveThirtyEight.com, що мета проекту полягала не в тому, щоб звинуватити дослідників в обмані або погану роботу. Неможливість повторити результати не означає, що оригінальні дослідження були помилковими, на його думку. І мета проекту полягала в тому, щоб показати: точне і правильне відтворення все-таки можливо.

Автори проекту припускають, що у цього явища існує три основні причини:

• оригінальні результати Хибнопозитивні;
• реплікованих результати псевдонегативну;
• обидва дослідження були проведені вірно, але мали непомічені відмінності в умовах або методології.

Найбільш значущим предиктором успіху реплікації вважається достовірність оригінальних результатів. Достовірні результати, наприклад, підтверджені р-значенням, частіше також повторюються і в реплікованих дослідженнях.

Увага, тільки СЬОГОДНІ!