Проблема множинних порівнянь

У психології часто зустрічаються плани досліджень, де вченому потрібно перевірити гіпотезу через порівняння середніх за кількома групами. Очевидним прикладом подібного плану стане у пригоді аналіз того, як впливають кілька факторів, або перевірка відмінностей на декількох групах. Наприклад, якщо поставлено питання про те, чи викликають гри в мережі Інтернет агресивність в реальному спілкуванні, можна порівняти групу тих, хто грає, з контрольними групами не інтернет-гравців і зовсім не грають.

В якості методу виберемо вісім шкал Басса-Дарки і групи порівняємо за критерієм U-Манна-Уїтні. Тут виникає проблема, адже ми перевіряємо статистикою рівно шістнадцять гіпотез, як внаслідок, ймовірність помилки стає більше. Нагадаємо, що значимість рівня а = 0,05 означає, що ми результат на інших випробуваних, обраних із сукупності волею випадку, не повторимо з ймовірністю лише 5%. Але рівень а = 0,05 для гіпотези не означає, що він буде точно таким же для експерименту. Коли є "сімейство" гіпотез, що означає перевірку гіпотез природним чином пов`язаних або впливають разом на вибір рішення (Westfall), ймовірність помилки "сімейства" дорівнює 1 (1-а) лп, де а є рівень значущості окремих гіпотез, а n - кількість наших гіпотез. Так, в нашому прикладі ймовірність помилки, а значить, і шанс не отримати хоча б по одній з гіпотез відмінності, вибравши інших випробуваних, дорівнює приблизно 0,56.

Все, що описано вище, цілком тривіально і пояснюється в лекціях по матстатистику. Проблема лише в тому, що пояснюється це для параметричних методів. Для них пропонується вибір ANOVA як кращого методу і тести пост-фактум з урахуванням кількості перевірених нами гіпотез. Однак і непараметріка вимагає подібного роду корекції. На жаль, ні в одній з дипломних робіт студентів-психологів за останні роки (знайдених нами на сайті psydiplom.ru) враховано це не було. Однією з причин, на наш погляд, для такого підходу є те, що в пакеті SPSS просто немає методів для обліку проблеми. В цей же час є процедури, які дозволяють легко і витончено вручну врахувати ймовірність помилки "сімейства" гіпотез. З них найбільш простий у використанні метод Benjamini Hochberg (1995), який запропонований недавно.

Метод передбачає всього лише три кроки:

1) вибудовування всіх отриманих для M нульових гіпотез H (i) рівнів значущості p (i) в порядку зростання;

2) послідовна перевірка нерівності p (i) lt; = i * a / M починаючи з i = M по убиванію-

3) відкидання всіх нульових гіпотез H (1) .. H (k), де k - перший i для якого виконується вказане нерівність.

Потрібно зауважити, що хоч цей метод і щодо м`який, він тим не менше, знизить для наших гіпотез рівень а. Нехай шість гіпотез було перевірено, і в них ми отримали p рівні 0,001, 0,003, 0,009, 0,037, 0,043, 0,140. Перевіривши нерівність p (i) lt; = i * 0,05 / 6, починаючи з i = 6, ми виявимо, що вірно воно для i = 3, а це дозволяє відкинути перші три нульові гіпотези- а два результату, статистично значущих на рівні p lt; 0,05, стали не значимі з урахуванням корекції. Нехай буде противний для Бога такий результат, але він обгрунтований. Адже перевіряти 6 гіпотез, спрямованих разом на спільну мету, затія не дуже хороша, але, тим не менш, зустріти подібне можна майже повсюдно. І, очевидно, будь-яка корекція не панацея. Хоч ми і знизили ймовірність знайти псевдозначімие результати, але збільшили шанс пропустити результат.

На закінчення трохи прози. Застосування статистичних методів завжди містить в собі певний елемент довільності. У разі множинних порівнянь цей елемент видно з визначення "сімейства" гіпотез, крім того, хто може вирішити наскільки важлива помилка першого роду в порівнянні з помилкою другого роду? З нашої точки зору, це завжди свого роду гра, але ця гра, так само як і наука в цілому, має свої правила. Облік множинності порівнянь при аналізі значущості результатів - це правило, для порушення якого потрібне серйозне обгрунтування. Необгрунтоване ігнорування цього правила - це, в загальному і цілому, ознака або необізнаності, або недбалості.

Четвериков Андрій Анатолійович

Увага, тільки СЬОГОДНІ!