Надійність психодіагностичних методик

У традиційній тестології термін «надійність» означає відносне сталість, стійкість, узгодженість результатів тесту при первинному і

повторному його застосуванні на одних і тих же випробовуваних. Як пише А. Анастазі, навряд чи можна з довірою ставитися до тесту інтелекту, якщо по ньому в

початку тижня дитина мала показник, що дорівнює 110, а до кінця - 80. Повторне застосування надійних методик дає подібні оцінки. При цьому в

Певною мірою можуть збігатися як самі результати, так і порядкове місце (ранг), займане випробуваним в групі. І в тому, і в іншому випадку при

повторенні досвіду можливі деякі розбіжності, але важливо, щоб вони були незначними, в межах однієї групи. Таким чином, можна сказати,

що надійність методики - це такий критерій, який говорить про точність психологічних вимірювань, т. е. дозволяє судити про те, наскільки вселяють

довіру отримані результати.

Ступінь надійності методик залежить від багатьох причин. Тому важливою проблемою практичної діагностики є з`ясування чинників, що знижують

точність вимірювань. Була зроблена спроба скласти класифікацію таких факторів. Серед них найбільш часто називаються такі:

1) нестабільність діагностується властивості;

2) недосконалість діагностичних методик (недбало складена інструкція, завдання за своїм характером різнорідні, нечітко сформульовані вказівки,

як методику пред`являти випробуваним, і т. д.);

3) змінюється ситуація обстеження (різний час дня, коли проводяться експерименти, різна освітленість приміщення, наявність або відсутність

сторонніх шумів і т. д.);

4) відмінності в манері поведінки експериментатора (від досвіду до досвіду по-різному пред`являє інструкції, по-різному стимулює виконання завдань і т.

д.);

5) коливання в функціональному стані випробуваного (в одному експерименті відзначається хороше самопочуття, в іншому - стомлення і т. Д.);

6) елементи суб`єктивності в способах оцінки та інтерпретації результатів (коли ведеться протоколювання відповідей випробовуваних, оцінюються відповіді по

ступеня повноти, оригінальності і т. п.).

Якщо всі ці фактори мати на увазі і постаратися в кожному з них усунути умови, що знижують точність вимірювань, то можна домогтися прийнятного

рівня надійності тесту. Одним з найважливіших засобів підвищення надійності психодіагностичної методики є однаковість процедури

обстеження, його сувора регламентація: однакові для обстежуваної вибірки випробовуваних обстановка і умови роботи, однотипний характер інструкцій,

однакові для всіх тимчасові обмеження, способи і особливості контакту з випробуваними, порядок пред`явлення завдань і т. д. При такій

стандартизації процедури дослідження можна істотно зменшити вплив сторонніх випадкових факторів на результати тесту і таким чином

підвищити їх надійність.

На характеристику надійності методик великий вплив робить досліджувана вибірка. Вона може як знижувати, так і завищувати цей показник,

наприклад, надійність може бути штучно завищена, якщо у вибірці невеликий розкид результатів, т. е. якщо результати по своїм значенням

близькі один до одного. В цьому випадку при повторному обстеженні нові результати також розташуються тісною групою. Можливі зміни рангових місць

випробовуваних будуть незначними, і, отже, надійність методики буде високою. Таке ж невиправдане завищення надійності може

виникнути при аналізі результатів вибірки, що складається з групи, що має дуже високі результати, і з групи з дуже низькими оцінками по тесту.

Тоді ці далеко віддалені один від одного результати не будуть перекриватися, навіть якщо і втрутяться в умови експерименту випадкові чинники. Тому

в керівництві зазвичай робиться опис вибірки, на якій визначалася надійність методики.

В даний час надійність все частіше визначається на найбільш однорідних вибірках, т. Е. На вибірках, схожих за статтю, віком, рівнем освіти,

професійній підготовці та т. п. Для кожної такої вибірки наводяться свої коефіцієнти надійності. Наведений показник надійності застосуємо

тільки до груп, подібних до тих, на яких він визначався. Якщо методика застосовується до вибірці, що відрізняється від тієї, на якій перевірялася її

надійність, то ця процедура повинна бути проведена заново.

Так як надійність відображає ступінь узгодженості двох незалежно отриманих рядів показників, то математико-статистичний прийом, за допомогою

якого встановлюється надійність методики - це кореляції (по Пирсону або Спирмену). Надійність тим вище, чим ближче отриманий коефіцієнт

кореляції підходить до одиниці, і навпаки.

У даній книзі при описі видів надійності основний упор робиться на роботи К. М. Гуревича, який, провівши ретельний аналіз зарубіжної

літератури з цієї проблеми, запропонував тлумачити надійність як комплексну характеристику, що включає:

- надійність самого вимірювального інструмента;

- стабільність досліджуваного ознаки;

- константность, т. е. відносну незалежність результатів від особистості експериментатора.

Основні показники він запропонував визначити таким чином:

- показник, що характеризує вимірювальний інструмент, пропонується називати коефіцієнтом надійності;

- показник, що характеризує стабільність вимірюваного властивості - коефіцієнтом стабільності;

- показник оцінки впливу особистості експериментатора - коефіцієнтом константності.

Саме в такому порядку рекомендується здійснювати перевірку методики на надійність: доцільно спочатку перевірити інструмент вимірювання. якщо

отримані дані задовільні, то можна переходити до встановлення міри стабільності вимірюваного властивості, а вже після цього, при

необхідності, зайнятися критерієм константності.

Зупинимося на більш детальному розгляді цих показників, що характеризують з різних сторін надійність психодиагностической методики.

Визначення надійності вимірювального інструмента

Від того, як складена методика, наскільки правильно підібрані завдання з точки зору їх взаємоузгодження, наскільки вона однорідна, залежить

точність, об`єктивність будь-якого психологічного виміру. Внутрішня однорідність методики показує, що її завдання актуалізують одне і те ж

властивість, ознака.

Для перевірки надійності вимірювального інструмента, говорить про його однорідності (або гомогенності), використовується так званий метод

«Розщеплення». Зазвичай завдання діляться на парні і непарні, окремо обробляються, а потім результати двох отриманих рядів корелюються між

собою. Для застосування цього методу необхідно поставити випробовуваних в такі умови, щоб вони змогли встигнути вирішити (або спробувати вирішити) всі завдання.

Якщо методика однорідна, то великої різниці в успішності рішення по таким половинкам не буде, і, отже, коефіцієнт кореляції буде

досить високим.

Можна ділити завдання і іншим шляхом. Наприклад, можна зіставити першу половину тіста з другої, першу і третю чверть з другої і четвертої і т. П.

Однак «розщеплення» на парні і непарні завдання представляється найбільш доцільним, оскільки саме цей спосіб є найбільш незалежним від

впливу таких факторів, як врабативаемості, тренування, стомлення та ін.

Методика визнається надійної, коли отриманий коефіцієнт не нижче 0,75-0,85. Кращі за надійністю тести дають коефіцієнти порядку 0,90 і більше.

Визначення стабільності досліджуваного ознаки

Визначити надійність самої методики - це не означає вирішити всі питання, пов`язані з її застосуванням. Потрібно ще встановити, наскільки стійкий,

стабільний ознака, який дослідник має намір вимірювати. Було б методологічною помилкою розраховувати на абсолютну стабільність

психологічних ознак. У тому, що вимірюваний ознака згодом змінюється, немає нічого небезпечного для надійності. Вся справа в тому, в яких межах

варіюються результати від досвіду до досвіду у одного і того ж випробуваного, чи не призводять ці коливання до того, що випробуваний з незрозумілих причин

виявляється то на початку, то в середині, то в кінці вибірки. Зробити якісь конкретні висновки про рівень представленості вимірюваного ознаки у

такого випробуваного можна. Таким чином, коливання ознаки не повинні мати непередбачуваний характер. Якщо не ясні причини, за якими відбувається

різке коливання, то така ознака не може бути використаний в діагностичних цілях.

Для перевірки стабільності діагностується ознаки, властивості використовується прийом, відомий під назвою тест-ретест. Він полягає в повторному

обстеженні випробовуваних за допомогою тієї ж методики. Про стабільність ознаки судять за коефіцієнтом кореляції між результатами першого та другого

обстеження. Він буде свідчити про збереження або незбереження кожним випробовуваним свого порядкового номера в вибірці.

На ступінь стійкості, стабільності діагностується властивості впливають різноманітні фактори. Число їх досить велике. Вище вже говорилося про

тому, як важливо дотримуватися вимог однаковості процедури проведення експерименту. Так, наприклад, якщо перше тестування проводилося в ранкові

годинник, то і повторне має бути проведено утром- якщо перший досвід супроводжувався попередніми показом завдань, то і при повторному випробуванні це

умова також має бути дотримано і т. д.

При визначенні стабільності ознаки велике значення має проміжок часу між першим і другим обстеженням. Чим коротше термін від першого

до другого випробування, тим (за інших рівних умов) більше шансів, що діагностується ознака збереже рівень першого випробування. Зі збільшенням

тимчасового інтервалу стабільність ознаки має тенденцію знижуватися, так як зростає число сторонніх чинників, що впливають на неї.

Отже, напрошується висновок, що доцільно проводити повторне тестування через короткий термін після першого. Однак тут є свої

складності: якщо термін між першим і другим досвідом невеликий, то деякі випробовувані можуть відтворити свої колишні відповіді по пам`яті і, таким

чином, відійдуть від сенсу виконання завдань. У цьому випадку результати двох передавальний методики вже не можна розглядати як незалежні.

Важко однозначно відповісти на питання, який термін можна вважати оптимальним для повторного експерименту. Тільки дослідник, виходячи з психологічної

суті методики, умов, в яких вона проводиться, особливостей вибірки випробовуваних, повинен визначити цей термін. При цьому такий вибір повинен бути

науково обгрунтований. У ті-стологіческой літературі найбільш часто називаються тимчасові інтервали в кілька місяців (але не більше півроку). при

обстеженні дітей молодшого віку, коли вікові зміни і розвиток відбуваються дуже швидко, ці інтервали можуть бути порядку декількох

тижнів.

Коефіцієнт стабільності методики повинен бути досить високим (не нижче 0,80).

Визначення константності (відносної незалежності результатів від особистості експериментатора).

Оскільки методика, розроблена для діагностичних цілей, не призначена для того, щоб вічно залишатися в руках своїх творців, вкрай важливо

знати, в якій мірі її результати піддаються впливу особистості експериментатора. Хоча діагностична методика завжди забезпечується детальними

інструкціями щодо її застосування, правилами і прикладами, що вказують, як проводити експеримент, однак регламентувати манеру поведінки

експериментатора, швидкість його мови, тон голосу, паузи, вираз обличчя дуже важко. Випробуваний у своєму ставленні до досвіду завжди відобразить те, як сам

експериментатор до цього досвіду відноситься (допускає недбалість або діє точно відповідно до вимог процедури, проявляє

вимогливість, наполегливість або безконтрольність і т. п.).

Хоча в тестологіческіх практиці критерієм константності користуються нечасто, проте це не може служити підставою для його недооцінки. Якщо у авторів

методики виникають підозри з приводу можливого впливу особистості експериментатора на результат діагностичної процедури, то доцільно

перевірити методику за цим критерієм. При цьому важливо мати на увазі наступний момент. Якщо під впливом нового експериментатора все випробовувані

в однаковій мірі стали працювати трохи краще або трохи гірше, то сам по собі цей факт (хоча і заслуговує на увагу) на надійність методики не

вплине. Надійність зміниться лише тоді, коли вплив експериментатора на випробовуваних по-різному: одні стали працювати краще, інші гірше, а

треті так само, як і при першому експериментатора. Іншими словами, якщо випробовувані при новому експериментатор змінили свої порядкові місця в

вибірці.

Коефіцієнт константності визначається шляхом кореляції результатів двох дослідів, проведених у відносно однакових умовах на одній і тій же

вибірці випробовуваних, але різнимиекспериментаторами. Коефіцієнт кореляції не повинен бути нижче 0,80.

Отже, були розглянуті три показника надійності психодіагностичних методик. Може виникнути питання, чи потрібно при створенні методик здійснювати

перевірку кожного з них? На це питання слід дати позитивну відповідь.

Так, автори «Стандартних вимог до педагогічних і психологічних тестів» в розділі «Надійність» відзначають, що коефіцієнт надійності - це

родове поняття, яке включає в себе кілька видів, і кожен вид має свій особливий сенс. Розділяє цю точку зору і К. М. Гуревич. На його думку,

коли говорять про різні способи визначення надійності, то мають справу не з кращого або гіршого мірою, а з заходами різної по суті надійності. В самому

справі, чого варто методика, якщо не ясно, чи надійна вона сама по собі як вимірювальний інструмент, або не встановлена стабільність вимірюваного

властивості? Чого вартий діагностична методика, якщо невідомо, чи можуть змінюватися результати в залежності від того, хто веде експеримент? кожен в

окремо показник ніяк не замінить інших способів перевірки і, отже, не може розглядатися в якості необхідної і достатньої

характеристики надійності. Тільки методика, що володіє повною характеристикою надійності, найбільш придатна для діагностично-практичного

застосування.

Увага, тільки СЬОГОДНІ!