Валідність психодіагностичних методик

валідність

Ключовим критерієм оцінки якості методик є валідність. Питання про валідності методики вирішується лише після того, як встановлена достатня її надійність, оскільки ненадійна методика не може бути валидной. Але найнадійніша методика без знання її валідності є практично даремною. Слід зауважити, що питання про валідності до останнього часу представляється одним з найскладніших. Найбільш укоріненим визначенням цього поняття є те, яке наведене в книзі А. Анастазі: «Валідність тесту - поняття, яке вказує нам, що тест вимірює і наскільки добре він це робить».

Валідність за своєю суттю - це комплексна характеристика, що включає, з одного боку, відомості про те, чи придатна методика для вимірювання того, для чого вона була створена, а з іншого боку, яка її дієвість, ефективність, практична корисність. З цієї причини не існує якогось єдиного універсального підходу до визначення валідності. Залежно від того, яку сторону валідності хоче розглянути дослідник, використовуються і різні способи доказу. Іншими словами, поняття валідності включає в себе різні її види, які мають свій особливий сенс. Перевірка валідності методики називається валидизация.

Валідність в першому її розумінні має відношення до самої методикою, т. Е. Це валідність вимірювального інструмента. Така перевірка називається теоретичної валідизації. Валідність в другому розумінні вже відноситься не стільки до методики, скільки до мети її використання. Це прагматична валидизация. Узагальнюючи, можна сказати наступне:

- при теоретичної валідизації дослідника цікавить саме властивість, що вимірюється методикою. Це, по суті, означає, що проводиться власне психологічна валидизация;

- при прагматичної валідизації суть предмета вимірювання (психологічного властивості) виявляється поза увагою. Головний акцент зроблений на те, щоб довести, що щось, що вимірюється методикою, має зв`язок з певними областями практики.

Визначення теоретичної валідності

Провести теоретичну валідизацію, на відміну від прагматичної, часом буває значно важче. Не вдаючись поки в конкретні деталі, зупинимося в загальних рисах на те, як перевіряється прагматична валідність: вибирається який-небудь незалежний від методики зовнішній критерій, який визначає успіх в тій чи іншій діяльності (навчальної, професійної та т. П.), І з ним порівнюються результати діагностичної методики. Якщо зв`язок між ними визнається задовільною, то робиться висновок про практичну значимість, ефективності, дієвості діагностичної методики.

Для визначення теоретичної валідності знайти будь-якої незалежний критерій, який лежить поза методики, набагато важче. Тому на ранніх стадіях розвитку тестології, коли концепція валідності тільки складалася, існувала інтуїтивне уявлення про те, що тест вимірює:

1) методика називалася валидной, так як те, що вона вимірює, просто очевидно;

2) доказ валідності грунтувалося на впевненості дослідника в тому, що його метод дозволяє зрозуміти випробуваного;

3) методика розглядалася як валідна (т. Е. Приймалося твердження, що такий-то тест вимірює таке-то якість) тільки тому, що теорія, на підставі якої будувалася методика, дуже хороша.

Ухвалення на віру голослівних тверджень про валідності методики не могло тривати довгий час. Перші прояви дійсно наукової критики розвінчали такий підхід: почалися пошуки науково обґрунтованих доказів. Таким чином, провести теоретичну валідизацію методики - це довести, що методика вимірює саме те властивість, якість, яке вона за задумом дослідника повинна вимірювати. Так, наприклад, якщо якийсь тест розроблявся для того, щоб діагностувати розумовий розвиток дітей, треба проаналізувати, чи дійсно він вимірює саме це розвиток, а не якісь інші особливості (наприклад, особистість, характер і т. П.). Таким чином, для теоретичної валідизації кардинальною проблемою є ставлення між психологічними явищами і їх показниками, за допомогою яких ці психологічні явища намагаються пізнати. Це показує, наскільки задум автора і результати методики збігаються.

Не настільки складно провести теоретичну валідизацію нової методики, якщо для вимірювання даного властивості вже є методика з доведеною валідність. Наявність кореляції між новою і аналогічної вже перевіреною методикою вказує на те, що розроблена методика вимірює той же психологічний якість, що і еталонна. І якщо новий метод одночасно виявляється більш компактним і економічним в проведенні і обробці результатів, то психодиагноста отримують можливість використовувати новий інструмент замість старого. Але теоретична валідність доводиться не тільки шляхом зіставлення зі спорідненими показниками, а також і з тими, де, виходячи з гіпотези, значущих зв`язків не повинно бути. Таким чином, для перевірки теоретичної валідності важливо, з одного боку, встановити ступінь зв`язку зі спорідненою методикою (конвергентна валідність) і відсутність зв`язку з цим з методиками, що мають інше теоретичну підставу (дискримінантний валідність).

Набагато важче провести теоретичну валідизацію методики тоді, коли такий шлях перевірки неможливий. Найчастіше саме з такою ситуацією стикається дослідник. В таких обставинах тільки поступове накопичення різноманітної інформації про досліджуваному властивості, аналіз теоретичних передумов і експериментальних даних, значний досвід роботи з методикою дозволяє розкрити її психологічний сенс.

Важливу роль для розуміння того, що методика вимірює, грає зіставлення її показників з практичними формами діяльності. Але тут особливо важливо, щоб методика була ретельно опрацьована в теоретичному плані, т. Е. Щоб була міцна, обгрунтована наукова база. Тоді при зіставленні методики з узятим з повсякденної практики зовнішнім критерієм, відповідним тому, що вона вимірює, може бути отримана інформація, подкрепляющая теоретичні уявлення про її сутність.

Важливо пам`ятати, що якщо доведена теоретична валідність, то інтерпретація отриманих показників стає більш ясною і однозначною, а назва методики відповідає сфері її застосування. Що стосується прагматичної валідизації, то вона має на увазі перевірку методики з точки зору її практичної ефективності, значущості, корисності, оскільки діагностичної методикою має сенс користуватися тільки тоді, коли доведено, що вимірюється властивість проявляється в певних життєвих ситуаціях, в певних видах діяльності. Їй надають великого значення особливо там де постає питання відбору.

Якщо знову звернутися до історії розвитку тестології, то можна виділити такий період (20-30-ті рр. XX ст.), Коли науковий зміст тестів і їх теоретичний багаж цікавили в меншій мірі. Важливо було, щоб тест працював, допомагав швидко відбирати найбільш підготовлених людей. Емпіричний критерій оцінки тестових завдань вважався єдино вірним орієнтиром у вирішенні наукових і прикладних задач. Використання діагностичних методик з чисто емпіричним обгрунтуванням, без виразної теоретичної бази нерідко призводило до псевдонаукових висновків, до невиправданих практичним рекомендаціям. Не можна було точно назвати ті особливості, якості, які тести виявляли. По суті вони були сліпими пробами.

Такий підхід до проблеми валідності тестів був характерний аж до початку 50-х рр. XX ст. не тільки в США, але і в інших країнах. Теоретична слабкість емпіричних методів валидизации не могла не викликати критики з боку тих вчених, які в розробці тестів закликали спиратися не тільки на голу емпірико і практику, а й на теоретичну концепцію. Практика без теорії, як відомо, сліпа, а теорія без практики мертва. В даний час теоретико-практична оцінка валідності методик сприймається як найбільш продуктивна.

Визначення прагматичної валідності

Для проведення прагматичної валідизації методики, т. Е. Для оцінки її ефективності, дієвості, практичної значущості, зазвичай використовується незалежний зовнішній критерій - показник прояву досліджуваного властивості у повсякденному житті. Таким критерієм може бути і успішність (для тестів здібностей до навчання, тестів досягнень, тестів інтелекту), і виробничі досягнення (для методик професійним спрямуванням), і ефективність реальної діяльності - малювання, моделювання і т. Д. (Для тестів спеціальних здібностей), суб`єктивні оцінки (для тестів особистості).

Американські дослідники Д. Тіффін і Е. Маккормік, провівши аналіз використовуваних для доведення валідності зовнішніх критеріїв, виділяють чотири їх типи:

1) критерії виконання (в їх число можуть входити такі, як кількість виконаної роботи, успішність, час, витрачений на навчання, темп зростання

кваліфікації і т. п.);

2) суб`єктивні критерії (вони включають різні види відповідей, які відображають ставлення людини до чого-небудь або до кого-небудь, його думка, погляди, предпочтенія- зазвичай суб`єктивні критерії отримують за допомогою інтерв`ю, опитувальників, анкет);

3) фізіологічні критерії (вони використовуються при вивченні впливу навколишнього середовища та інших ситуаційних змінних на організм і психіку людини-змиритися частота пульсу, тиск крові, електроопір шкіри, симптоми втоми І т. Д.);

4) критерії випадковостей (застосовуються, коли мета дослідження стосується, наприклад, проблеми відбору для роботи таких осіб, які менш схильні до нещасних випадків).

Зовнішній критерій повинен відповідати трьом основним вимогам:

- він повинен бути релевантним;

- вільним від перешкод;

- надійним.

Під релевантностью мається на увазі змістову відповідність діагностичного інструменту незалежного життєво важливому критерію. Іншими словами, повинна бути впевненість в тому, що в критерії задіяні саме ті особливості індивідуальної психіки, які вимірюються і діагностичної методикою. Зовнішній критерій і діагностична методика повинні знаходитися між собою у внутрішньому смисловому відповідно, бути якісно однорідними по психологічної сутності. Якщо, наприклад, тест вимірює індивідуальні особливості мислення, вміння виконувати логічні дії з певними об`єктами, поняттями, то і в критерії потрібно шукати прояв саме цих умінь. Це в рівній мірі відноситься і до професійної діяльності. Вона має не одну, а кілька цілей, завдань, кожна з яких специфічна і висуває свої умови до виконання. З цього випливає існування декількох критеріїв виконання професійної діяльності. Тому не слід проводити зіставлення успішності по діагностичним методикам з виробничою ефективністю в цілому. Необхідно знайти такий критерій, який за характером виконуваних операцій співвідносимо з методикою.

Якщо щодо зовнішнього критерію невідомо, релевантний він измеряемому властивості чи ні, то зіставлення з ним результатів психодіагностичної методики стає практично марним. Воно не дозволяє прийти до будь-яких висновків, які могли б дати оцінку валідності методики. Вимоги свободи від перешкод викликаються тим, що, наприклад, навчальна або виробнича успішність залежить від двох змінних: від самої людини, його індивідуальних особливостей, вимірюваних методиками, і від ситуації, умов навчання, праці, які можуть привнести перешкоди, «забруднити» застосовується критерій . Щоб в якійсь мірі уникнути цього, слід відбирати для дослідження такі групи людей, які знаходяться в більш-менш однакових умовах. Можна використовувати і інший метод. Він складається в коригуванні впливу перешкод. Ця коригування носить зазвичай статистичний характер. Так, наприклад, продуктивність слід брати не за абсолютними значеннями, а в ставленні до середньої продуктивності робітників, які працюють в аналогічних умовах.

Коли говорять, що критерій повинен мати статистично достовірну надійність, це означає, що він повинен відображати сталість і стійкість досліджуваної функції. Пошуки адекватного і легко виявляється критерію належать до дуже важливим і складним завданням валидизации. У західній тестології багато методик анульовано тільки тому, що не вдалося знайти відповідного критерію для їх перевірки. Наприклад, у більшій частині анкет дані по їх валідності сумнівні, так як важко знайти адекватний зовнішній критерій, який відповідає тому, що вони вимірюють.

Оцінка валідності методик

Оцінка валідності методик може носити кількісний і якісний характер. Для обчислення кількісного показника - коефіцієнта валідності - зіставляються результати, отримані при застосуванні діагностичної методики, з даними, отриманими за зовнішнім критерієм, тих же осіб. Використовуються різні види лінійної кореляції (по Спирмену, по Пирсону).

Скільки випробовуваних необхідно для розрахунку валідності? Практика показала, що їх не повинно бути менше 50, однак найкраще понад 200. Часто виникає питання, якою має бути величина коефіцієнта валідності, щоб вона вважалася прийнятною? Загалом наголошується, що досить того, щоб коефіцієнт валідності був статистично значимо. Низьким визнається коефіцієнт валідності порядку 0,20-0,30, середнім - 0,30-0,50 і високим - понад 0,60. Але, як підкреслюють А. Анастазі, К. М. Гуревич та ін., Не завжди для обчислення коефіцієнта валідності правомірно використовувати лінійну кореляцію.

Цей прийом виправданий лише тоді, коли доведено, що успіх в якійсь діяльності прямо пропорційний успіху в виконанні діагностичної проби. Позиція зарубіжних тестологов, особливо тих, хто займається профпридатністю і профвідбору, найчастіше зводиться до беззастережного визнання того, що для професії більше підійде той, хто більше виконав завдань у тесті. Але може бути і так, що для успіху в діяльності потрібно мати властивість на рівні 40% рішення тесту. Подальший успіх в тесті вже не має ніякого значення для професії. Наочний приклад з монографії К. М. Гуревича: листоноша повинен вміти читати, але читає він зі звичайною швидкістю або з дуже великою швидкістю - це вже не має професійного значення. При такому співвідношенні показників методики і зовнішнього критерію найбільш адекватним способом встановлення валідності може бути критерій відмінностей.

Можливий і інший випадок: вищий рівень якості, ніж це вимагає професія, служить перешкодою професійного успіху. Так, ще на зорі XX в. американський дослідник Ф. Тейлор знайшов, що найбільш розвинені працівниці виробництва мають невисоку продуктивність праці. Тобто високий рівень їх розумового розвитку заважав їм високопродуктивно трудитися. В цьому випадку для обчислення коефіцієнта валідності більш підійшов би дисперсійний аналіз або обчислення кореляційних відносин.

Як показав досвід роботи зарубіжних тестологов, жодна статистична процедура не в змозі повністю відобразити різноманіття індивідуальних оцінок. Тому часто для доведення валідності методик використовують іншу модель - клінічні оцінки. Це не що інше, як якісне опис сутності досліджуваного властивості. У цьому випадку мова йде про використання прийомів, що не спираються на статистичну обробку.