Проблема валидизации тестів

Відповідність тесту вимірюваному психічному властивості називається валідність тесту. Це, без перебільшення, найважливіше психометричне властивість тесту. Якщо висока надійність тесту говорить нам про те, що тест справді «щось» вимірює, то висока валідність вказує на те, що тест вимірює саме те, що ми хочемо.

Звичайно, на валідність тесту також негативно впливають випадкові чинники. Тому в псіхометріке прийнято наступне: валідність не може перевищувати надійність тесту.

Але на відміну від надійності крім випадкових факторів на валідність тесту впливають систематичні фактори. Вони привносять систематичні спотворення в результати. Ці чинники є інші психічні властивості, які заважають проявитися в результатах тесту тому властивості, на яке тест спрямований. Наприклад, ми хочемо вимірювати «потенціал навченості» (найважливіший компонент загальних інтелектуальних здібностей людини). Але даємо випробуваному тест з жорстким обмеженням часу виконання і відсутністю можливості повернутися і виправити допущену помилку. Цілком очевидно, що шукане психічне властивість виявляється змішаним в тесті з помилковим психічним властивістю - «стресостійкість»: випробовувані з високими показниками стійкості до стресу будуть краще виконувати тест. У цьому проявиться ефект систематичного спотворення.

У сучасній псіхометріке розроблені буквально десятки різноманітних теоретичних та експериментальних методів перевірки валідності тестів. Основним елементом практично всіх цих методів є так званий «критерій». Критерій валідності - це незалежний від тесту, зовнішній по відношенню до тесту джерело інформації про вимірюваний психічному властивості. Ми не можемо судити про валідності тесту до тих пір, поки не можна порівняти його результати з джерелом істинної (або хоча б свідомо більш валидной) інформації про вимірюваний властивості - з критерієм.

У наукових дослідженнях переважають спеціальні лабораторні критерії. Наприклад, конструюється компактний тест-опитувальник на тривожність. А в якості критерію валідності для нього використовується спеціальний трудомісткий об`єктивний лабораторний експеримент, в якому відтворюється реальна ситуація тривожності (випробуваним-добровольцям погрожують за помилкові дії ударами струму і т. П.).

На практиці дуже часто в якості критерію валідності використовуються прагматичні критерії - показники ефективності тієї діяльності, заради прогнозування якій робиться тестування. У школі найтиповіший критеріальний показник - це успішність. Але для соціально-психологічної адаптації дитини зовнішнім критеріальним показником може бути рівень популярності в класі.

Дуже часто в якості критерію валідності використовується експертна оцінка. Наприклад, ми хочемо переконатися, що короткий тест на вимірювання рівня дисциплінованості валиден. Для цього опитуємо вчителів про рівень дисциплінованості добре відомих їм учнів. І після цього порівнюємо (корелюючи) результати тесту і експертний рейтинг учнів по дисциплінованості.

Але ... Метод «відомих груп» володіє серйозним недоліком. Він не завжди дозволяє використовувати тест для прогнозу. Справа в тому, що при формуванні «відомих груп» оцінюється поведінка, яке відбувалося в минулому, а ми хочемо зробити тест дня прогнозу поведінки, яке буде відбуватися в майбутньому. Багато тестів, які використовуються в освітній психодіагностику, мають зазначеним недоліком. Вони пройшли в кращому випадку перевірку за методикою «відомих груп» і не мають так званої прогностичної валідність (або принаймні ця валідність суворо експериментально не доведено). Звичайно, на місцевому рівні завдання забезпечення прогностичної валідності не вирішити. Це під силу тільки великим науково-методичним центрам. Адже до психометричного дослідження з перевірки прогностичної валідності треба залучати приблизно на порядок більше випробовуваних - не 30, а мінімум 300. Наприклад, ми хочемо використовувати тест для прогнозу готовності школярів до навчання у вузі. Це типова прогностична психодіагностична завдання. Хтось повинен взятися за нелегку багаторічну програму перевірки прогностичного потенціалу цього тесту. Потрібно протестувати 300- 500 школярів, а потім почекати, хто з них вступить до вузу і буде успішно там вчитися. Після двох-трирічного інтервалу можна сформувати критеріальні групи і підрахувати кореляцію з колишніми тестовими показниками цих колишніх школярів. Тільки після реалізації такої схеми психометричного експерименту можна стверджувати, що тест пройшов перевірку на прогностичну валідність. Без цього ми виходимо просто з довіри до наукової інтуїції розробника тесту і не маємо незалежних доказів того, що тест можна використовувати для прогнозу.

Розрізнення звичайної дешевої схеми валідизації тесту (по «відомих групах») і дорогий прогностичної схеми валідизації тесту - найважливіший елемент психодіагностичної грамотності не тільки для психологів, а й для педагогів, як, втім, і для будь-яких замовників психодіагностичної інформації.

Коли замовник твердо знає, яких доказів ефективності пропонованого тесту можна вимагати від тестології, він буде надійно застрахований від профанації.