Для определения прагматической валидности берется выборка стандартизации, проводится ее диагностическое обследование, собираются данные по независимому внешнему критерию.
Существуют 2 способа вычисления валидности:
I. Вычисление коэффициента валидности.
Можно вычислить валидность, если существуют линейные связи между показателями по внешнему критерию и показателями методики. Используется формула ранговой корреляции по Спирмену. Допускаются любые значимые по статистическому критерию коэффициенты валидности:
- 0,3-0,4 - достаточно низкий коэффициент валидности
- 0,5 - средний коэффициент валидности
- 0,6 и выше - высокий коэффициент валидности
Никогда не удается освободить от помех в полном объеме независимый внешний критерий. Чем выше коэффициент валидности, тем лучше (показатели методики больше дадут для прогноза успешности деятельности).
Даже если коэффициент валидности очень низкий, то следует проводить диагностику. Главное, чтобы испытуемые достигли определенного критериального уровня (или превысили). Тогда используется дисперсионный анализ или статистические способы вычисления критериев различия.
II. Вычисление качественные характеристик.
Можно качественно описывать выполнение деятельности, которая называется независимым внешним критерием (получаются качественные оценки валидности методики).
Варианты валидности:
- валидность по одновременности или текущая - определяется по независимому внешнему критерию, информация по которому собирается одновременно с процессом проведения диагносцирования с помощью методики.
- прогностическая валидность - информация по внешнему критерию собирается некоторое время спустя после обследования с помощью методики.
- ретроспективная валидность - определяется противоположным способом прогностической валидности: информация берется из прошлых данных.