Можно ли считать на основе ана-
лиза возникших затруднений, что они не достигли по-настоящему
и предыдущего уровня? Если да, то эти данные вполне бы могли озна-
чать недостаточную надежность теста. Может оказаться необходимым
включить в тест больше заданий или установить более высокий за-
четный норматив. Еще одним способом (R. К. Hambleton, М. R. Novick,
1973) определения надежности теста владения навыком является предъяв-
ление двух параллельных форм одним и тем же индивидам и регистра-
ция процента испытуемых, для которых по обеим формам принимается
одинаковое решение (овладение или неовладение навыком).
При разработке некоторых критериально-ориентированных тестов
Служба тестирования в образовании до сих пор эмпирическим путем
устанавливает стандарты овладения навыком. Применяемая процедура
предусматривает предъявление теста не только ученикам того класса, на
которых этот тест рассчитан, но также учащимся следующего и преды-
дущего класса. Чтобы выявить случаи мнимого овладения соответствую-
126 ПРИНЦИПЫ ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ
овладения ими в старшем классе, привлекается мнение учителя,
позволяющее осуществлять более дифференцированную оценку. За-
четный норматив выбирается затем так, чтобы число ошибочных реше-
ний, принимаемых с его помощью, было минимальным.
Все статистические процедуры, предназначенные для критериально-
ориентированных тестов, находятся в стадии разработки. Многое еще
предстоит сделать как в теоретическом, так и в экспериментальном пла-
не, прежде чем удастся получить наиболее эффективную методику, со-
ответствующую различным ситуациям тестирования.
ГЛАВА 6. ВАЛИДНОСТЬ.
ОСНОВНЫЕ ПОНЯТИЯ
Валидность теста-понятие, указывающее нам, что тест измеряет и на-
сколько хорошо он это делает. Следует иметь в виду, что название теста
не может служить указанием на то, что он измеряет. Оно лишь позво-
ляет опознать его. По большей части названия тестов слишком широки
и расплывчаты, чтобы по ним можно было установить, на какую сферу
поведения ориентирован тест. Правда, в последнее время наметилась
тенденция давать тестам более конкретные и операционально опреде-
ленные названия. Установить, какое свойство измеряет данный тест,
можно, лишь ознакомившись с объективными источниками информации
и эмпирическими процедурами, применявшимися для установления его
валидности (A. Anastasi, 1950). Более того, про валидность нельзя гово-
рить обобщенно, например, что тест имеет высокую или низкую валид-
ность. При ее определении всегда должно быть указано конкретное пред-
назначение теста.
Цель любой процедуры определения валидного теста-выяснить, как
выполнение теста соотносится с другими независимо наблюдаемыми
фактами исследуемых характеристик поведения. Конкретных методов ис-
следования подобных соотношений достаточно много. В <Стандартах
учебных и психологических тестов> (Standards for Educational, 1974) эти
методы распределяются по трем основным критериям: (1) валидность по
содержанию, (2) валидность по критерию и (3) конструктная валидность.
Каждый из этих типов валидности обсуждается в одном из последую-
щих разделов, а анализу их соотношения между собой посвящен заклю-
чительный раздел главы. Методика анализа и интерпретация данных
о валидности при выработке практических решений рассматриваются
в гл. 7.
ВАЛИДНОСТЬ ПО СОДЕРЖАНИЮ
Природа. Валидность по содержанию в сущности означает системати-
ческую проверку содержания теста с тем, чтобы установить, соответ-
ствует ли оно репрезентативной выборке измеряемой области поведения.
Такая процедура валидации обычно применяется при оценке тестов до-
стижений, предназначенных для измерения того, насколько индивид
овладел конкретными навыками или учебным предметом. Может со-
здаться впечатление, что для установления валидности любого такого
теста достаточно просто проверить его содержание. Например, тест на
127 ВАЛИДНОСТЬ. ОСНОВНЫЕ ПОНЯТИЯ
мог бы быть валидным, если бы состоял соответственно из заданий на
умножение, правописание и ведение бухгалтерских операций.
Решение, однако, не столь просто, как это может показаться. Сразу
же возникает проблема адекватности выборки всего множества заданий,
поэтому тестируемая область поведения должна систематически прове-
ряться с тем, чтобы существовала уверенность, что задания теста ох-
ватывают все ее главные аспекты и в правильной пропорции. Тест легко
перенасытить теми аспектами исследуемой области, по которым легче
составить объективные задания. Поэтому рассматриваемое содержание
следует фиксировать заранее, а не после того как тест уже составлен.
Правильно построенные тесты достижений должны соответствовать не
только предмету обучения, но и его задачам. Содержание, следователь-
но, необходимо определять достаточно широко, включая в него помимо
знания фактического материала такие важнейшие цели обучения, как
применение изученных принципов и интерпретацию данных. Более того,
валидность содержания больше зависит от релевантности тестовых отве-
тов индивида, рассматриваемой в сфере поведения, чем от очевидной ре-
левантности содержания тестовых заданий. Простая проверка теста
может и не выявить те процессы, которые действительно обеспечивают
выполнение теста испытуемым.
Важно также избежать неоправданного обобщения выбранной темы
тестирования. Если, например, орфографический тест с множественным
выбором ответов измеряет способность распознавать правильно и не-
правильно написанные слова, то из этого не следует, что он также изме-
ряет способность правильно написать диктант, количество орфографиче-
ских ошибок в сочинении и другие аспекты грамотности письма
(K.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171