Задания, выполняемые
в тесте позднее, будут выполнены сравнительно малым числом испы-
туемых, поскольку лишь немногие успевают до них добраться. Каким бы
легким ни было задание, если оно расположено в конце теста на ско-
рость, оно будет казаться трудным. Если, скажем, вопрос об имени ис-
пытуемого поместить в конце скоростного теста, то процент лиц, отве-
тивших на него, будет весьма низким.
Точно так же переоценивается валидность заданий, к выполнению
которых многие испытуемые не успевают приступить. Поскольку более
опытные индивиды обычно работают быстрее, они, по-видимому, скорее
доберутся до заданий, находящихся в конце теста на скорость
(W.G. Mollenkopf, 1950 а). Таким образом, независимо от характера
самого задания некоторая корреляция между ним и критерием будет об-
наружена, даже если оно находится ближе к концу теста.
Чтобы избежать некоторых из этих затруднений, можно ограничить
анализ каждого задания только данными испытуемых, достигших со-
ответствующего задания в тесте. Это решение, однако, нельзя считать
удовлетворительным, если число лиц, выполнивших задание, невелико.
Такая процедура сопряжена с использованием быстро сокращающегося
числа испытуемых, вследствие чего результаты по последним заданиям
могут оказаться ненадежными. Более того, испытуемые, выполнившие
такие задания, вероятно, будут представлять собой селективную выбор-
ку, не сопоставимую с более широкой выборкой, использованной для
анализа ранних заданий. Как уже отмечалось, испытуемые, работающие
быстро, часто также более опытны. Таким образом, более поздние зада-
ния будут анализироваться на выборке индивидов с более высоким уров-
нем. Последствием такого селективного фактора окажется занижение
уровня трудности более поздних заданий, поскольку процент справив-
шихся с заданием в селективной выборке выше, чем во всей выборке.
Отметим, что в данном случае ошибка обратна той, которая появляется
при вычислении процента справившихся с заданием относительно всей
исходной выборки. В этом случае происходит завышение трудности
заданий.
Влияние вышеописанной процедуры на индексы валидности заданий
не столь очевидно, но тем не менее реально. Замечено, например, что не-
которые из испытуемых, показывающих низкие результаты, торопясь
выполнить тест в отведенное время, отмечают в тестовом бланке (или
тетради) ответы почти наугад. Среди испытуемых с высокими результа-
тами эта тенденция выражена гораздо меньше. В итоге выборка, на ко-
торой производится анализ более позднего задания, нередко включает
в себя нескольких весьма слабых респондентов, выполняющих задания
на уровне случайности, и довольно значительное число опытных и бы-
стрых испытуемых, чьи ответы обычно оказываются правильными. В та-
кой группе корреляция задания и критерия, вероятно, будет выше. чем
В боттРР прттгч>">вт11-,1-т"-"-"- ---" "
197 АНАЛИЗ ЗАДАНИЙ
респондентов выборка, на которой анализируются задания, располо-
женные в конце теста, охватывала бы относительно узкий диапазон спо-
собности. В этих условиях валидность более поздних заданий скорее все-
го окажется ниже, чем если бы она вычислялась на всей выборке.
Ожидаемое влияние скорости на индексы трудности и валидности
заданий проверялось опытным путем как для случаев, когда статистиче-
ская обработка проводится по всей выборке (A.G.Wesman, 1949), так
и для случаев, когда выборка ограничивалась лицами, пытавшимися вы-
полнить задание (W.G. Mollenkopf, 1950 а). Во втором из этих двух ис-
следований сопоставимым группам старшеклассников давались две
формы вербального теста и две формы математического теста. Каждая
из двух форм состояла из одних и тех же заданий, но начальные и ко-
нечные серии в этих формах менялись местами. Каждая форма предъя-
влялась в жестких (условия скорости) и свободных (условия возможно-
стей) временных рамках. Такой способ тестирования позволил сравнить
между собой как формы тестов, так и временные условия. Результаты
ясно показали, что положение задания в скоростном тесте влияет на ин-
дексы трудности и валидности. Когда одной то же задание предъявля-
лось не в самом начале скоростного теста, оно выполнялось большим
процентом испытуемых, пытавшихся его решить, и имело более высокую
корреляцию с критерием.
Трудности, возникающие в ходе анализа заданий скоростного теста,
в принципе аналогичны тем, о которых говорилось в гл. 5 в связи
с надежностью тестов на скорость. Были предложены различные спо-
собы преодоления этих трудностей, касающиеся как процедуры тестиро-
вания, так и статистической обработки результатов. Одним из эмпириче-
ских решений было увеличение лимита времени для групп, на которых
проводится анализ заданий. Такое решение приемлемо, если только сама
скорость не является важным аспектом измеряемой тестом способности.
Помимо технических проблем, относящихся к конкретным тестам, необ-
ходимо иметь в виду, что данные, получаемые в ходе анализа заданий
скоростных тестов, ненадежны и нуждаются в тщательном изучении.
ПЕРЕКРЕСТНАЯ ВАЛИДАЦИЯ
Значение перекрестной валидации. Важно, чтобы валидность теста
определялась на выборке испытуемых, отличной от той, с помощью ко-
торой производился отбор заданий. Такое независимое измерение валид-
ности всего теста называется перекрестной валидацией (C.I. Mosier,
1951). Любой коэффициент валидности, найденный по выборке, приме-
нявшейся для отбора заданий, окажется завышенным, так как случайные
особенности этой выборки будут учитываться как истинные свойства по-
пуляции.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171