Поэтому здесь не приходится заботиться о точном про-
центе случаев в двух контрастных группах. Приемлема любая цифра ме-
жду 25 и 33Ї".
Большие и нормально распределенные выборки используются при
разработке стандартизованного теста, и в этом случае обычно берут
189 АНАЛИЗ ЗАДАНИЙ
верхние и нижние 27Їо распределения значений критериальных показате-
лей. Многие таблицы и номограммы, по которым рассчитываются пока-
затели валидности заданий, составлены в предположении, что сравни-
ваемые группы формировались согласно <правилу 27Ї">. По-видимому,
распространение быстродействующих компьютеров позволит заменить
различные вспомогательные приемы, разработанные для облегчения ана-
лиза заданий, более точными и совершенными методами. Вычислитель-
ная техника позволяет проанализировать результаты всей выборки, не
ограничиваясь краями распределения. Разработаны также методы мате-
матической обработки характеристических кривых для измерения валид-
ности заданий, но их применение неосуществимо без соответствующей
вычислительной техники (F.B. Baker, 1971 ; S. Henrysson, 1971; F.M. Lord,
M. R. Novick, 1968).
Анализ заданий в случае малых групп. Поскольку анализ за-
даний часто проводится на небольших группах, например с учащимися
одного класса, отвечающими на серию вопросов, рассмотрим сначала
простую процедуру, особенно подходящую для такой ситуации. Предпо-
ложим, в классе всего 60 человек, из которых отобрано 20 учеников (33"о)
с самым высоким и 20-е самым низким общим числом правильных от-
ветов. Разложим листки с ответами на три стопки, принадлежащие верх-
ней (В), средней (С) и нижней (Н) группе. Теперь нам нужно определить,
сколько правильных ответов в каждой из этих групп было дано на
каждый вопрос. Для этого выпишем в столбик номера заданий, оставив
справа место для трех колонок, которые обозначим буквами В, С а Н.
Возьмем из стопки В любой листок и в колонке В проставим палочки
против тех вопросов, на которые данный ученик ответил правильно. Это
нужно проделать для каждого из 20 листков группы В, затем для 20
листков группы С и, наконец, для всех листков группы Н. Подсчитаем
теперь палочки и выпишем результаты по образцу табл. 19 (для кратко-
сти в ней приведены цифры только по первым семи вопросам анкеты).
Приблизительный индекс валидности, или разрешающей силы, любого
из вопросов находится вычитанием из числа учеников, правильно отве-
тивших на него в группе В, соответствующего числа, стоящего в колонке
Н. Их разности приведены в последней колонке табл. 19. Пользуясь те-
ми же исходными данными, можно оценить трудность каждого вопроса,
для чего требуется сложить числа, стоящие в соответствующей строке
таблицы {В+С+Н).
Анализ табл. 19 выявляет 4 задания, подлежащие дальнейшему рас-
смотрению или обсуждению в классе. Два вопроса, а именно 2-й и 7-й,
выделены, поскольку один из них слишком легок (56 из 60 учеников от-
ветили на него правильно), а другой слишком труден (всего 5 пра-
вильных ответов). Вопросы 4 и 5 приемлемы с точки зрения трудности.
но разность В - Н для одного из них равна нулю, а для другого отрица-
тельна. В ту же категорию были бы включены вопросы и с очень малы-
ми положительными значениями разности В - Я-примерно 3 и мень-
ше. Такая граничная цифра действительна для групп того же размера,
что и в нашем примере. Имея дело с большими группами, следует ожи-
дать больших различий вследствие случайного появления недискрими-
нантных заданий.
Анализ заданий теста, подготовленного учителем, направлен на
выявление дефектов либо в тесте, либо в преподавании. Обсуждая вы-
190
ПРИНЦИПЫ ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ
Таблица 19
Таблица 20
Простая процедура анализа заданий: число Анализ ответов, предлагаемых на выбор по
лиц, давших правильный ответ, в группах отдельным вопросам
с высокими, средними и низкими значения-
ми критерия
Задание В (вопрос) (20)С (20)(20)Трудность (В+С+Н)Различение (Й-Н)
1159731
220201656
31918946
410111637
511131135
61614939
75005
10
-6
0
ВопросГруппаВыбранные ответы
12з45
2ВО о0200
н2 01161
4в0 10901
н2 16200
5в2 32112
н1 33112
7в5 3543
н0 5834
Задания, выбранные для последующего обсуждения. Данные по правильным ответам набраны курсивом.
причина их некорректности. Если вопрос сформулирован неудачно, его
можно перестроить или вовсе изъять при последующем тестировании.
.Обсуждение, однако, может обнаружить, что вопрос составлен правиль-
но, но у учеников нет надлежащего понимания данной темы. В этом слу-
чае тема может быть разобрана заново и пояснена подробнее. При оты-
скании менее заметного источника затруднений часто полезно провести
дополнительный анализ, типа изображенного на табл. 20, хотя бы части
вопросов, отобранных для обсуждения. В табл. 20 приводится число уче-
ников из групп В и Н, выбравших тот или иной из пяти приведенных
в заданиях ответов.
Хотя вопрос 2 и включен в табл. 20, но из приведенной в ней час-
тоты ошибочных ответов мало что можно узнать, поскольку непра-
вильный выбор сделали лишь 4 человека из группы Н и никто-из
группы В. Обсуждение этого вопроса с учениками, вероятно, выявит,
действительно ли вопрос слишком легок и не представляет особой цен-
ности, или какой-то недостаток формулировки позволяет сразу же нахо-
дить правильный ответ, или же, наконец, это полезный вопрос, но отно-
сился он к хорошо проработанной и усвоенной теме занятий. В первом
случае вопрос, видимо, следует изъять, во втором-пересмотреть, а
в третьем-оставить без изменения.
Данные по вопросу 4 показывают, что выбор третьего ответа связан
с тем, что сам ответ содержит в себе нечто такое, что заставляет 9 учени-
ков из группы В предпочесть его правильной альтернативе.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171