А. Gordon, 1953; М.Н. Maier,
C.W. Shore, R. Marion, 1972) и многочисленных производственных обя-
занностей (J.T.Campbell et aJ" 1973; D.L. Grant, D.W. Bray, 1970;
W. W. Ruch, 1972).
Интересно отметить, что те же результаты были получены при срав-
нении групп, распределенных по образовательному или социоэкономиче-
скому уровню. Армейская классификационная батарея завышала прогно-
зируемое выполнение программы обучения военной специальности для
тех, кто был отсеян из старших классов школы, и занижала его для вы-
пускников колледжей (М.Н. Maier, 1972). Заниженный прогноз по резуль-
татам тестов способности к обучению имел место для студентов, у ко-
торых профессиональное положение отцов было достаточно высоко,
и завышенный прогноз-для студентов, чьи отцы занимали более низкое
профессиональное положение (V. Н. Hewer, 1965). Во всех этих работах
сравнение групп с высокими и низкими результатами теста либо вообще
не обнаруживало разницы в интерцептах, либо выявляло в них неболь-
шую систематическую ошибку, ставившую группу с более низкими пока-
зателями в несколько лучшие условия.
Проблема систематической ошибки теста сложнее, чем она может
показаться при столь упрощенном изложении. Это область, в которую,
не имея серьезных статистических знаний, следует вторгаться с осторож-
ностью. Некоторые специалисты предложили птг"" -
179 АНАЛИЗ ЗАДАНИЙ
ния систематической ошибки теста, основанные не на прогнозируемых
критериальных показателях, а на проценте лиц в группах меньшинств
и большинства, превосходящих нормативные показатели теста и крите-
рия (N.S. Cole, 1972; R.L. Linn, 1973; F.L.Schmidt, J.E. Hunter, 1974;
R.L. Thorndike, 1971). Но другие исследователи, проводя сравнительную
оценку нескольких моделей систематической ошибки теста и поставив
под сомнение концептуальную и методическую обоснованность этих
процедур, сформулировали общую математическую модель отбора пер-
сонала, инвариантного относительно культуры (A. L. Gross, W.H.Su,
1975; N.S.Petersen, 1974; N.S.Petersen, M.R.Novick, 1976). На основе
теории решений в модели объединяются данные вероятности различных
исходов и субъективные оценки относительной полезности каждого из
них (принятие ненужного работника, непринятие нужного работника
и т.д.). Кроме того, доказывается, что не существует единой оптималь-
ной модели беспристрастного отбора, а предлагаемая модель лишь поз-
воляет применительно к определенным условиям сформулировать сгра-
тегию решений, максимизирующую ожидаемую общую полезность
сообразно конкретным целям тестирования и оценкам полезности раз-
личных исходов.
Исследования в области систематической ошибки теста как стати-
стическими методами, так и экспериментально показали, что на совре-
менном уровне знаний введение различных нормативных результатов
для разных подгрупп популяции не вполне оправдано. Статистические
поправки к показателям тестов, нормативным результатам или прогно-
стическим формулам вряд ли много дадут для устранения социальной
несправедливости. Более конструктивны другие подходы, уже обсуждав-
шиеся в этой главе. Среди них можно назвать комплексные тесты спо-
собностей и стратегии распределения, позволяющие полнее использовать
разные структуры способностей, формируемые несходными культурами.
То же можно сказать и об адаптивных программах типа индивидуализи-
рованного обучения. Чтобы такие программы максимально соответство-
вали индивидуальным особенностям личности, тест должен как можно
точнее определять уровень развития необходимых способностей.
ГЛАВА 8. АНАЛИЗ ЗАДАНИЙ
Знакомство с основными понятиями и методами анализа заданий, а так-
же с другими фазами построения теста может оказаться полезным при
оценке опубликованных тестов. Помимо этого анализ заданий имеет
прямое отношение к составлению неформальных локальных тестов типа
подготовленных учителем для работы в классе опросов или конт-
рольных работ. Некоторые из рассматриваемых ниже общих принципов
подготовки эффективных заданий, а также простые статистические при-
емы их анализа послужат совершенствованию предъявляемых в классе
тестов и могут быть применены даже к небольшим группам.
В заданиях может анализироваться как их качественная сторона, т. е.
их содержание и форма, так и количественная, т.е. их статистические
свойства. Качественный анализ включает рассмотрение валидности по
содержанию (см. гл. 6) и оценку эффективности письменных заданий,
п кптппой пойдет оечь в гл. 14. Количественный анализ означает
180 ПРИНЦИПЫ ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ
ность и надежность теста в конечном счете зависят от свойств заданий,
и их предварительный анализ позволяет повысить эти свойства теста.
Устраняя, добавляя, заменяя или пересматривая отдельные задания,
можно усовершенствовать тест в целом.
Анализ заданий позволяет сократить тест, повышая в то же время
его валидность и надежность. При прочих равных условиях более
длинный тест валиднее и надежнее, чем более короткий. Влияние увели-
чения и сокращения теста на коэффициент надежности обсуждалось
в гл. 5, где также была приведена формула Спирмана-Брауна для оцен-
ки этого влияния. Согласно этой формуле, надежность теста меняется,
когда изъятые задания эквивалентны оставшимся, а вновь вводимые-
уже имеющимся. Аналогичные изменения валидности имеют место, когда
отбрасываются или добавляются задания, обладающие эквивалентной
валидностью. Однако такие оценки влияния увеличения или сокращения
теста на его надежность и валидность действительны только для случай-
ного отбора заданий, проводимого без их анализа.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171