ТОП авторов и книг ИСКАТЬ КНИГУ В БИБЛИОТЕКЕ
Когда же сокращение
теста идет за счет устранения наименее удачных заданий, результатом
может быть повышение его валидности и надежности.
ТРУДНОСТЬ ЗАДАНИЙ
Процент справившихся с заданием. Чаще всего трудность задания
определяется процентом испытуемых, давших правильный ответ. Чем
легче задание, тем выше этот процент. Слово, значение которого пра-
вильно указало 70Їо выборки стандартизации (р = 0,70), считается более
легким, чем слово, которое знают только 15Їо (р == 0,15). Обычно зада-
ния располагаются в порядке нарастания трудности, так, чтобы обсле-
дуемый начинал с относительно легких заданий и затем переходил ко
все более сложным. Такое расположение дает индивиду больше уверен-
ности и снижает вероятность того, что он, затратив слишком много
времени на задания, которые для него слишком трудны, упустит из вида
те, которые ему по силам.
В процессе составления теста задания подбираются так, чтобы они
соответствовали определенному уровню трудности. Большинство стан-
дартизованных тестов способностей предназначены для как можно более
точной оценки индивидуального уровня развития способности, и если
в таком тесте никто не может справиться с заданием, то оно оказывается
просто лишним грузом. То же можно сказать и о заданиях, с которыми
справляются все. Ни те, ни другие не несут никакой информации об ин-
дивидуальных различиях. А поскольку такие задания не влияют на ва-
риативность тестовых результатов, они ничего не прибавляют к надеж-
ности или валидности теста. Чем ближе трудность задания к 1,00 или
к 0, тем менее дифференцированную информацию можно получить с его
помощью. И наоборот, чем ближе уровень трудности к 0,50, тем выше
его разрешающая способность. Предположим, что из 100 испытуемых 50
справились и 50 не справились с заданием {р == 0,50). Это задание позво-
ляет нам провести попарное различие между каждым, кто справился
и кто не справился с заданием, что дает 50 х 50 = 2500 сравнений или
битов различительной информации. При р = 0,70 мы будем иметь 70 х
х 30 == 2100 битов информации, при р == 0,90-90 х 10 = 900 битов,
а ппи п == I Oh-inn у п-т- n To " .-..---- --- ----
181
АНАЛИЧ ЗАДАНИЙ
Таким образом выходит, что для максимальной дифференциации все
задания должны быть на уровне трудности 0,50. Решение, однако, ослож-
няется тем фактом, что в пределах одного теста задания могут коррели-
ровать друг с другом. Чем однороднее тест, тем выше эти корреляции.
В экстремальной ситуации, если все задания скоррелированы и имеют
уровень трудности 0,50, то одни и те же 50 испытуемых справятся
с каждым заданием. В итоге одна половина обследованных покажет
IOOo-ный результат, а результатом другой половины будет ноль. Ввиду
взаимокорреляции заданий лучше всего выбирать их так, чтобы уровень
трудности отдельных заданий имел некоторый умеренный разброс, но
в среднем составлял 0,50.
Интервальные шкалы. Процент испытуемых, справляющихся
с заданием, соответствует степени его трудности в порядковой шкале,
т.е. правильно указывает ранговый порядок, или относительную труд-
ность заданий. Если, к примеру, процент справившихся с заданием 1, 2
и 3 соответственно равен 30, 20 и 10, то мы можем заключить, что зада-
ние 1-самое легкое, а задание 3-самое трудное из них. Но мы не мо-
жем утверждать, что различие в трудности между заданиями 1 и 2 то же,
что и между заданиями 2 и 3. Равные разности процентов будут соответ-
ствовать равным различиям трудности только для прямоугольного рас-
пределения, т.е. для равномерного распределения случаев по всему диа-
пазону. Эта проблема аналогична той, с которой мы встретились в свя:чи
с процентилями, также основанными на процентах случаев. Напомним
(см. гл. 4), что процентили не являю юя равными единицами и меняклся
по величине от центра к краям распределения (рис. 4, гл. 4).
Если исходить из нормального распределения свойства, измеряемо-
го заданием, то уровень трудности можно чьи. .лить в иервальной
шкале с фиксированной единицей, пользуясь <аблицей частот нормаль-
ного распределения. В гл. 4 отмечалось, например, что примерно 34Їо
случаев при нормальном распределении приходится на интервал в 1ст
в обоих направлениях от среднего значения (рис. 3, гл. 4). Принимая это
во внимание, рассмотрим рис. 22, на котором представлен уровень труд-
ности задания, выполненного 84Ї испытуемых. Поскольку испытуемые,
84%
Рис. 22. Соотноше-
ние между процен-
-С.. :, i. аИВШИХСЯ С
;... .. г. и его
.,,.:". (1.о при
нормальном рас-
пределении
182 ПРИНЦИПЫ психологичг.ского ТЕСТИРОВАНИЯ
выполнившие задание, относятся к верхней части распределения, то эти
84Їо займут всю правую половину распределения (50%) и часть (34"д) ле-
вой половины (50 + 34 = 84).
Таким образом, как видно из рис. 22, трудность задания приходится
на 1ст слева от среднего значения. Задание, выполненное 16% группы, бу-
дет соответствовать 1ст справа от среднего, поскольку на область справа
от этой точки приходится 16% случаев (50 -34 = 16). Задание, выпол-
ненное половиной группы, соответствует среднему распределению, т.е.
нулю этой шкалы, положительные значения которой относятся к более
трудным, а отрицательные-к менее трудным заданиям. Уровень трудно-
сти, отвечающий любому проценту справившихся с заданием, можно
найти по таблице нормального распределения, имеющейся в любом
учебнике по статистике.
Поскольку представление трудности заданий в единицах стандартно-
го отклонения нормального распределения сопряжено с использованием
отрицательных чисел и десятичных дробей, такие значения обычно пере-
водят в более удобную шкалу.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171
теста идет за счет устранения наименее удачных заданий, результатом
может быть повышение его валидности и надежности.
ТРУДНОСТЬ ЗАДАНИЙ
Процент справившихся с заданием. Чаще всего трудность задания
определяется процентом испытуемых, давших правильный ответ. Чем
легче задание, тем выше этот процент. Слово, значение которого пра-
вильно указало 70Їо выборки стандартизации (р = 0,70), считается более
легким, чем слово, которое знают только 15Їо (р == 0,15). Обычно зада-
ния располагаются в порядке нарастания трудности, так, чтобы обсле-
дуемый начинал с относительно легких заданий и затем переходил ко
все более сложным. Такое расположение дает индивиду больше уверен-
ности и снижает вероятность того, что он, затратив слишком много
времени на задания, которые для него слишком трудны, упустит из вида
те, которые ему по силам.
В процессе составления теста задания подбираются так, чтобы они
соответствовали определенному уровню трудности. Большинство стан-
дартизованных тестов способностей предназначены для как можно более
точной оценки индивидуального уровня развития способности, и если
в таком тесте никто не может справиться с заданием, то оно оказывается
просто лишним грузом. То же можно сказать и о заданиях, с которыми
справляются все. Ни те, ни другие не несут никакой информации об ин-
дивидуальных различиях. А поскольку такие задания не влияют на ва-
риативность тестовых результатов, они ничего не прибавляют к надеж-
ности или валидности теста. Чем ближе трудность задания к 1,00 или
к 0, тем менее дифференцированную информацию можно получить с его
помощью. И наоборот, чем ближе уровень трудности к 0,50, тем выше
его разрешающая способность. Предположим, что из 100 испытуемых 50
справились и 50 не справились с заданием {р == 0,50). Это задание позво-
ляет нам провести попарное различие между каждым, кто справился
и кто не справился с заданием, что дает 50 х 50 = 2500 сравнений или
битов различительной информации. При р = 0,70 мы будем иметь 70 х
х 30 == 2100 битов информации, при р == 0,90-90 х 10 = 900 битов,
а ппи п == I Oh-inn у п-т- n To " .-..---- --- ----
181
АНАЛИЧ ЗАДАНИЙ
Таким образом выходит, что для максимальной дифференциации все
задания должны быть на уровне трудности 0,50. Решение, однако, ослож-
няется тем фактом, что в пределах одного теста задания могут коррели-
ровать друг с другом. Чем однороднее тест, тем выше эти корреляции.
В экстремальной ситуации, если все задания скоррелированы и имеют
уровень трудности 0,50, то одни и те же 50 испытуемых справятся
с каждым заданием. В итоге одна половина обследованных покажет
IOOo-ный результат, а результатом другой половины будет ноль. Ввиду
взаимокорреляции заданий лучше всего выбирать их так, чтобы уровень
трудности отдельных заданий имел некоторый умеренный разброс, но
в среднем составлял 0,50.
Интервальные шкалы. Процент испытуемых, справляющихся
с заданием, соответствует степени его трудности в порядковой шкале,
т.е. правильно указывает ранговый порядок, или относительную труд-
ность заданий. Если, к примеру, процент справившихся с заданием 1, 2
и 3 соответственно равен 30, 20 и 10, то мы можем заключить, что зада-
ние 1-самое легкое, а задание 3-самое трудное из них. Но мы не мо-
жем утверждать, что различие в трудности между заданиями 1 и 2 то же,
что и между заданиями 2 и 3. Равные разности процентов будут соответ-
ствовать равным различиям трудности только для прямоугольного рас-
пределения, т.е. для равномерного распределения случаев по всему диа-
пазону. Эта проблема аналогична той, с которой мы встретились в свя:чи
с процентилями, также основанными на процентах случаев. Напомним
(см. гл. 4), что процентили не являю юя равными единицами и меняклся
по величине от центра к краям распределения (рис. 4, гл. 4).
Если исходить из нормального распределения свойства, измеряемо-
го заданием, то уровень трудности можно чьи. .лить в иервальной
шкале с фиксированной единицей, пользуясь <аблицей частот нормаль-
ного распределения. В гл. 4 отмечалось, например, что примерно 34Їо
случаев при нормальном распределении приходится на интервал в 1ст
в обоих направлениях от среднего значения (рис. 3, гл. 4). Принимая это
во внимание, рассмотрим рис. 22, на котором представлен уровень труд-
ности задания, выполненного 84Ї испытуемых. Поскольку испытуемые,
84%
Рис. 22. Соотноше-
ние между процен-
-С.. :, i. аИВШИХСЯ С
;... .. г. и его
.,,.:". (1.о при
нормальном рас-
пределении
182 ПРИНЦИПЫ психологичг.ского ТЕСТИРОВАНИЯ
выполнившие задание, относятся к верхней части распределения, то эти
84Їо займут всю правую половину распределения (50%) и часть (34"д) ле-
вой половины (50 + 34 = 84).
Таким образом, как видно из рис. 22, трудность задания приходится
на 1ст слева от среднего значения. Задание, выполненное 16% группы, бу-
дет соответствовать 1ст справа от среднего, поскольку на область справа
от этой точки приходится 16% случаев (50 -34 = 16). Задание, выпол-
ненное половиной группы, соответствует среднему распределению, т.е.
нулю этой шкалы, положительные значения которой относятся к более
трудным, а отрицательные-к менее трудным заданиям. Уровень трудно-
сти, отвечающий любому проценту справившихся с заданием, можно
найти по таблице нормального распределения, имеющейся в любом
учебнике по статистике.
Поскольку представление трудности заданий в единицах стандартно-
го отклонения нормального распределения сопряжено с использованием
отрицательных чисел и десятичных дробей, такие значения обычно пере-
водят в более удобную шкалу.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171