Формула для Грыя :
Мн - ML гр-
0 "V
где Мн - среднее значение показателей по тесту для испытуе-
мых, давших правильный (ключевой) ответ на данное задание, ML
- среднее значение показателей по тесту для испытуемых, давших
неправильный ответ на данное задание, О- стандартное отклонение
для теста, / - доля испытуемых, давших правильный (ключевой)
ответ на данное задание, ид= ]- Р.
Шаги вычислений в процедуре анализа заданий
( 1 ) Вычислите арифметическое среднее и стандартное отклонение
для всей группы по тесту.
(2) Для каждого задания вычислите среднее значение показателя
по тесту для испытуемых, давших правильный (ключевой) ответ на
это задание (Мн) и отметьте количество испытуемых, сделавших это
WH).
(3) Для каждого задания разделите NH на N . Это дает Р (см.
примечание на стр. 172).
(4) Для каждого задания 1-P=q. Это дает q .
(5) Имея среднее значение общего показателя по тесту для каж-
дого задания, можно получить ML из уравнения:
(Мн Х NH) + (ML Х NL) = Мг Х NT
Это дает Mi.
(6) Для каждого задания перемножьте Р q и возьмите квадратный
корень.
(7) Теперь может быть получен точечно-бисериальный коэффи-
циент корреляции грЫз для каждого задания:
Мн (из шага 2) - ML (из шага 5) Гп- / <- \
-"-т-- VP q (из шага о)
О (из шага 1)
Эта процедура анализа дает нам для каждого долю испы-
туемых, давших ключевой ответ на данное задание (значение Р из
шага 3), и значение корреляции ГрЬю с общим показателем.
Эта процедура несколько длинновата, если у нас большая выборка
и приличный набор заданий, так что на практике разработчик теста
может и не выполнить все эти шаги. Это особенно важно, если при-
меняется корректирующая формула для корреляции (из-за того, что
каждое задание вносит свой вклад в общий показатель). Но в общем
большинство разработчиков тестов имеют доступ к вычислительной
технике, так что в данном случае всю эту работу за вас может сделать
компьютер.
Вычисления на компьютере
Если можно использовать компьютер, то процедура будет выгля-
деть следующим образом:
(1) Для каждого испытуемого показатель по каждому заданию (О
или 1) и общий показатель по тесту вводятся к память компьютера.
(2) Запрашивается программа, печатающая значения корреля-
ции (скорректированной по отмеченной выше формуле) между зада-
ниями и общим показателем.
(3) Запрашивается программа, печатающая долю испытуемых,
давших правильные (ключевые) (1) ответы на каждое задание.
(4) ОБРАТИТЕ ВНИМАНИЕ, что грЬ-is - это численный эквива-
лент коэффициента произведения моментов Пирсона, так что ком-
пьютеру задается программа вычисления последнего.
Краткое вычисление без компьютера
Если у вас нет никаких программ для анализа заданий, можно
использовать краткий метод вычислений вручную, который дает удо-
влетворительную точность для практического отбора заданий, хотя
и будет неразумным использовать полученные коэффициенты кор-
реляции для дальнейшего статистического анализа или восприни-
мать их слишком буквально. В этом методе для оценки Р и грЫч
используются верхние и нижние 27% распределения. Для этого раз-
личными авторами были разработаны таблицы процедуры анализа
заданий. Здесь мы приведем краткий метод с использованием таблиц
Фэна (Fan, 1952), которые просты в использовании и легко доступны
в Великобритании.
ПРОЦЕДУРА АНАЛИЗА ЗАДАНИЙ С ИСПОЛЬЗОВАНИЕМ
ТАБЛИЦ ФЭНА
(1) Отберите 27% лучших (группа Н ) и 27% худших (группа L )
испытуемых по данному тесту.
(2) Для каждого задания подсчитайте долю испытуемых из груп-
пы Н , давших правильный (ключевой) ответ: РН
(3) Сделайте то же самое для группы L: PL
(4) Для каждого задания посмотрите таблицы Фэна, которые для
каждой возможной комбинации Рц и PL дают приближенную оценку
Р и rpbis ,- на пересечении строк и столбцов: каждая строка соответ-
ствует значению РН , а каждый столбец - значению PL
Очевидно, что если у вас есть компьютер, то имеет смысл его
использовать. Тем не менее, всем разработчикам тестов по крайней
мере однажды приходилось анализировать тест вручную, поскольку
видение реального процесса обработки показателей для заданий в
различных группах испытуемых и постоянная перетасовка заданий
теста дают глубокое проникновение в смысл того, что происходит с
заданиями теста - интуицию, которая не может возникнуть из ком-
пьютерных распечаток.
Отбор заданий после их анализа
Описанный метод анализа заданий дал нам два существенно важ-
ных статистических показателя: Р - долю испытуемых, давших
ключевой ответ на задание, и / - корреляцию между заданием и
общим показателем.
Таблица 6.1. Представление результатов
N-200МN-200FN-200MA
Про-Про-Про-
цеду-цеду-педу-
ра 1ра2раЗ
РгРrРr
Задание 11, Нравится ли вам бол-0.410.520.730.350.400.47
тать"
Задание 22. Испытываете ли вы0.250.350.410.280.310.20
иногда чувство ревности?
Задание 33. Объедались ли вы ког-0.950.060.900.120.920.03
да-нибудь?
Задание N
Примечание: 1) это не задания реального теста, их статистические показатели были
придуманы для иллюстрации;
2) М - мужчины, F - женщины, MA - мужчины-военнослужащие.
Как указывалось, для испытуемых разных полов необходимо вы-
полнять отдельные процедуры анализа заданий, и в некоторых слу-
чаях нам может понадобиться более, чем одна выборка, чтобы убе-
диться в стабильности задания. Предположим, что для всех наших
выборок процедуры анализа заданий выполнены. В таблице 6.1 по-
казан удобный способ представления результатов.
4-196
193
Критерии
При отборе заданий для теста есть много разнообразных момен-
тов, о которых следует помнить, и при окончательном отборе мы
должны достичь между ними равновесия.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114