ТОП авторов и книг ИСКАТЬ КНИГУ В БИБЛИОТЕКЕ
Это был тщательно
разработанный метод исследования всей генеральной совокупности
переменных и попытки обеспечить содержательную валидность. Ус-
пех этого предприятия является предметом споров (например, Cattel
и Kline, 1977; Howarth, 1976). Нет необходимости говорить, что по-
добная процедура может быть выполнена только при наличии огром-
ных (денежных и временных) ресурсов, и не рекомендуется обычно-
му разработчику тестов. Обычно, если только в литературе нет ясных
описаний, при конструировании тестов личности и мотивов рассмот-
рение содержательной валидности неуместно.
ПРАКТИЧЕСКИЕ ПРОЦЕДУРЫ ДЛЯ ОПРЕДЕЛЕНИЯ СО-
ДЕРЖАТЕЛЬНОЙ ВАЛИДНОСТИ
Тесты достижений:
( 1 ) Укажите точно категорию лиц, для которых этот тест предназ-
начен.
(2) Определите навыки, подлежащие тестированию, возможно
после их анализа.
(3) Передайте этот список экспертам в данной области (учителям
и т.п.) для проверки, нет ли упущений.
(4) Преобразуйте этот список в перечень заданий, используя,
когда это возможно, равное количество заданий на каждый навык.
(5) Представьте эти задания экспертам для проверки.
209
(6) Подвергните задания обычным процедурам конструирования
тестов. В результате должен быть получен содержательно валидный
тест.
Другие тесты:
(1) Если существует литература с описаниями, просмотрите ее и
преобразуйте описания в особенности поведения.
(2) Для каждой упомянутой особенности поведения сформули-
руйте ряд заданий.
(3) Когда литература с описаниями отсутствует, получите описа-
ния поведения от грамотных специалистов; например, для изучения
зависимости инфантильных пациентов опросите их лечащих врачей
и медицинских сестер с целью получить описание зависимого пове-
дения их пациентов.
(4) Как и на шаге (2) выше, преобразуйте описания в задания.
(5) Подвергните задания теста обычным процедурам конструиро-
вания теста.
Критериально-ориентированные тесты
(criterion-referenced tests)
В области тестирования достижений и успехов в учебе, как для
детей, так и для взрослых, например, после специальных курсов
обучения, значительное место отводится тому, что зачастую пред-
ставляется как совершенно иной тип теста - критериально-ориен-
тированный тест. Полное обсуждение этой темы вы найдете у Berk
(1980), а также у Glaser (1963).
Сторонники критериально-ориентированных тестов противопо-
ставляют их тестам, ориентированным на нормы, на следующих ос-
нованиях. При использовании тестов, ориентированных на нормы,
сравниваются навыки и способности испытуемых, а в критериально-
ориентированных тестах указываются и определяются цели обучаю-
щего курса, которые закладываются в тест формулированием зада-
ний, измеряющих степень достижения этих целей.
Существует два момента, о которых стоит упомянуть. Критери-
ально-ориентированные тесты применимы только в тех случаях, ког-
да цели обучения могут быть ясно и недвусмысленно определены.
Во-вторых, и именно поэтому эта тема включена в данное рассмот-
рение, критериально-ориентированные тесты - это тесты, спроек-
тированные с целью максимизации содержательной валидности, об-
суждавшейся в предыдущем разделе. Принципиально же критери-
ально-ориентированные тесты ничем не отличаются от тестов, ори-
ентированных на нормы, хотя это верно, что для них не нужны
нормы. Что в этих тестах важно - так это просто то, какую часть
210
теста испытуемый выполнит правильно. Разработчиков же тестов,
ориентированных на нормы, не интересует сравнительная успеш-
ность; все, что они хотят знать - справился ли отдельный испытуе-
мый с данным материалом или нет.
Это различие, очевидно, не является существенным. Так, содер-
жательно валидный тест является по существу критериально-ориен-
тированным тестом с нормами. Аналогично, если критериально-ори-
ентированный тест стандартизован, то он становится содержательно-
валидным тестом, опирающимся на нормы.
Как утверждалось в случае содержательной валидности, сущест-
венная особенность при конструировании критериально-ориентиро-
ванных тестов состоит в определении целей курса обучения, так,
чтобы могли быть сформулированы задания, содержащие эти цели.
Во многих обучающих курсах для взрослых цели весьма конкретны,
и применение критериально-ориентированных тестов является оче-
видным могодом. форма заданий зависит от того, что необходимо
тестировать, а вопросы, касающиеся формы заданий полностью об-
суждались ранее, в главе по формулированию заданий.
Инкрементная и дифференциальная валидность
Как указывалось в главе 1, эти виды валидности в основном ис-
пользуются в процедурах профотбора, в которых для прогноза по
некоторому критерию комплектуется батарея тестов.
ИНКРЕМЕНТНАЯ ВАЛИДНОСТЬ: ШАГИ ПРОЦЕДУРЫ
( 1 ) Вычислите корреляцию теста с критерием и с другими тестами
батареи.
(2) Если он имеет положительную корреляцию с критерием, но
незначимо коррелирует с другими тестами, то продемонстрирована
инкрементная валидность. Такой тест будет вносить свой вклад в
множественную корреляцию Данной батареи с критерием.
(3) При факторном анализе этот тест должен нагружать тот же
фактор, что и критерий, но не фактор, нагружаемый другими теста-
ми.
ДИФФЕРЕНЦИАЛЬНАЯ ВАЛИДНОСТЬ
Для доказательства дифференциальной валидности нет общих
процедур, но если бы мы взяли пример об академической успеваемо-
сти (из главы 1, стр. 28), то дифференциальную валидность можно
было бы показать сравнением ее корреляции с различными академи-
ческими дисциплинами:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114
разработанный метод исследования всей генеральной совокупности
переменных и попытки обеспечить содержательную валидность. Ус-
пех этого предприятия является предметом споров (например, Cattel
и Kline, 1977; Howarth, 1976). Нет необходимости говорить, что по-
добная процедура может быть выполнена только при наличии огром-
ных (денежных и временных) ресурсов, и не рекомендуется обычно-
му разработчику тестов. Обычно, если только в литературе нет ясных
описаний, при конструировании тестов личности и мотивов рассмот-
рение содержательной валидности неуместно.
ПРАКТИЧЕСКИЕ ПРОЦЕДУРЫ ДЛЯ ОПРЕДЕЛЕНИЯ СО-
ДЕРЖАТЕЛЬНОЙ ВАЛИДНОСТИ
Тесты достижений:
( 1 ) Укажите точно категорию лиц, для которых этот тест предназ-
начен.
(2) Определите навыки, подлежащие тестированию, возможно
после их анализа.
(3) Передайте этот список экспертам в данной области (учителям
и т.п.) для проверки, нет ли упущений.
(4) Преобразуйте этот список в перечень заданий, используя,
когда это возможно, равное количество заданий на каждый навык.
(5) Представьте эти задания экспертам для проверки.
209
(6) Подвергните задания обычным процедурам конструирования
тестов. В результате должен быть получен содержательно валидный
тест.
Другие тесты:
(1) Если существует литература с описаниями, просмотрите ее и
преобразуйте описания в особенности поведения.
(2) Для каждой упомянутой особенности поведения сформули-
руйте ряд заданий.
(3) Когда литература с описаниями отсутствует, получите описа-
ния поведения от грамотных специалистов; например, для изучения
зависимости инфантильных пациентов опросите их лечащих врачей
и медицинских сестер с целью получить описание зависимого пове-
дения их пациентов.
(4) Как и на шаге (2) выше, преобразуйте описания в задания.
(5) Подвергните задания теста обычным процедурам конструиро-
вания теста.
Критериально-ориентированные тесты
(criterion-referenced tests)
В области тестирования достижений и успехов в учебе, как для
детей, так и для взрослых, например, после специальных курсов
обучения, значительное место отводится тому, что зачастую пред-
ставляется как совершенно иной тип теста - критериально-ориен-
тированный тест. Полное обсуждение этой темы вы найдете у Berk
(1980), а также у Glaser (1963).
Сторонники критериально-ориентированных тестов противопо-
ставляют их тестам, ориентированным на нормы, на следующих ос-
нованиях. При использовании тестов, ориентированных на нормы,
сравниваются навыки и способности испытуемых, а в критериально-
ориентированных тестах указываются и определяются цели обучаю-
щего курса, которые закладываются в тест формулированием зада-
ний, измеряющих степень достижения этих целей.
Существует два момента, о которых стоит упомянуть. Критери-
ально-ориентированные тесты применимы только в тех случаях, ког-
да цели обучения могут быть ясно и недвусмысленно определены.
Во-вторых, и именно поэтому эта тема включена в данное рассмот-
рение, критериально-ориентированные тесты - это тесты, спроек-
тированные с целью максимизации содержательной валидности, об-
суждавшейся в предыдущем разделе. Принципиально же критери-
ально-ориентированные тесты ничем не отличаются от тестов, ори-
ентированных на нормы, хотя это верно, что для них не нужны
нормы. Что в этих тестах важно - так это просто то, какую часть
210
теста испытуемый выполнит правильно. Разработчиков же тестов,
ориентированных на нормы, не интересует сравнительная успеш-
ность; все, что они хотят знать - справился ли отдельный испытуе-
мый с данным материалом или нет.
Это различие, очевидно, не является существенным. Так, содер-
жательно валидный тест является по существу критериально-ориен-
тированным тестом с нормами. Аналогично, если критериально-ори-
ентированный тест стандартизован, то он становится содержательно-
валидным тестом, опирающимся на нормы.
Как утверждалось в случае содержательной валидности, сущест-
венная особенность при конструировании критериально-ориентиро-
ванных тестов состоит в определении целей курса обучения, так,
чтобы могли быть сформулированы задания, содержащие эти цели.
Во многих обучающих курсах для взрослых цели весьма конкретны,
и применение критериально-ориентированных тестов является оче-
видным могодом. форма заданий зависит от того, что необходимо
тестировать, а вопросы, касающиеся формы заданий полностью об-
суждались ранее, в главе по формулированию заданий.
Инкрементная и дифференциальная валидность
Как указывалось в главе 1, эти виды валидности в основном ис-
пользуются в процедурах профотбора, в которых для прогноза по
некоторому критерию комплектуется батарея тестов.
ИНКРЕМЕНТНАЯ ВАЛИДНОСТЬ: ШАГИ ПРОЦЕДУРЫ
( 1 ) Вычислите корреляцию теста с критерием и с другими тестами
батареи.
(2) Если он имеет положительную корреляцию с критерием, но
незначимо коррелирует с другими тестами, то продемонстрирована
инкрементная валидность. Такой тест будет вносить свой вклад в
множественную корреляцию Данной батареи с критерием.
(3) При факторном анализе этот тест должен нагружать тот же
фактор, что и критерий, но не фактор, нагружаемый другими теста-
ми.
ДИФФЕРЕНЦИАЛЬНАЯ ВАЛИДНОСТЬ
Для доказательства дифференциальной валидности нет общих
процедур, но если бы мы взяли пример об академической успеваемо-
сти (из главы 1, стр. 28), то дифференциальную валидность можно
было бы показать сравнением ее корреляции с различными академи-
ческими дисциплинами:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114