Технологические аспекты педагогического исследования

Качество теста определяется также валидностью, т.е. соответствием теста своему назначению (выявлению признака или качества для которого он предназначен). Чем четче и точнее показывается в тестовом задании тот признак (или свойство), для исследования которого он предназначен, тем выше его валидность. Тесты способностей нередко выявляют натренированность, наличие или отсутствие опыта, т.е. не спо

собности. Соответственно – они не отвечают требованиям валидности.

Выделяют разные виды определения валидности. В простейшем случае сопоставлением полученных результатов (показателей тестирования) с экспертными оценками о наличии данного свойства у исследуемых. Можно анализировать данные наблюдений. Вопрос о валидности теста может быть решен сравнением его данных с показателями, полученными с помощью методики, валидность которой считается установленной.

Применение тестов в психолого-педагогической практике оправдывает себя строго по назначенной цели. Тесты не могут быть универсальным средством педагогической диагностики и исследования.

В процессе трудового обучения школьников педагогический тест представляет собой систему взаимосвязанных заданий специфической формы, определенного содержания, возрастающей сложности, позволяющих надежно и валидно оценить знания и другие интересующие педагога характеристики личности.

«Система взаимосвязанных заданий» означает, что в тесте собраны только такие задания, которые обладают системообразующими свойствами:

а) общая принадлежность к одному и тому же виду изучаемой в рамках учебной дисциплины производственно-технологической или ремесленно-бытовой деятельности;

б) взаимосвязь, выявленная корреляционными методами;

в) взаимодополняемость и упорядоченность с точки зрения трудности.

По форме тестовые задания для исследования процесса обучения школьников труду и технологии целесообразно представлять в форме именно заданий, а не вопросов и задач. Они могут быть сформулированы в форме утверждений, которые в зависимости от ответов испытуемых могут превращаться в истинные или ложные высказывания. Традиционные вопросы, напротив, истинными или ложными не бывают, а ответы на них бывают столь неопределенными и многословными, что для выявления их истинности требуются большие затраты интеллектуальной энергии и преподавательского труда.

«Определенное содержание» предполагает включение в тест только такого материала, содержание которого находится в соответствии с содержанием учебного материала. Нарушение этого требования приводит к ухудшению качества теста, вплоть до того момента, когда могут возникнуть вопросы о цели теста и о том, что и как он измеряет.

«Возрастающая сложность» тестовых заданий позволяет 3 — 5% респондентов тестируемой группы "заваливаться" на самых легких первых заданиях, другим — на последующих. Испытуемые среднего уровня подготовленности могут ответить правильно только на половину тестовых заданий и, наконец, только 1—3% самых знающих в состоянии дать правильный ответ на задания, расположенные в самом конце теста.

Количество правильных ответов соответствует индивидуальному тестовому баллу испытуемых, который ассоциируется с понятием «измерение уровня технологических знаний» и проходит уточнения на основе той или иной модели измерения.

Технологические требования (критерии) к оценке качества тестовых заданий могут быть сформулированы в виде следующего алгоритма:

1) формулировка тестового задания должна содержать не более 7-9 слов;

2) формулировка тестового задания должна учитывать требуемый уровень усвоения;

3) сформулированные тестовые задания должны экспериментально проверяться для определения их основных характеристик.

При этом тестовые задания должны быть:

- валидны, т.е. должны отражать научное содержание учебной дисциплины;

- нацелены на определенный контингент респондентов;

- надежны, т.е. устойчиво оценивать уровень одних и тех же респондентов;

- дифференцированы (чувствительны), т.е. измерять конкретные показатели;

- дискриминантны (различительны) для данного контингента;

- пригодны для обработки с помощью компьютерных технологий.

Дидактические требования к качеству тестовых заданий можно представить в виде следующих критериев:

- в тестовых заданиях должна быть ясно выражена одна мысль, которая записывается сжато, полно и четко;

- тестовое задание должно составлять важную, а не тривиальную часть пройденного учебного материала;

- по трудности оно должно быть приемлемо для тестируемого контингента респондентов, а по содержанию — соответствовать критериям исследовательской деятельности, либо потребностям будущего обучения;

- правильный ответ в тестовом задании не должен быть длиннее и точнее неправильных подсказок (дистракторов);

- в основе вопроса и правильного ответа не должны использоваться общие элементы;

- в тестовом задании не должны использоваться специфические слова-определители;

- семантическая осмысленность задания предполагает, что оно не должно формулироваться в отрицательной форме;

- тестовое задание не должно содержать двусмысленностей и тавтологий, противоречивых утверждений;

- профессиональным считается тест, реализованный с помощью фасетных тестовых заданий;

- качество тестового задания должно быть оценено по формальной чистоте, согласно которой при создании теста необходимо стремиться к сочетанию принципов тестового задания, а не форм;

- респонденты должны знать критерии выставления оценок теста.

Алгоритм технологии проектирования и разработки критериально-ориентированных тестов может быть таким:

1. Формируется программа учебной дисциплины в учебных элементах.

2. На основании сформулированных целей обучения и соответствующего этим целям научного содержания проектируются тестовые задания.

3. Проводится эксперимент на соответствующем контингенте студентов.

4. Осуществляется дидактико-статистический анализ эксперимента, на основе которого "выбрасываются" те задания, на которые никто не ответил, либо ответили все.

5. Определяется коэффициент корреляции и осуществляется отбор заданий для проверки знания.

6. Для отладки теста определяются коэффициенты трудности и различения тестового задания

7. Строится матрица обработки тестовых результатов (после отбрасывания заданий, у которых все "1" или все "0").

Как и все методы исследования, тестирование имеет свои достоинства и недостатки. К достоинствам этого метода можно отнести то, что все сформулированные в тестах задания глубоко продумываются и экспериментально проверяются, позволяют в очень небольшие промежутки времени выявить и оценить исследуемые признаки (свойства).

Следует заметить, что прогнозирование на основе тестов ограничено. Выявленные отклонения от норматива являются основанием для регулирования и коррекции. В педагогической практике исследования процесса трудовой и технологической подготовки школьников тестирование должно применяться только в сочетании с другими методами.