Методология построения системы управления качеством в университетском комплексе
17) корректировка (при необходимости) плана и спецификации предтеста, уточнение времени выполнения предтеста;
18) повторение этапов апробации (10–17) с целью повышения качества предтеста и уточнения его характеристик;
19) интерпретация полученных в результате обработки данных, установление тестовой нормы (при необходимости), создание шкалы для оценки результатов участников тестирования.
Как видно из рассмотрения приведённого алгоритма, образуется своеобразный цикл, который начинается этапом сбора эмпирических данных и заканчивается корректировкой предтеста, причём, цикл этот повторяется многократно. Процесс конструирования теста достаточно трудоёмок, так как необходим всесторонний подход к оценкам его качества и качества входящих в него предтестовых заданий. Кроме того, многое при разработке теста зависит не только от качества тестового материала, но и от уровня подготовки контингента участников тестирования.
Кроме того, необходимо помнить, что для профессиональной разработки педагогических тестов на основе современных математических моделей необходимо иметь специализированные программные средства.
6.3 Определение целей тестирования и анализ содержания учебной дисциплины
Профессиональное создание теста начинается с определения цели тестирования, т.е. с ответа на вопрос – знание каких разделов дисциплины является наиболее существенным при подготовке студентов?
При этом внимание разработчика теста акцентируется, прежде всего, на том, как оптимально отобразить содержание учебной дисциплины в системе тестовых заданий. Требование оптимальности предполагает использование определённой методики отбора материала дисциплины. Для правильной постановки целей создания теста и их реализации в тестовых заданиях необходимо пройти процесс операционализации (конкретизации) целей [29]. Под операционализацией понимается придание содержанию и форме представления целей характеристик, позволяющих отобразить образовательные цели в содержание средств измерения (тестовых заданий). Этапы процесса операционализации схематично представлены на рисун- ке 10.
Рис. 10. Этапы операционализации результатов обучения
Планируемые результаты обучения в сознании преподавателя преломляются сквозь призму содержания знаний по преподаваемой учебной дисциплине в содержание теста, в результате чего он обретает свои чёткие контуры.
Основные категории конкретизированных учебных целей, разработанные автором работы [35], приведены в несколько изменённом, удобном для задач измерения виде в таблице 6 [29].
Таблица 6. Конкретизированные цели обучения
|
Планируемые обобщённые учебные цели |
Примеры конкретизированных учебных целей, достигнутых учеником |
|
Знание на уровне запоминания и воспроизведения |
Знает смысл употребляемых терминов, основные понятия и определения, формулы, законы, принципы |
|
Знания на уровне понимания |
Понимает и интерпретирует термины, интерпретирует понятия и определения, преобразует словесный материал в математические выражения, интерпретирует словесный материал на схемах и графиках |
|
Умения по применению знаний в известной ситуации |
Умеет применять термины, понятия и определения в знакомой ситуации по образцу, а также формулы, законы и принципы в знакомой ситуации |
|
Умения по применению знаний в незнакомой ситуации |
Использует законы и принципы в новых ситуациях, осуществляет перенос известных методов на незнакомые ситуации |
|
Анализ |
Видит ошибки и упущения в логике рассуждений, корректирует неполные и избыточные постановки задач, выделяет скрытые предложения, проводит различия между фактами и следствиями |
Используя таблицу 6, разработчик теста определяет, что именно он собирается проверить с помощью теста по данной учебной дисциплине и отображает это в предтестовых заданиях.
Длительность процедуры тестирования ограничивается обычно тремя часами, поэтому количество заданий по каждому разделу дисциплины, которые войдут в тест, должно быть ограничено. При этом необходимо быть уверенным в том, что выбранные разделы (темы) дисциплины охватывают все важные аспекты подготовки студента, а знание содержания этих разделов обеспечит достижение целей обучения студентов. Правильный выбор здесь осложняется тем, что некоторые дисциплины заметно связаны между собой и могут частично замещаться. Подходы и основания для такого выбора достаточно разнообразны.
Отражение содержания дисциплины в содержании предтеста
Достижение успеха в создании теста во многом зависит от качества начального тестового материала, которое обеспечивается правильным отбором содержания дисциплины и умением разработчика корректно отобразить это содержание в содержание предтеста. Для каждой дисциплины необходимо выбрать ту содержательную область, которая признаётся специалистами как важная, наиболее значимая, знание которой позволит выпускнику достичь успехов в будущей работе по специальности. После конкретизации целей тестирования отображение содержания дисциплины в содержание предтеста начинается с выделения укрупнённых единиц знаний. Если сделать это отображение слишком глубоким и полным, чрезмерно расширится число тем и разделов, включённых в предтест. Как следствие этого увеличится число предтестовых заданий, что разумно до определённых пределов. Поэтому при создании предтеста необходимо отобразить в нём самое главное – то, что студенты должны обязательно знать в результате обучения.
Укрупнённые единицы знаний подразделяются на более мелкие единицы, для которых и создаются предтестовые задания. Их разработку по конкретным темам рекомендуется начинать, исходя из целей тестирования и базируясь на содержании традиционно используемых контрольных материалов (экзаменационных билетов, контрольных заданий, задач и т.д.), а также опыте ведущих преподавателей учебной дисциплины. Число предтестовых заданий по каждой теме (разделу), которое планируется включить в предтест, не может быть произвольным. В противном случае содержание учебной дисциплины может быть неверно отображено в предтесте. Поэтому работе по созданию предтестовых заданий должна предшествовать разработка плана и спецификации предтеста по дисциплине [34, 36, 37].
6.4 План и спецификация теста
В плане теста определяется, какое количество заданий по конкретной теме учебной дисциплины должно войти в предтест. Это нужно сделать исходя из определённых критериев, например, можно экспертным путём определить важность каждой темы, а затем с учётом результатов экспертизы распределить предтестовые задания по темам. На наш взгляд, на начальных этапах работы по созданию предтеста важность или ранг тем учебной дисциплины можно определить исходя из количества аудиторных часов занятий, отводимых на изучение тем студентами дневной формы обучения. Этот критерий и был выбран автором для использования в качестве основного при разработке планов тестов. Общее число предтестовых заданий следует определять исходя из следующих соображений. В окончательном варианте теста количество заданий должно быть не меньше. При экспериментальной проверке предтеста и анализе на её основе параметров предтестовых заданий часть из них придётся из предтеста исключить. Поэтому первоначальное число заданий должно быть в 1,5–3 раза больше окончательного, т.е. 45–90. Далее это количество заданий распределяется по конкретным темам дисциплины с учётом учебного плана последней.
Скачать реферат