Методология построения системы управления качеством в университетском комплексе

После разработки плана и спецификации теста приступают к разработке предтестовых заданий. Учитывая необходимость дальнейшей экспертизы заданий и предтеста в целом, форму используемых предтестовых заданий желательно выбирать одинаковой в пределах одного предтеста. Как показывает опыт проведения централизованного тестирования и единого государственного экзамена (ЕГЭ), на первых этапах работы с

предтестами предпочтительно использовать предтестовые задания закрытой формы с числом вариантов ответов не менее 4. Меньшее число вариантов ответов приводит к возрастанию вероятности угадывания правильного ответа. Создание заданий с большим числом ответов проблематично из-за трудности выполнения требования одинаковой правдоподобности отвлекающих ответов. При создании предтестовых заданий необходимо обеспечить выполнение предъявляемых к ним требований. Принципы конструирования заданий выбираются исходя из удобства отображения содержания элемента дисциплины в задание и эффективности его использования для контроля подготовленности студентов.

6.5 Критерии качества теста

Прежде чем перейти к экспериментальной проверке сконструированного предтеста, необходимо тщательно оценить качество его содержания. Как отмечалось ранее, успех в создании профессионального теста существенно зависит от качества материалов, отобранных на ранних стадиях разработки. Поэтому необходимо проверить соответствие полученного предтеста существующим критериям качества.

Первым из таких критериев является соответствие содержания теста сформулированным целям(и) его создания. Например, первые три теста являются рубежными и предназначены для проверки усвоения студентами содержания трёх модулей дисциплины «Основы теории цепей». Поэтому эти тесты являются содержательно-ориентированными и состоят из заданий, ориентированных на проверку содержания. Четвёртый тест этой же работы предназначен для проведения итоговой государственной аттестации ОП по дисциплине «Основы теории цепей». Он является критериально-ориентированным и применяется для проверки соответствия уровня усвоения материала дисциплины требованиям ГОС.

Второй критерий – полнота отображения материала дисциплины, которая оценивается на основании её программы. Необходимость оценки полноты связана с тем, что обычно содержание предтеста значительно уже, чем это предусмотрено соответствующей программой. Невозможно включить в предтест все вопросы программы, поскольку число предтестовых заданий ограничено. В то же время, чем полнее содержание предтеста, тем выше его содержательная валидность и тем больше уверенность в оценке знаний тестируемых, полученной с его помощью.

Третьим критерием качества является правильность пропорций содержания теста. Необходимо убедиться в том, что задания предтеста охватывают все важные аспекты предметной области и в правильной пропорции. Смещение пропорций может произойти, например, из-за того, что предтест легко перегрузить теми разделами содержания, по которым легче составить задания. Для исключения этого необходимо ещё раз оценить соответствие содержания заданий плану теста после окончания процесса их создания.

Четвёртый критерий – соответствие содержания тестовых заданий уровням знаний, планируемым в спецификации теста. При этом проверяется соответствие контролируемых заданиями предтеста знаний требованиям к уровню основных знаний и умений, предусмотренных ГОС. Фактически разработчик предтеста конкретизирует требования ГОС в отношении тех элементов содержания, которые проверяются предтестовыми заданиями. При этом необходимо провести анализ всех элементов содержания с целью ранжирования их по степени значимости.

Пятый критерий предполагает оценку определённости и предметной чистоты измеряемого элемента содержания. С помощью задания лучше проверить один конкретный элемент знаний. Попытка сделать это сразу для нескольких элементов знаний, как правило, отрицательно сказывается на качестве заданий и всего предтеста. Другой причиной неопределённости в измерении знания элемента содержания является двусмысленность формулировок, порождающая несколько правильных ответов.

Шестой критерий рассчитан на оценку значимости содержания каждого задания теста. Этот критерий указывает на необходимость включения в предтест только тех элементов содержания, которые являются наиболее важными, ключевыми. Такие элементы, ввиду их важности, называются структурными элементами знания. Правильное выполнение заданий предтеста, содержащих опорные, структурные элементы содержания, позволяет судить о знании предмета в целом. Включение в предтест второстепенных элементов содержания может привести к неоправданным выводам о знании или незнании содержания предмета.

6.6 Отбор тестовых заданий с помощью математических моделей теории моделирования и параметризации педагогических тестов

С помощью классической теории тестов можно провести первичный отбор предтестовых заданий. Более точно оценить параметры заданий и, следовательно, обосновать их отбор в предтест позволяет использование теории моделирования и параметризации педагогических тестов (ТМППТ), которая на Западе получила название теории IRT. Для этого созданы и с успехом используются различные программно-инструментальные средства, в основу которых положена однопараметрическая модель Г. Раша ТМППТ. Универсальным среди них является диалоговая система RUMM 2020, созданная в Мердокском университете (Австралия). Она позволяет рассчитать значения латентных переменных (трудность заданий и уровень подготовленности тестируемых в логитах) независимо от типа и формы используемых в тесте заданий, оценить статистические параметры и соответствие характеристических кривых заданий модели измерения, оценить качество отвлекающих ответов. Среди отечественных программно-инструментальных средств следует отметить программу R-Latent, созданную сотрудниками исследовательского центра проблем качества подготовки специалистов и ведущими тестологами страны, программный комплекс RILP-1, разработанный в Южно-Российском государственном университете экономики и сервиса. Параметры и характеристики тестовых заданий и тестов были рассчитаны автором, в основном, с использованием этих средств. Они позволяют получить основные статистические параметры, характеризующие уровень знаний тестируемых и трудность тестовых заданий. С их помощью строятся гистограммы распределения индивидуальных баллов Xi тестируемых и Yj заданий, вычисляются оценки средних значений*, *, стандартных отклонений sх*, sY*, асимметрии tx*, tY* и эксцессов gx*, gY*, позволяющие оценить близость закона плотности распределения величин Xi и Yj к нормальному. Кроме того, рассчитываются и строятся индивидуальные кривые участников тестирования и характеристические кривые заданий теста [2], рассчитываются оценки уровня знаний qi* и трудности заданий βј*, погрешности их вычислений. Строятся информационные функции заданий и всего теста в целом, позволяющие оценить валидность заданий и теста по отношению к контингенту тестируемых и к выбранным критериям оценки, определяются оценки коэффициентов корреляции задания с заданием и задания с индивидуальной суммой баллов (бисериальный коэффициент), которые необходимы при оценке системообразующих свойств заданий и надёжности теста. Все расчёты производятся на основе матрицы результатов тестирования [29, 37], которая формируется из полученных эмпирических данных. Правильному выполнению задания теста в этой матрице соответствует единица, неправильному – ноль.

 Скачать реферат