Методология построения системы управления качеством в университетском комплексе
Учитывая правильные ответы этого тестируемого на все последующие задания и характер устойчивого распределения единичек в левой части таблицы, можно считать, что полученный ноль является, скорее всего, результатом случайной ошибки или недосмотра. Хотя не исключён и случай ошибки в формулировке задания, в результате чего допускается его двусмысленное толкование хорошо подготовленными студентами
. Поэтому рекомендуется внимательно проверить содержательную часть третьего задания. Явно алогичен случай успешного ответа первого испытуемого на восьмое задание предтеста: вряд ли студент, не сумевший правильно ответить ни на одно из заданий, в том числе и более лёгких, сможет справиться с таким трудным заданием, каким является восьмое. Вот почему полученная им единичка является, скорее всего, результатом угадывания, списывания или других форм искажения данных. На этот же вывод наталкивает анализ ответов по восьмому столбцу, где есть всего две единицы в нижней части таблицы, полученные сильными студентами. Поэтому первого участника тестирования можно смело отнести к несостоятельному, и исключить его эмпирические данные из матрицы результатов тестирования. Представляет интерес анализ результатов четвёртого тестируемого. Для него характерна несостоятельность в ответах на лёгкие и трудные задания, причины которой целесообразно выяснить в процессе непосредственного общения с этим студентом. О том, что здесь имеет место несостоятельность тестируемого, а не заданий, свидетельствует распределение результатов остальных участников тестирования по пятому и шестому заданиям. Поэтому и тестируемого под номером четыре можно исключить из матрицы результатов тестирования.
О явной несостоятельности предтестовых заданий свидетельствует наличие неверных ответов на них у сильных студентов, которые на более трудные задания предтеста ответили правильно. Такие задания из дальнейшей обработки должны быть исключены.
В программе R-Latent предусмотрен автоматический анализ профилей ответов тестируемых в матрице Гутмана, обнаружение ошибок в профилях ответов и выявление на их основе заданий и тестируемых, не соответствующих принятой модели измерения (модели Раша). На основе анализа ошибок оцениваются эффективность заданий и адекватность участников тестирования, исходя из которых программой отбираются те задания и тестируемые, которые должны быть удалены из матрицы результатов тестирования из-за несоответствия принятой модели измерения.
При выполнении процедуры выявления несостоятельности заданий и тестируемых необходимо помнить, что число исключаемых из матрицы несостоятельных студентов не должно превышать 5 % от общего количества участников тестирования [17]. В противном случае это может привести к искусственному завышению качества предтестовых заданий.
6) Матрицу результатов тестирования, из которой удалены несостоятельные задания и несостоятельные испытуемые, снова обрабатывают программными средствами R-Latent или RILP-1. Проводят анализ результатов обработки. После этого переходят к анализу оценок трудности b* предтестовых заданий. Для этого используются таблица начальных значений оценок трудности заданий в логитах и характеристические кривые заданий, каждая из которых представляет собой зависимость условной вероятности Pj правильного ответа тестируемых на j-е задание предтеста от их уровня знаний q. Из всех заданий предтеста необходимо оставить те, уровень трудности которых b попадает в интервал от -2 до 0,85 логит. Если разрабатывается критериально-ориентированный предтест, то трудность основной части заданий должна находиться в интервале от -0,85 до -0,4 логит. Если же предтест ориентирован на проверку содержательной части дисциплины, то трудность основной части заданий необходимо выбирать в диапазоне от -0,4 до 0 логит. Внутри этих интервалов характеристические кривые должны быть расположены или равномерно, или (что предпочтительнее) основная их часть должна располагаться вблизи пороговых значений -0,85 логит (для КОТ) и -0,4 логит (для СОТ). Лёгкие задания нужно стараться равномерно распределить в интервале от -2 логит до -0,85 логит, трудные – в интервале от -2 логит до -0,4 логит. Если характеристические кривые лёгких или трудных заданий совпадают (задания имеют одинаковую трудность), то вопрос об их оставлении в предтесте решается исходя из его плана. Если предтестовые задания представляют разные темы (разделы) дисциплины, то, очевидно, их в предтесте необходимо оставить. Если одинаковую трудность имеют два или более предтестовых заданий, относящихся к одной теме, то решение об их удалении принимается на основе спецификации теста. Изменение положения характеристической кривой на оси латентной переменной q, если это требуется сделать, достигается за счёт изменения трудности предтестового задания путём его соответствующей переработки.
Из одинаковых по трудности и тематическому содержанию заданий в предтесте необходимо оставлять те, у которых больше крутизна (дифференцирующая способность) [2]. Однако этот критерий рекомендуется использовать на более поздних стадиях работы с тестами, поэтому при работе с предтестами его не стоит принимать во внимание.
7) Анализируются информационные кривые предтестовых заданий и определяется интервал уровня знаний Δqј, в котором каждое из них работает. Если информационная кривая задания существенно выходит за рамки выбранного интервала, то, как правило, такие задания из предтеста удаляются. Исключение составляют случаи, когда задание должно быть оставлено в предтесте независимо от его трудности.
8) Анализируют информационную функцию предтеста. Она должна представлять собой плавную колоколообразную кривую, охватывающую интервал, в котором измеряется уровень знаний участников тестирования. Только в этом случае предтест будет давать максимум информации о знаниях в пределах выбранного диапазона и может быть использован для проверки подготовленности участников тестирования. Если в информационной кривой имеются провалы, то в предтест необходимо добавить задания, трудность которых соответствует интервалу изменения значений q, для которых эти провалы наблюдаются. Добавление таких заданий приведёт к выравниванию информационной кривой предтеста.
9) После завершения процедуры анализа и чистки предтеста сверяют оставшиеся задания с его планом и спецификацией. При необходимости перерабатывают их и добавляют в предтест новые задания.
10) Проверяют скорректированный предтест на новой выборке тестируемых и обрабатывают полученные при этом эмпирические данные, как это описано выше.
6.7 Надёжность, валидность и разрешающая способность гомогенного теста
Важнейшими показателями, характеризующими качество разработанного теста, являются надёжность, которая определяется как степень точности измерения уровня знаний тестируемых, валидность и разрешающая способность. Они определяются, как правило, после неоднократной экспериментальной проверки предтеста, его доработки, в результате которой он превращается в тест. Более того, для их определения проводится специальная апробация предтеста. Не останавливаясь подробно на методах расчёта параметров, характеризующих названные показатели, ограничимся их определениями, заимствованными из работы [33].
Скачать реферат