Методология построения системы управления качеством в университетском комплексе
Порядок анализа результатов тестирования и расчёта латентных переменных предтестовых заданий и тестируемых с помощью программных средств R-Latent или RILP-1 следующий.
1) Из предтеста удаляют те задания, на которые ответили все участники тестирования или не ответил никто. Параметры таких заданий не могут быть рассчитаны с помощью данных программных средств. О наличии в предтесте подобных за
даний сообщается при представлении данных обработки матрицы результатов тестирования, причём, из обработки эти задания исключаются автоматически. При этом необходимо учитывать, что в некоторых программах (например, R-Latent) после исключения заданий может произойти изменение нумерации оставшихся заданий, которые первоначально были расположены после удалённых.
2) По оценкам средних значений количества правильных ответов на задания 
*, индивидуального балла тестируемых 
*, оценкам величин стандартных отклонений sх*, sy*, оценкам значений ассиметрии tx*, ty* и эксцесса gx*, gy*, гистограммам распределения величин Xi и Yj оценивают соответствие законов плотности распределения этих величин нормальному. Чем ближе эти законы к нормальному, тем выше достоверность получаемой при обработке информации. О соответствии законов распределения нормальному можно судить по величинам tx*, ty* и gx*, gy*. Кроме того, для этих целей можно использовать также приближённое равенство между оценками среднего значения случайной величины * и её стандартного отклонения sх*: * ≈ 3sх*.
3) Анализируют матрицу оценок коэффициентов корреляции каждого предтестового задания с индивидуальной суммой баллов тестируемых. Удалению из предтеста подлежат те задания, для которых этот коэффициент ниже 0,2.
4) Анализируют матрицу оценок коэффициентов корреляции rij* заданий друг с другом. В предтесте рекомендуется оставлять те задания, для которых значения оценок этих коэффициентов составляют от 0,1 до 0, Оценки коэффициента rij* не должны быть отрицательными. Выявление предтестовых заданий, которые могут быть удалены из предтеста по данным критериям, рекомендуется начинать с тщательного анализа величины суммарных значений rij* по тем заданиям, по которым она наименьшая. При этом необходимо учитывать, насколько родственными являются темы или разделы дисциплины, которые представляют рассматриваемые задания. Очевидно, не имеет смысла удалять задание из предтеста по причине малости значения rij*, если темы не являются хотя бы родственными или близкими по содержанию.
5) Анализируют матрицу результатов тестирования на состоятельность и выявляют несостоятельные предтестовые задания и несостоятельных участников тестирования. Причём, важно как можно точнее выявить, чем обусловлена несостоятельность результатов: несостоятельностью отдельных предтестовых заданий или несостоятельностью некоторых тестируемых. Присутствие в предтесте несостоятельных заданий снижает его надёжность и искажает информацию о знаниях участников тестирования. Учёт при анализе результатов тестирования несостоятельных испытуемых искажает информацию о качестве предтеста и входящих в него заданий. Для получения информации о несостоятельности тестовых заданий и тестируемых используют упорядоченную матрицу результатов тестирования (матрицу Гутмана) [37]. В отличие от исходной матрицы тестовых результатов в упорядоченной матрице участники тестирования расположены в порядке возрастания индивидуального балла Хi, а тестовые задания – в порядке убывания количества правильных ответов Yj. В результате верхняя правая часть матрицы оказывается заполненной нулями, а нижняя левая часть – единицами. Процесс выявления несостоятельности заданий и тестируемых поясняется приведённым ниже примером [17].
В таблице 8 представлена упорядоченная матрица тестовых результатов для десяти заданий предтеста и десяти участников тестирования. Внимательный осмотр элементов матрицы позволяет выделить несколько случаев явной несостоятельности тестовых результатов. Они подчёркнуты в таблице 8. Первый случай связан с неудачной попыткой десятого тестируемого ответить на третье задание.
Таблица 8. Упорядоченная матрица результатов тестирования
|
Испытуемые |
Номер задания в тесте |
Индивид. балл xi | |||||||||
|
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
10 | ||
|
1 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
1 |
0 |
0 |
1 |
|
2 |
1 |
1 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
2 |
|
3 |
1 |
1 |
1 |
0 |
0 |
0 |
0 |
0 |
0 |
0 |
3 |
|
4 |
1 |
0 |
1 |
0 |
1 |
1 |
0 |
0 |
0 |
0 |
4 |
|
5 |
1 |
1 |
1 |
1 |
0 |
0 |
0 |
0 |
0 |
0 |
4 |
|
6 |
1 |
1 |
1 |
1 |
0 |
0 |
0 |
0 |
0 |
0 |
4 |
|
7 |
1 |
1 |
1 |
1 |
1 |
0 |
1 |
0 |
0 |
0 |
6 |
|
8 |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
0 |
0 |
0 |
7 |
|
9 |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
0 |
9 |
|
10 |
1 |
1 |
0 |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
9 |
|
Кол-во. прав. ответов yj |
9 |
8 |
7 |
6 |
5 |
4 |
4 |
3 |
2 |
1 | |
Скачать реферат