Методология построения системы управления качеством в университетском комплексе

Надёжность теста – показатель сходимости и устойчивости результатов тестирования в одинаково подготовленных группах тести-руемых.

Высокая надёжность теста обеспечивается, прежде всего, высокой однородностью содержания заданий, которые отбираются в тест. Содержание таких заданий направлено на измерение какой-то одной характеристики обучаемого, например, его подготовленности по предмету. Но,

стремясь к однородности содержания заданий при создании гомогенного теста, необходимо помнить о недопустимости нарушения правильности пропорций представления содержательных элементов. Вторым важным фактором, влияющим на надёжность теста, является его длина. Чем больше заданий содержится в тесте, тем выше его надёжность. Однако чрезмерное увеличение длины теста приведёт к неоправданному возрастанию длительности тестирования, из-за чего возрастёт утомляемость участников тестирования и, как следствие этого, ошибка измерения. Поэтому длину теста необходимо выбирать оптимальной. По данным международных сравнительных исследований (IAEP, TIMSS) для выполнения заданий с выбором ответа из четырёх-пяти рекомендуется отводить до одной минуты, с кратким дополняемым ответом – в среднем, до 2 минут, с полным свободно конструируемым ответом – до 5 минут. Исходя из этого, можно заключить, что число заданий с выбором ответа в тесте длительностью 90 минут должно быть, в среднем, порядка 50. Приемлемую надёжность теста нельзя обеспечить, если число заданий в нём меньше 30 [19]. При оценке надёжности теста очень важно иметь адекватную выборку тестируемых. Прежде всего, нужно обеспечить необходимый объём выборки. Чем она больше, тем выше надёжность теста. По мнению Гилфорда [9], при оценке надёжности теста минимальный объём выборки должен составлять не менее 200 участников тестирования. Ньюнелли [4] считает, что их должно быть не менее 300. Наряду с объёмом выборки важное значение имеет её состав. Большая, но неверно подобранная по составу выборка может дать искажённые представления о надёжности теста. Чтобы этого не произошло, выборка тестируемых должна полностью отражать разнообразие параметров, присущих генеральной совокупности тестируемых.

Коэффициент надёжности теста – количественная характеристика надёжности педагогического теста, изменяющаяся от нуля до единицы и показывающая меру реального результата тестирования и меру влияния на этот результат случайных ошибок.

Коэффициент надёжности представляет собой отношение дисперсии результатов тестирования в выборке тестируемых, как правило, дисперсии истинных баллов тестируемых к реально полученной полной дисперсии, включающей ошибки тестирования, как правило, дисперсии тестовых баллов тестируемых.

Существуют различные методы оценки надёжности теста по результатам его эмпирической проверки, которые описаны в соответствующей литературе.

Вторым важным показателем качества теста является его валидность.

Валидность теста – комплексная характеристика, отражающая способность теста служить той цели, для которой он создавался. Различают несколько видов валидности теста. Важнейшим из них является содержательная валидность.

Содержательная валидность теста – характеристика, выражающая показатель полноты охвата его тестовыми заданиями той области знания, учебные достижения тестируемых в которой этот тест оценивает. Это основной вид валидности для тестов достижений, когда должен быть точно определён материал учебной дисциплины, который необходимо отразить в содержание теста, и когда существует достаточная ясность смысла измеряемого параметра. Тест считается валидным по отношению к контролируемому содержанию учебной дисциплины, если он позволяет проверить всё то, что указано в его плане и спецификации. Для КОТ и СОТ содержательная валидность выражает фактически второй из перечисленных выше критериев качества теста. Для повышения содержательной валидности в тест лучше включать задания с низкими значениями коэффициента взаимной корреляции, поскольку при прочих равных условиях в этом случае повышается полнота охвата содержания учебной дисциплины. Но чрезмерное перенасыщение теста такими заданиями неминуемо приведёт к снижению его надёжности, поскольку обеспечение высокой надёжности теста связано с отбором заданий, имеющих большие значения коэффициентов взаимной корреляции [1]. Для разрешения этого противоречия необходимо стремиться к повышению надёжности гомогенного теста в разумных пределах. По мнению авторов работы [9] максимум содержательной валидности достигается тогда, когда все задания слабо, но положительно коррелируют друг с другом, но каждое из них имеет высокую корреляцию с критерием по тесту. Поэтому для повышения валидности в тест необходимо включать задания с большими значениями бисериального коэффициента корреляции с индивидуальной суммой баллов тестируемых. Обычно на практике значения коэффициента интеркорреляции рекомендуется выбирать в интервале от 0,15 до 0,3, а значения бисериального коэффициента корреляции с индивидуальной суммой баллов тестируемых – в пределах от 0,5 до 0,8 [7].

Для оценки валидности теста обычно используют корреляцию между показателями теста и некоторым внешним критерием, в качестве которого используются оценки экспертов [9].

Другим важным типом валидности является критериальная валидность.

Критериальная валидность теста – характеристика, отражающая его возможность несмещённо сопоставлять результаты тестирования с установленным внешним критерием, характеризующим объект измерения. Фактически критериальная валидность теста характеризует четвёртый из названных выше критериев качества теста. Суть её заключается в определении способности служить индикатором или прогнозировать достижение строго определённого критерия, например, уровня требований ГОС.

Содержательная валидность в обязательном порядке оценивается для содержательно-ориентированных тестов. Для критериально-ориентирован-ных тестов оценивается и содержательная, и критериальная валидность.

7. Исследование методологических подходов к оценке результативности и эффективности функционирования системы управления качеством в университетском комплексе

Как известно, система менеджмента качества является частью системы управления организации, ориентированной на достижение результатов, определяемых политикой в области качества и удовлетворенности внутренних и внешних потребителей. Понятие качества образовательной услуги с позиций его соответствия требованиям потребителя сложилось именно в условиях рыночной экономики.

Идея такого подхода к определению качества продукции принадлежит голландскими ученым Дж. Ван Этингеру и Дж. Ситтигу. Ими разработана специальная область науки – квалиметрия. Квалиметрия – наука о способах измерения и квантификации показателей качества. Квалиметрия позволяет давать количественные оценки качественным характеристикам как товара, так и услуги. Квалиметрия исходит из того, что качество зависти от большого числа свойств рассматриваемого продукта. Для того чтобы судить о качестве продукта, недостаточно только данных о его свойствах. Нужно учитывать и условия, в которых продукт будет использован. По мнению Дж. Ван Этингера и Дж. Ситтига, качество может быть выражено цифровыми значениями, если потребитель в состоянии группировать свойства в порядке их важности. Они считали, что качество – величина измеримая и, следовательно, несоответствие продукта предъявляемым к нему требованиям может быть выражено через какую-либо постоянную меру, которой обычно являются деньги [42, 43, 45].

 Скачать реферат