Методология построения системы управления качеством в университетском комплексе

СОДЕРЖАНИЕ

Введение

1. Общие методологические положения управления качеством

2. Обеспечение управления качеством в университетском комплексе многоуровневого образования инновационного типа

3. Разработка документации СМК

3.1 Особенности документирования СМК Высшего колледжа экономики и сервиса (ВКЭС), интегрированного в ЮРГУЭС

3.2 Особенности документирования СМК Профессионального лицея экономики и сервиса (ПЛЭС), интегрированного в ЮРГУЭС

3.3 Матричное описание процессов ВКЭС и ПЛЭС

4. Информационное сопровождение системы менеджмента качества

4.1 Использование ИТ технологий для описания процессов при создании системы менеджмента качества

4.2 Мониторинг образовательной услуги (контроль подготовки в рамках факультета)

5. Оценка результатов образовательного процесса на основе тестовых технологий

6. Методики разработки контрольно-измерительных материалов

6.1 Краткие сведения о формах тестовых заданий

6.2 Технология конструирования предтеста

6.3 Определение целей тестирования и анализ содержания учебной дисциплины

6.4 План и спецификация теста

6.5 Критерии качества теста

6.6 Отбор тестовых заданий с помощью математических моделей теории моделирования и параметризации педагогических тестов

6.7 Надежность, валидность и разрешающая способность

гомогенного теста

7. Исследование методологических подходов к оценке результативности и эффективности функционирования системы управления качеством в университетском комплексе

7.1 Применение метода комплексной оценки товарной системы (МКОТС) для определения критерия суммарной удовлетворенности образовательной услугой

7.2 Оценка результативности и эффективности функционирования системы управления качеством в университетском комплексе

Выводы и рекомендации

Библиографический список

управление качество образование университетское

Введение

Основная особенность развития рынка образовательных услуг сегодня – это подвижная внешняя среда, содержащая множество неуправляемых или слабо управляемых факторов. В этих условиях учебные заведения концентрируют несколько взаимосвязанных направлений, таких, например, как довузовская подготовка, профессиональное образование всех уровней, дополнительное образование, послевузовское образование, дистанционное образование.

Можно выделить критических условий, обеспечивающих полноценное развитие многоуровневого университетского комплекса. Во-первых, это ориентация на потребности, ценности и предпочтения реальных и потенциальных учащихся, а также муниципальных образований и субъектов производственно-хозяйственной деятельности, являющихся основными заказчиками профессионального образования. Основой для такой ориентации могут служить аналитические данные об исследованиях рынка трудовых ресурсов. Во-вторых, необходимы не просто долгосрочные, а стратегические планы развития вузов, в которых общие цели и задачи намечаются исходя из сравнения возможных перспектив, установления приоритетов и соответствующего распределения ресурсов между различными видами деятельности. Следующим шагом должна являться кардинальная реструктуризация самих субъектов образования.

Все три перечисленных условия последовательно дополняют друг друга, но ключевым здесь является условие выбора оптимальной стратегии будущего развития. Из всех имеющихся вариантов стратегий российские вузы, как правило, ориентируются на стратегии интенсивного, интеграционного или диверсификационного роста. При этом каждый вуз должен создавать стратегические планы развития, ориентируясь не только на внешнее окружение, но и на внутренние переменные, такие как накопленный опыт, традиции, собственный кадровый, творческий, научный потенциал.

Наличие в вузе хорошо отработанной системы менеджмента качества (СМК) можно считать идеальной основой для поиска ответов на те вопросы, с которыми ей придется сталкиваться в будущем. Менеджмент качества в современном понимании позволяет преодолевать возникающие трудности и препятствия посредством непрерывного совершенствования организации, предугадывая и предупреждая возможные кризисные ситуации.

1. Общие методологические положения управления качеством

СМК представляет собой совокупность организационной структуры, делегирования полномочий и ответственности, процедур, процессов и ресурсов, создаваемых в учебном заведении для достижения целей в области качества.

Методологические подходы современного менеджмента качества:

– на основе принципов Всеобщего менеджмента качества (Total Quality Management);

– на основе требований и рекомендаций международных стандартов серии ИСО 9000:2000;

– на основе критериев модели Европейского фонда по менеджменту качества (EFQM), так называемые Модели совершенства (в т.ч. «Внутривузовские системы обеспечения подготовки специалистов» Минобразования РФ).

Под Системой менеджмента качества понимается система для разработки политики, целей в области качества и достижение этих целей. Основными принципами менеджмента качества являются:

Ориентация на потребителя. Деятельность любой организации, в том числе и вуза, зависит от её потребителей, поэтому организация должна понимать текущие и будущие нужды потребителя, выполнять его требования и стремиться превзойти его ожидания. Потребителями вуза являются: государство, удовлетворяющее свои потребности в квалифицированных работниках и стабильности общества; субъекты хозяйственной деятельности, удовлетворяющие потребности в воспроизводстве основной производительной силы и обеспечении бизнес-процессов; студенты и их семьи, удовлетворяющие потребности в новых знаниях и навыках с целью получения материального благополучия, обеспечения самосовершенствования, повышения общественного статуса, формирования межличностной среды; общество в целом и другие заинтересованные стороны.

Лидерство руководства. Руководители высшего звена (ректор, деканы) своим личным примером должны демонстрировать приверженность качеству. Руководство должно заботиться об обучении персонала по вопросам качества, а также обеспечивать необходимыми ресурсами решение задач качества. Реализация этого принципа требует определения руководством организации долгосрочной политики и миссии по вопросам качества и трансформации этой политики в измеряемые цели и задачи.

Вовлечение сотрудников. Система качества организации (вуза) и её механизмы должны побуждать сотрудников проявлять инициативу в постоянном улучшении качества деятельности организации, брать на себя ответственность в решении проблем качества, представлять свою организацию потребителям и всем заинтересованным сторонам в лучшем виде.

Процессный подход. Стандарт ISO 9001:2000 предполагает алгоритмический подход к проектированию системы качества как совокупности взаимосвязанных процессов, при этом для каждого процесса должны быть обеспечены следующие основные характеристики: входы и выходы (результаты) процесса четко определяются и измеряются; определяются потребители каждого процесса, идентифицируются их требования и изучается их удовлетворенность результатами процесса; устанавливается их взаимодействие с другими процессами; устанавливаются полномочия, права и ответственность за управление процессом; при проектировании процесса определяется его ресурсное обеспечение.

Системный подход к менеджменту. Принцип системного подхода тесно связан с предыдущим принципом и с представлением о системе менеджмента качества как о совокупности взаимосвязанных процессов.Системный подход – методология познания и практики, в которой объект рассматривается как система. Система – это сеть взаимосвязанных элементов внутри рассматриваемого объекта, которые работают совместно для достижения цели, стоящей перед объектом. Цель функционирования системы должна быть известна каждому, имеющему к ней отношение, и быть единой для всех. Без общей цели система не может существовать.

Постоянное улучшение. Постоянное улучшение деятельности организации (вуза) следует рассматривать как её неизменную цель. Качество образования связано с общим развитием и улучшением научно-образова-тельно-производственного потенциала вуза, а поэтому особое внимание должно уделяться формированию инновационной среды образовательных процессов с целью создания образовательных услуг с новым конкурентоспособным качеством.

Принятие решений, основанное на фактах и данных. Этот принцип является альтернативой обычно применяемого на практике способа принятия решений на основе интуиции и прошлого опыта. Реализация принципа требует, прежде всего, измерения и сбора достоверных и точных данных, относящихся к поставленной задаче. Качество подготовки специалиста должно быть измерено, причем государственные образовательные стандарты не дают основы для построения квалиметрической системы вуза. Поэтому создание нормативно-методической базы для оценки эффективности процесса обучения, уровней обученности, среды обучения является важнейшей задачей вуза в деле обеспечения качества подготовки специалистов.

Взаимовыгодные отношения с партнерами (поставщиками). Реализация этого принципа требует четких и открытых связей и отношений, обмена информацией и планов на будущее между организацией и потребителем. Актуальность этого принципа подтверждается усиливающимися тенденциями к развитию вуза как единого учебно-научно-производственного комплекса, имеющего тесные связи с внешней бизнес-средой. При этом повышение конкурентоспособности вуза связано с его способностью удовлетворять имеющиеся и предполагаемые требования потребителей, изучение которых должно стать выделенным направлением деятельности в системе менеджмента качества. Основой процесса изучения потребностей является активный маркетинг качества.

Эти принципы должны быть отражены в Политике в области качества.

Стержневой проблемой модернизации образования в России является создание эффективной системы управления качеством образования. Основная цель построения системы менеджмента качества любого вуза – обеспечение его высокой конкурентоспособности на внутреннем и внешнем рынках образовательных услуг за счет высокого качества образовательного процесса подготовки специалистов.

Для того чтобы стратегическое управление в многоуровневом университетском комплексе оказалось успешным, необходимо:

– принимать проектную организацию работы, причем создаваемые команды должны охватывать максимально большее число заинтересованных в изменениях сторон;

– учитывать, что организационные изменения могут быть достигнуты только через людей, и поэтому управление изменениями должно учитывать эмоциональные потребности сотрудников;

– учитывать, что организационные изменения требуют времени и соответствующих ресурсов и поэтому их результаты могут оказаться не слишком быстрыми;

– учитывать, что организационные изменения требуют выработки соответствующих навыков и обучения;

– наделять сотрудников полномочиями для внедрения организационных изменений;

– выработать систему поощрений, стимулирующей и мотивирующей требуемое поведение сотрудников, обеспечивать необходимое доверие к руководству, осуществляющему управление изменениями.

Менеджмент качества – это скоординированная деятельность по руководству и управлению организацией применительно к качеству.

Менеджмент качества – это комплексное понятие, которое включает пять составляющих:

– политика в области качества, где устанавливаются цели задачи как стратегические, так и оперативные;

– планирование качества строится на тщательном изучении потребностей и нужд потребителей. Планирование качества включает мероприятия по планированию качества образовательных услуг, научной продукции и процессов, управленческой, основной и вспомогательной деятельности, подготовку плана по качеству;

– управление качеством – это деятельность оперативного характера, направленная на выполнение требований к качеству, исключение несоответствий и проблем, связанных с плохим качеством;

– обеспечение качества заключается в принятии системных мер для создания у потребителя и руководства вуза уверенности в том, что все требования к качеству будут выполнены;

– улучшение качества – очень важная часть СМК с точки зрения постоянного стремления к совершенству.

Стратегическими целями университетского комплекса ЮРГУЭС в области качества являются:

Глобальная – профессионализм выпускников через инновации в образовании – перспективные идеи в науке и практике – сильный Южный федеральный округ – сильная Россия.

Управленческая – достижение роли ведущего отраслевого вуза, являющегося образовательным, научным и культурным центром (многоуровневым университетским комплексом) по подготовке научных и научно-педагогических кадров, повышению квалификации, профессиональной подготовке и переподготовке для сферы сервиса, легкой промышленности и малого бизнеса. Демократизация управления на основе внедрения СМК, создание корпоративной культуры и формирование коллектива единомышленников для обеспечения динамичного развития университета и его вхождения в мировое образовательное пространство.

Учебная – обеспечение системного влияния на развитие образования, науки и социально-культурной сферы на основе внедрения новых педагогических и информационных технологий, научно-исследовательской, инновационной деятельности и роста профессионализма. Формирование гражданственности, духовности, патриотизма и культуры личности.

Экономическая – всемерное удовлетворение потребностей Южного федерального округа России в подготовке высококвалифицированных специалистов длясферы сервиса, легкой промышленности, малого бизнеса и других отраслей материального и нематериального производства.

Научная – осуществление фундаментальных и прикладных исследований на основе роста научной квалификации, стремления внести собственный вклад в развитие лучших мировых традиций в образование и науку.

Маркетинговая – обеспечение социально-перспективных потребностей общества в подготовке специалистов начального, среднего и высшего профессионального образования на основе маркетинговых исследований.

На основе анализа внешней и внутренней среды выявляются факторы, определяющие конкурентоспособность учебного заведения на рынке образовательных услуг: уровень цен обучения, имидж вуза на региональном, федеральном и международном рынке, квалификация профессорско-преподавательского состава и т.д. Вырабатываются направления деятельности для укрепления своих конкурентных позиций на рынке образовательных услуг, а именно: повышение известности многоуровневого университетского комплекса ЮРГУЭС среди потенциальных потребителей образовательных услуг посредством повышения эффективности маркетинговых коммуникаций в целом и активной PR-деятельности, в частности:

– выход на новые сегменты рынка, в том числе международные;

– открытие новых специальностей, диссертационных советов;

– применение в учебной и научной деятельности IT-технологии и инновационных технологий и т.д.

Эти положения легли в основу стратегии развития университетского комплекса.

2. Обеспечение управления качеством в университетском комплексе многоуровневого образования инновационного типа

Подход к разработке и внедрению системы менеджмента качества состоит из нескольких ступеней, включающих:

– установление потребностей и ожиданий потребителей и других заинтересованных сторон;

– разработку политики и целей организации в области качества;

– установление процессов и ответственности, необходимых для достижения целей в области качества;

– установление и определение необходимых ресурсов и обеспечение ими для достижения целей в области качества;

– выбор (показателей) и разработку методов для измерения результативности и эффективности каждого процесса;

– применение данных этих измерений для определения результа-тивности и эффективности каждого процесса;

– определение средств, необходимых для предупреждения несоответствий и устранения их причин;

– разработку и применение процедур для постоянного улучшения всех процессов и системы менеджмента качества в целом.

Создание системы менеджмента качества в вузе по стандартам серии ISO 9000:2000 ориентируется на достижение следующих основных целей:

– получение сертификата на соответствие системы менеджмента качества требованиям международного стандарта ISO 9001:2000 (ГОСТ Р ИСО 9001–2001) [13];

– подтверждение способности организации (вуза) гарантировать стабильность обеспечения качества своей продукции и/или услуг;

– повышение конкурентоспособности и эффективности работы университетского комплекса.

В соответствии с требованиями МС ИСО 9001:2000 (п. 4.1 Общие положения), университетский комплекс определяет процессы, необходимые для функционирования СМК: процессы управленческой деятельности руководства, обеспечения ресурсами, процессы жизненного цикла образовательных услуг, научной и другой продукции, контроль и анализ процессов.

Для наглядного представления взаимосвязи между процессами и участниками процессов построена Карта процессов СМК ЮРГУЭС. Для ее построения была выполнена идентификация процессов в соответствии с рекомендациями МС ИСО 9001:2001, выявлены наиболее значимые процессы, установлена связь между процессами. Выделены группы процессов в виде блоков: процессы управленческой деятельности руководства; основные процессы, включающие в себя образовательный и научно-иссле-довательский процесс; вспомогательные и обеспечивающие процессы. Карта процессов полностью независима и отделяема от конкретных разработчиков, не требует сопровождения его создателями и может быть безболезненно передана другим лицам.

Созданная карта процессов представляет собой практический результат, имеющий значение, в частности:

– для предварительного моделирования нового направления деятельности с целью выявления новых потоков данных, взаимодействующих процессов;

– карта показывает взаимосвязи между процессами и участниками процесса.

При этом под обобщенной картой процессов понимается графическое описание совокупности процессов ОУ, позволяющее определить их укрупненную классификацию, последовательность, точки пересечения и взаимодействия.

Для практического внедрения процессного подхода разрабатывается так называемый Перечень процессов (табличное описание), который представляет собой Перечень процессов образовательного учреждения, а также виды деятельности руководства по управлению качеством образования и деятельности в рамках процессов по измерению, анализу и улучшению (см. табл. 1) [14, 15].

Таблица 1. Перечень процессов и видов деятельности Южно-Российского государственного университета экономики и сервиса

Сертификация в соответствии с ИСО серии 9000 предполагает детальное описание процессов, которое позволяет представить и скорректировать будущую систему до ее реализации в деятельность организации, достичь взаимопонимания между всеми участниками организации, уменьшить затраты на создания системы, улучшить качество создаваемой системы [16].

3. Разработка документации СМК

Важным этапом внедрения СМК является разработка системы документации менеджмента качества, которая обеспечит прозрачность и эффективность организационной структуры и структуры процессов, позволит определить «слабые» места и разработать корректирующие и предупреждающие мероприятия [17, 18]. Порядок разработки документации СМК представлен на рисунке 2.

Разработка документации не должна быть самоцелью, а должна добавлять ценность [19, 20]. Документация системы менеджмента качества включает в себя:

– миссию;

– политику в области качества: общие намерения направления деятельности организации в области качества;

– руководство по качеству ЮРГУЭС (РК ЮРГУЭС) – документ, предоставляющий согласованную информацию о системе менеджмента качества организации, предназначенную как для внутреннего, так и внешнего пользования;

– справочник по управлению вузом;

– информационные карты (спецификации) – документы, устанавливающие требования к выходам и входам процесса, содержащие цели в области качества видов деятельности и процессов;

– документированные процедуры, рабочие инструкции, должностные инструкции – документы, содержащие информацию о том, как последовательно выполнять действия и процессы;

Рис. 2. Схема разработки документации СМК

– стандарты учреждения (СТО ЮРГУЭС) – документы, регламентирующие отдельные виды деятельности, содержание документов и пр.;

– формы (Ф ЮРГУЭС), записи по качеству – документы, содержащие объективные свидетельства выполненных действий или достигнутых результатов, так называемые подтверждающие документы.

Миссия и Политика в области качества

Миссия, цели и стратегия организации, а также подходы к реализации стратегии никогда не бывают окончательными. Оценка работы и осуществление корректирующих действий являются нормальными и необходимыми элементами непрерывного процесса стратегического управления.

Миссия – предназначение вуза, инструмент стратегического управления, определяющий целевые ориентиры по обеспечению долгосрочных конкурентных тенденций.

Миссия вуза – наиболее общая цель организации, философия и предназначение, смысл существования вуза, которые придают его деятельности качественное своеобразие, отличают данное учреждение от всех других, ему подобных.

Хорошая миссия, если это возможно, должна подчеркивать специфику, уникальность конкретного вуза по сравнению с другими вузами.

Стратегия управления базируется на решении пяти взаимосвязанных задач: формирование стратегического видения и миссии организации; определение целей; разработка стратегии достижения целей; внедрение и реализация стратегии; оценка работы, изучение новых тенденций и осуществление корректирующих действий. Эти задачи не решаются раз и навсегда, так как часто возникает необходимость проведения корректирующих действий в результате появления новых обстоятельств [1–3].

Разработанная Политика в области качества – средство управления вузом, формирующее основные требования к качеству образования. Высшее руководство вуза определяет политику по обеспечению качества. По мере необходимости Политика в области качества анализируется и актуализируется. При ее формировании были учтены требования потребителей и законодательства Российской Федерации.

Политика в области качества доводится до сведения всех сотрудников на сайте вуза, а также на информационных стендах, и разъясняется на заседаниях ученых советов факультетов, заседаниях подразделений и ежегодных встречах ректора с сотрудниками.

Политика в области качества предусматривает стремление ЮРГУЭС быть лучшим в сфере подготовки специалистов сервисного профиля, легкой промышленности с высшим, средним и начальным профессиональным образованием и ученой степенью, проведения научных исследований и разработок, консультаций и мероприятий по повышению квалификации и переподготовки.

Политика в области качества вуза направлена на постоянное обеспечение своих потребителей на уровне, продиктованном рынком труда, и непрерывное улучшение их качества на основе эффективной обратной связи с потребителями, поставщиками и сотрудниками.

Справочник по управлению вузом

Справочник по управлению вузом состоит из трех частей: осново-полагающие документы, структура университета и система его управ-ления, образовательная деятельность.

ЮРГУЭС представляет собой сложный живой механизм. Его управление осуществляется на основе нормативной, правовой, организационной и методической базы. В полной мере эту базу не может знать ни начинающий руководитель, ни опытный работник управления вузом.

«Справочник» представляет собой сборник документов. Из-за его объема он существует только в виде небольшого количества напечатанных обязательных экземпляров, которые находятся в канцелярии, библиотеке и других подразделениях, непосредственно связанных с управлением университетом. «Справочник» существует и в электронном виде (CD и дискеты), а также доступен через Интернет.

Руководство по качеству

Руководство по качеству – документ, определяющий систему менеджмента качества организации (ГОСТ Р ИСО 9000-2001). В соответствии с ГОСТ Р ИСО 9001–2001 «Системы менеджмента качества. Требования»: Организация должна разработать и поддерживать в рабочем состоянии руководство по качеству, содержащее:

а) область применения СК, включая подробности и обоснование любых исключений;

б) документированные процедуры, разработанные для СК ОУ, или ссылки на них;

в) описание взаимодействия процессов СК ОУ. Руководство по качеству (РК) является основным документом системы менеджмента качества для всех структурных подразделений и представляет собой совокупность методологических инструкций и положений, описывающих взаимодействие всех процессов СМК.

РК структурировано в соответствии с содержанием и нумерацией глав, разделов и подразделов стандарта ГОСТ Р ИСО 9001:2000. Везде, где необходимо, приводятся ссылки на документированные процедуры системы менеджмента качества и другие документы, регулирующие процессы ЮРГУЭС.

РК определяет политику в соответствии с каждым элементом стандарта ГОСТ Р ИСО 9001:2000, документированные процедуры, СТУ ЮРГУЭС, рабочие инструкции и другие нормативные документы системы менеджмента качества в деталях описывает порядок работы.

Взаимодействие процессов обеспечивается перекрестными ссылками в документации.

РК является контролируемым документом. Оригинал РК хранится у уполномоченного по качеству. РК в электронной форме выставляется в локальной сети в папке СМК ЮРГУЭС.

РК подвергается, по необходимости, анализу и ревизии в целях обеспечения его актуальности.

Документированная процедура

Документированная процедура (ДП) (методика)– документированный установленный способ осуществления деятельности или выполнения определенной работы (процесса).

В качестве средств описания процесса могут использоваться текст, потоковые диаграммы, таблицы, комбинации из них или любые другие подходящие средства в соответствии с потребностями ОУ.

ДП должны содержать необходимую информацию и быть идентифицированы, они могут содержать ссылки на РИ СТО, которые определяют порядок выполнения работ, нормативные документы и записи, которые используются или создаются при реализации ДП. Документированные процедуры, как правило, описывают действия, которые охватывают различные функции, в то время как РИ обычно регламентируют задачи, относящиеся к одной функции [4].

Обязательные документированные процедуры, рекомендуемые стандартом ГОСТ Р ИСО 9001–2001 [13]:

– управление документацией (п. 4.2.3 стандарта);

– управление записями (п. 4.2.4 стандарта);

– внутренние аудиты (проверки) (пп. 8.2.2 стандарта);

– управление несоответствующей продукцией (пп. 8.3 стандарта);

– корректирующие действия (пп. 8.5.2 стандарта);

– предупреждающие действия (п. 8.5.3 стандарта).

Тем не менее, ввиду сложности процессов, протекающих в ОУ, реальное количество ДП в СК ОУ может быть значительно больше. Они должны регламентировать все основные и вспомогательные процессы менеджмента, управления ресурсами, проектирования и предоставления образовательных услуг, измерения, анализа и улучшения. В процессе реализации проекта разработаны следующие документированные процедуры СМК ЮРГУЭС: ДП ЮРГУЭС 7.3/01 Проектирование учебного процесса, ДП ЮРГУЭС 7.2.1/01 Довузовская подготовка, ДП ЮРГУЭС 7.5.01/02 Реализация основных образовательных программ, ДП ЮРГУЭС 7.5.0.2./01 Научно-исследовательская деятельность, ДП ЮРГУЭС 6.1./01 Управление финансами, ДП ЮРГУЭС 6.2./01 Управление персоналом, ДП ЮРГУЭС 6.2.2/01 Повышение квалификации сотрудников, ДП ЮРГУЭС 7.4.1/02 Закупки, ДП ЮРГУЭС 8.2.3/01 Мониторинг, измерение и контроль процессов.

3.1 Особенности документирования СМК Высшего колледжа экономики и сервиса (ВКЭС), интегрированного в ЮРГУЭС

Система документации СМК ВКЭС включает как основные документы СМК ЮРГУЭС, так и документы, разработанные непосредственно для колледжа, необходимость в которых связана со спецификой его деятельности в структуре университета (рис. 3). Ее применение способствует:

– достижению соответствия требованиям потребителя и улучшению качества;

– обеспечению соответствующей подготовки кадров;

– повторяемости и прослеживаемости;

– обеспечению объективных свидетельств;

– оцениванию эффективности и постоянной пригодности системы менеджмента качества.

Используя миссию университетского комплекса, которая задает общую направленность жизнедеятельности университета в целом, в колледже разработана политика в области качества с учетом особенностей образовательного процесса по программам среднего профессионального образования.

Рис. Структура документации СМК ВКЭС

Эффективное функционирование системы менеджмента качества, в которую вовлечены все сотрудники колледжа, направлено на реализацию этой политики.

Приоритетными направлениями развития ВКЭС являются:

– ориентация на потребности рынка труда;

– активное взаимодействие со структурными подразделениями университета в учебной, методической и научной деятельности;

– обеспечение высокого уровня практической подготовки, позволяющей выпускнику быстро адаптироваться в современных производственных условиях;

– развитие системы менеджмента качества, способствующей формированию конкурентоспособного и мобильного специалиста со средним профессиональным образованием;

– совершенствование инновационной образовательной деятельности, позволяющей осуществлять обучение по интегрированным профессиональным образовательным программам среднего и высшего образования.

В соответствии с требованиями ГОСТ Р ИСО 9001–2001 были внесены изменения и дополнения в положения о внутриколледжном контроле, классном руководстве, промежуточной аттестации, педагогическом Совете, Совете колледжа и другие. Разработано Положение по воспитательной работе, регулирующее организацию воспитательной работы в колледже, проводимую воспитателем-методистом, классными руководителями и администрацией колледжа, а также сотрудниками культурно-досугового центра ЮРГУЭС совместно с общественными студенческими организациями. В нем выделены структурные подразделения воспитательной работы ВКЭС. Основные направления воспитательной работы определены с учетом аккредитационных показателей и требований внутренней среды.

В состав документации СМК колледжа входят стандарты предприятия (СТП), регламентирующие планирование, организацию и контроль учебного процесса в целях обеспечения качества и конкурентоспособности современных специалистов:

– СТП 05-01 Делопроизводство. Требования к оформлению документов

– СТП 01-01 Курсовые и дипломные проекты (работы). Основные требования к организации и оформлению.

– СТП 09-2003 Отчёт по практике. Требования к объёму и оформлению.

– СТП 10-2003 Промежуточная аттестация. Основные требования к подготовке и проведению.

– СТП 11-2003 Рабочая программа дисциплины. Основные требования к содержанию и оформлению.

– СТП 12-2004 Курсовые проекты (работы). Основные требования к организации и оформлению.

На основе документированных процедур ЮРГУЭС были разработаны матрицы атрибутов процессов СМК в колледже, в которых четко определены основные характеристики и показатели оценки результативности процессов. Результаты оценки функционирования процессов рассматриваются и утверждаются на Совете колледжа, ежегодно делается сравнительный анализ планируемых показателей с полученными, на основании которого разрабатывается план корректирующих и предупреждающих мероприятий.

Важным направлением работ по документированию стало изменение и дополнение Должностных инструкций с учетом требований процессного подхода. Грамотно составленная инструкция позволяет определить обязанности, права и ответственность персонала, систематизировать взаимоотношения между руководителями и подчиненными им работниками, а также упорядочивает информационные потоки. Очевидно, что после описания процессов получается наиболее точное представление о деятельности конкретных сотрудников и все бизнес-операции гармонично импортируются в определенные функции, формально закрепляемые за сотрудниками.

После разработки матриц атрибутов процессов в соответствии с требованиями ГОСТ Р ИСО 9001-2001 сформированы рабочие инструкции, регламентирующие организацию и контроль процессов: о зачетной книжке, расписании учебных занятий, дежурстве, ведении журналов учебных занятий и классного руководителя, порядке ликвидации задолженностей, проведении инструктажа по технике безопасности.

Записи по качеству предполагают регистрацию данных, содержащих объективные доказательства функционирования СМК в соответствии с требованиями ИСО 9001-2000. Ответственность за организацию работы с записями несут директор колледжа и уполномоченный по качеству, а также исполнители, осуществляющие регистрацию записей по качеству. Все записи должны вестись и поддерживаться в рабочем состоянии для предоставления достоверных и полных данных о соответствии требованиям и результативности функционирования системы менеджмента качества.

Дополнительно в перечень записей по качеству ЮРГУЭС в соответствии со спецификой среднего профессионального образования внесены такие документы, как календарно-тематический план работы преподавателя, акт готовности колледжа к новому учебному году, протоколы Совета ВКЭС и педагогического совета, паспорт кабинета, социальный паспорт учебной группы, журнал учебных занятий, журнал классного руководства, отчеты по процессам.

Необходимость функционирования этих документов обусловлена особенностями планирования, организации и контроля учебного процесса.

Повседневное руководство учебной и воспитательной работой в учебных группах осуществляется классным руководителем, который назначается приказом директором колледжа. Воспитательная деятельность классного руководителя отражается в журнале классного руководства.

Таким образом, построение, изложение и оформление документов СМК становятся образцами для создания документов в других сферах деятельности ВКЭС, что приобретает общесистемный характер разработки и функционирования документации в рамках всего университетского комплекса.

3.2 Особенности документирования СМК Профессионального лицея экономики и сервиса (ПЛЭС), интегрированного в ЮРГУЭС

При внедрении системы качества особое внимание уделяется документированию всех видов деятельности в рамках СМК, которое обеспечивает воспроизводимость работ в системе, их проверку и доказательность.

Рис. 4. Документация ПЛЭС

Документирование СМК ПЛЭС органично связано с документированием СМК ЮРГУЭС. Система документации СМК ПЛЭС включает как основные документы СМК ЮРГУЭС, так и документы, разработанные непосредственно для Лицея, необходимость в которых связана со спецификой его деятельности в структуре университета (рис. 4).

Специфические особенности СМК ПЛЭС связаны с целями и задачами системы качества ПЛЭС, его организационной структурой и информационной средой.

Основой для создания документирования процессов являются требования и рекомендации стандартов ИСО, а также национальных законодательных нормативных и методических документов в области качества и образования, которые трансформируются в разработанные и утвержденные внутренние документы системы менеджмента качества, обеспечивающие прослеживаемость протекания процессов и позволяющие вести систематическую деятельность, направленную на улучшение в соответствии с запросами потребителей.

При разработке документации ПЛЭС большое внимание уделялось мнению исполнителей, которым по этим документам предстоит работать. Это обеспечило их сопричастность к разработке документации, помогло быстро преодолеть психологический барьер «непричастности» персонала и упростить процедуру внедрения системы качества.

Разработка документации ПЛЭС начинается с Политики в области качества, которая основывается на Миссии и Политике ЮРГУЭС. Цели и задачи в области качества регулярно сопоставляются с требованиями потребителей, пересматриваются и уточняются.

Требования к качеству образования, которые также имеют свою специфику, предъявляет и педагогический коллектив, осуществляющий обучение. Для того чтобы следовать принципу «ориентация на потребителей» иобеспечить потребительское качество профессионального образования в лице, при проектировании СМК ПЛЭС была сформулирована «Декларация статуса потребителя», документально закрепляющая и раскрывающая термин «потребитель» для конкретного образовательного учреждения.

Документами второго уровня документации СМК ПЛЭС являются положения, должностные и рабочие инструкции, матрицы атрибутов процессов.

Специфика деятельности профессионального лицея, интегрированного в университетский комплекс, отражена в положениях, регламентирующих процесс управления лицеем. В них внесены дополнения, обусловленные требованиями стандартов ISO 9000.

3.3 Матричное описание процессов ВКЭС и ПЛЭС

Детальное описание процессов СМК ВКЭС и ПЛЭС представлено в матрицах атрибутов процессов. Для каждого идентифицированного процесса ВКЭС или ПЛЭС на основе документированных процедур ЮРГУЭС разработана своя матрица атрибутов, которая отражает цели процесса, его задачи, входные и выходные потоки, значения планируемых показателей, руководителя процесса, то есть содержится вся необходимая информация для управления процессами с учетом специфических особенностей СПО и НПО. При составлении матриц атрибутов особое внимание уделялось обеспечению однозначного понимания всеми участниками процесса их ответственности и полномочий, организации взаимодействия при решении проблем.

Таблица 2. Матрица атрибутов СМК ПЛЭС ЮРГУЭС

Входы и выходы процессов обеспечивают связь с внутренней и внешней средой, определяют границы и взаимосвязи бизнес-процессов (см. табл. 2).

Перечень оцениваемых показателей определялся в соответствии с аккредитационными требованиями, поставленными целями. процессами и задачами по его улучшению. В качестве плановых значений показателей оценки приняты аккредитационные показатели для уровней начального и среднего профессионального образования и средние показатели достигнутого уровня качества подготовки обучающихся за последние 3–5 лет.

Источник сведений содержит перечень документов, содержащих фактические значения показателей оценки процессов.

«Владелец» процесса – лицо, ответственное за организацию и эффективность осуществления конкретного процесса.

Использование матриц атрибутов процессов способствовало усилению прозрачности функционирования процессов, четкому определению их целей, разграничению ответственности и полномочий персонала (в том числе «владельцев» процессов), конкретизации оценки каждого процесса, выявленного в ходе идентификации. Достигнутый уровень показателей оценки процессов и подпроцессов стал объективной базой для внутреннего и внешнего анализа деятельности ВКЭС и ПЛЭС.

Записи по качеству, отражающие мониторинг учебно-воспитатель-ного процесса ПЛЭС, имеют свою специфику. Это в первую очередь касается учета знаний учащихся, который базируется на журнальной системе, аналогичной школьной. Первоначально этот учет ведется в каждой группе по предметам общеобразовательного и специального циклов в отдельных журналах.

Журнал группы является обязательным документом при реализации начального профессионального образования, который систематически контролируется директором лицея и завучем. В журнале отражаются текущие оценки каждого учащегося, посещаемость и поурочно записывается ход выполнения учебного плана. За каждое полугодие выставляются итоговые оценки, которые мастером группы заносятся в сводную ведомость учета успеваемости обучающихся. Записи о ходе воспитательного процесса начинаются с дневника педнаблюдений, который ведет мастер группы. При подведении итогов мониторинга за отчетный период, результаты текущих наблюдений обобщаются и анализируются и регулярно обсуждаются на педсоветах. Ход обсуждения и решения фиксируются в протоколах педсоветов.

Рейтинговая оценка учащихся, являющаяся одним из показателей качества образовательного процесса, также основана на журнальной системе учета знаний учащихся и отражается в электронных ведомостях учета успеваемости учащихся по рейтингу.

Записи анализа СМК со стороны высшего руководства базируются на анализе отчетных матриц, создаваемых два раза в год на основе матриц атрибутов процессов, в которых отражаются результаты запланированной деятельности в рамках процесса и его результативность.

Отчетные матрицы являются составной частью Отчета о функционировании СМК ПЛЭС.

В отчет входит также Сводная справка «Показатели качества реализации учебного процесса», наглядно отражающая тенденции улучшения в ходе реализации процессов за отчетный период и Протокол анализа образовательного процесса, в котором содержатся выводы о результативности реализации образовательного процесса в соответствии с планом качества.

Остальные записи ПЛЭС осуществляются в соответствии с Перечнем типовых обязательных записей СМК в вузе, приведенном выше.

4. Информационное сопровождение системы менеджмента качества

Информатизация СМК представлена рядом информационных технологий, которая позволяет:

- на стадии реинжиниринга процессов пользоваться программными средствами моделирования, соответствующими стандартам IDEF0 [25];

- на стадии создания электронного документооборота организовать полномасштабный электронный документооборот СК на всех уровнях управления: ректорат, учебно-методическое управление, деканаты, кафедры, диспетчерская служба;

- на стадии контроля и мониторинга образовательного процесса упорядочить, сопоставить и проанализировать информационные потоки, начиная с приема абитуриентов и заканчивая мониторингом результатов деятельности студентов и выпускников, в том числе за счет автоматизации расчёта большинства производных показателей, контроля корректности составления документов, чёткой формализации их структуры;

- предоставить сотрудникам свободный доступ к данным всех уровней для принятия мотивированных управленческих решений.

Функционирование СК предполагает наличие информационного сопровождения, отвечающего современным требованиям и обеспечивающего технологичность ее процессов. Его отсутствие, как правило, приводит к вероятностному характеру принимаемых управленческих решений, дублированию в сборе информации, ее потерям и, как следствие, к невысокой эффективности управления.

4.1 Использование ИТ технологий для описания процессов при создании системы менеджмента качества

Любое образовательное учреждение высшего образования является сложной системой, включающей в себя множество функций. Моделирование упрощает сложную систему до требуемого уровня адекватности и позволяет принимать решения по ее реорганизации с достаточной степенью аргументации [6, 7].

Адекватная модель с достаточной глубиной проработки позволяет существенно облегчить решение следующих задач, стоящих перед каждым образовательным учреждением высшего профессионального образования:

- задачи реорганизации деятельности организации, обусловленной переходом от функциональной модели управления к процессному;

- задачи применения информационных систем для управления организацией образовательного процесса.

В исследовании использована методология моделирования (описания) бизнес-процессов IDEF0. При создании системы управления качеством разработаны 14 графических моделей процессов с детальным их описанием в виде документированных процедур. Основные характеристики диаграммы процесса приведены в стандартной рамке, которые однозначно определяют положение диаграммы среди других диаграмм, текущий статус, дату последнего пересмотра и др.

Для создания отчета в исследовании использовался собственный генератор отчетов CASE – средства AllFusion Process Modeler. Генератор Report Template Builder позволяет создавать качественные отчеты, поясняющие все детали графического описания процесса. В качестве источников данных могут быть использованы текстовые файлы, файлы в формате MS Excel (см. табл. 3).

Таблица 3. Стандартныйотчет

4.2 Мониторинг образовательной услуги (контроль подготовки в рамках факультета)

В университете функционирует компьютерная сеть, в которой имеются графики учебного процесса, расписание занятий и все виды ведомостей студентов каждой группы.

Система хранения и обработки электронных ведомостей учёта успеваемости студентов позволяет:

- создавать ведомости учета успеваемости студентов по рейтингу, ведомости курсовых работ (проектов), итоговых экзаменов по дис-циплинам и итоговых междисциплинарных государственных экзаменов, ведомости по практикам и дипломному проектированию;

- хранить ведомости в виде файлов специального формата и передавать по сети для дальнейшей автоматизированной обработки в деканате: создания электронных сводных ведомостей учета успеваемости студентов группы в семестре; вычисления рейтинга студентов за семестр, курс, весь срок обучения; назначения стипендии.

Эти данные обобщаются и анализируются руководителями на уровне кафедры, факультета, ректората. Уровень подготовленности студентов рассматривается на заседаниях кафедры, советов факультета и университета.

В таблицах 4 и 5 и на рисунках 6–9 приведен анализ мониторинга образовательных услуг на технологическом факультете.

Таблица 4. Анализ успеваемости на технологическом факультете

Рис. 6. Анализ успеваемости по курсам на технологическом факультете (ТФ)

Рис. 7. Анализ качества знаний на технологическом факультете (ТФ)

Таблица 5. Сравнительный анализ итогов дипломного проектирования за 3 года ( с 2005 по 2007 гг.) по ТФ

Рис. 8. Итоги дипломного проектирования

Рис. 9. Анализ показателей итоговой аттестации по специальностям на технологическом факультете

В середине семестра деканаты обязаны проводить анализ и подводить промежуточные итоги результатов рубежных контролей студентов всех специальностей факультета с целью обсуждения их на НМСС, совете факультета и принятия необходимых управленческих решений, а также составления прогноза результатов успеваемости на конец семестра.

Для обеспечения широкой гласности результатов рейтингового контроля знаний студентов и усиления их влияния на эффективность учебного процесса деканаты дважды в семестре должны вывешивать списки студентов в порядке убывания их рейтинга – рейтинг-листы. В рейтинг-листах каждый студент может увидеть и оценить себя в сравнении с другими студентами. Рейтинг-листы вывешиваются в наиболее доступных и людных местах: возле деканата, кафедры и т.п.

Использование базы данных как хранилища информации об успеваемости студентов позволяет значительно ускорить получение сводных отчетов пользователями и облегчить разработчикам создание новых видов отчетов. Использование базы данных «Деканат» позволяет определять итоговый рейтинг студента не только в течение одного, отдельно взятого семестра, но и в течение учебного года и за весь срок обучения. Это дает возможность ранжировать студентов не только в академической группе, но и на курсе, на специальности и по всему факультету в целом.

Система электронных ведомостей успеваемости является прозрачной для контроля как со стороны деканатов и ректората, так и со стороны студентов и их родителей. Этому также способствует созданный динамический Web-сайт по адресу www.stud.sssu.ru, который позволяет студенту проверить правильность и своевременность выставления своих оценок, а сотрудникам университета просмотреть статистику по заполнению электронных ведомостей преподавателями и информацию о студентах, группах и специальностях вуза. Это позволяет обеспечить мониторинг оценки качества знаний студентов на всех уровнях: кафедра, деканат, учебное управление, ректорат, внешняя среда (потенциальные работодатели, родители и др.).

5. Оценка результатов образовательного процесса на основе тестовых технологий

Эффективность управления образовательным процессом УНИК существенно зависит от того, насколько объективно и оперативно оцениваются результаты обучения и воспитания на разных уровнях образования. Как показывает отечественный опыт последнего десятилетия, а также многолетний зарубежный опыт оценки учебных достижений обучающихся получение независимых, объективных результатов обучения возможно только на основе тестовых технологий. В связи с этим для каждого уровня образования УНИК необходимо разработать комплекты тестов по дисциплинам. Учитывая современные тенденции возрастания доли самостоятельной работы студентов в процессе обучения, работы по созданию тестов целесообразно начинать с разработки банков заданий в тестовой форме по отдельным дисциплинам. Причем, задания должны быть разного «калибра», т.е. должны быть предназначены для проверки элементов содержания дисциплины разной величины: от текущего и тематического контроля до рубежного и итогового. Банк заданий в тестовой форме обеспечит эффективное самостоятельное изучение материала дисциплины студентами.

На основе полученного банка заданий в тестовой форме формируются предтесты для тематического, текущего, рубежного и итогового контроля знаний студентов по дисциплине, которые путем многократной проверки и чистки совершенствуются и доводятся до уровня тестов. Наряду с перечисленными типами тестов необходимо разработать тесты для входного контроля, с помощью которых проверяются знания обучаемых при переходе с одного образовательного уровня на другой. Это позволяет оценить готовность студента к обучению по образовательным программам того образовательного уровня, на который он переходит.

Создание тестов, включающее проверку их качества и совершенствование – достаточно длительная и трудоемкая процедура, которую невозможно выполнить без соответствующих программно-инструментальных средств. Поэтому разработка программного обеспечения для обработки результатов тестирования и проверки качества тестовых материалов должна предшествовать работе по созданию тестов. В ЮРГУЭС создан программный комплекс RILP-1, позволяющий успешно решать эти задачи при использовании дихотомической оценки результатов обучения и воспитания. С его использованием разработаны качественные тесты по блокам естественно-научных и общепрофессиональных дисциплин высшего профессионального образования.

Для оценки воспитательной работы в подразделениях УНИК необходимо создать диагностические тесты, позволяющие объективно оценить параметры воспитательного процесса, которые носят скрытый (латентный) характер. Технология разработки таких тестов и их индикаторов практически та же, что и для разработки педагогических тестов. Выполнение работы по исследованию воспитательного процесса целесообразно начинать с создания диагностических тестов, с помощью которых исследуются личностные качества обучающихся.

Использование для оценки результатов образовательного процесса педагогических и диагностических тестов, качество которых соответствует научно обоснованным критериям, позволяет говорить о точном измерении латентных параметров и объективно оценивать достижения в области обучения и воспитания.

6. Методики разработки контрольно-измерительных материалов

Современные тенденции планирования и организации учебного процесса в высшей школе предусматривают существенное увеличение доли самостоятельной работы студентов практически по всем изучаемым дисциплинам. В этих условиях существенно усиливается ответственность преподавателей за развитие навыков самостоятельной работы студентов, за модернизацию учебно-методического обеспечения учебного процесса и разработку новых дидактических подходов, позволяющих студентам самостоятельно осваивать учебный материал. Достижение этих целей невозможно без оптимизации методов обучения, внедрения в образовательный процесс новых информационных технологий, повышающих производительность труда преподавателей, без широкого применения компьютерной техники и компьютерных сетей, новых интернет-технологий.

Одним из основных направлений работы, позволяющим не только реализовать отмеченные подходы, но и создать, по сути, новую форму педагогического контроля, является разработка и оценка качества педагогических измерительных материалов (ПИМ), представляющих собой набор тестовых заданий и тестов. В отличие от традиционных форм педагогический контроль с помощью педагогических измерительных материалов, в качестве которых используются тесты, представляет собой педагогическое измерение, в процессе которого объективно и оперативно оцениваются учебные достижения студентов. Он обеспечивает проведение количественного сопоставления оцениваемого параметра обучаемого с некоторым эталоном, принятым в качестве единицы измерения. При этом роль оцениваемого параметра отводится знаниям, умениям и навыкам обучаемого, а в роли единицы измерения используются тестовые задания по проверяемому содержанию дисциплины. Педагогические измерения знаний, умений и навыков осуществляются в процессе педагогического тестирования, которое проводится с помощью тестов, состоящих из тестовых заданий. Они конструируются, исходя из определённых принципов, и имеют определённые форму, от которой существенно зависит эффективность контроля знаний.

6.1 Краткие сведения о формах тестовых заданий

В пособии использованы те формы заданий, которые нашли широкое применение при разработке тестов централизованного тестирования и единого государственного экзамена (ЕГЭ). Это задания закрытой и открытой форм, задания на установление соответствия и задания на установление правильной последовательности.

Задание закрытой формы – тестовое задание с несколькими вариантами ответов, из которых один или несколько являются верными. Ответы даются на выбор. Задания сформулированы в логической форме утверждения. Выбор правильного ответа дает истинное суждение, а выбор неправильного – ложное суждение. В пособии использованы задания этой формы с выбором одного правильного ответа и с выбором одного наиболее правильного ответа из некоторого числа ответов, правильных в разной степени. Задания этих двух типов различаются формулировкой инструкции к ним. Инструкция к заданиям с выбором одного правильного ответа формулируется в виде: «УКАЖИТЕ НОМЕР ПРАВИЛЬНОГО ОТВЕТА». Для заданий с выбором одного наиболее правильного ответа инструкция имеет вид: «УКАЖИТЕ НОМЕР НАИБОЛЕЕ ПРАВИЛЬНОГО ОТВЕТА». Число ответов на задание выбрано равным четырём, как это принято в профессионально разработанных тестах. Результат выполнения задания оценивается дихотомически: правильный ответ оценивается единицей, неправильный – нулём. Подавляющее большинство заданий, представленных в пособии, относятся к заданиям этой формы.

Задание открытой формы – тестовое задание без указания возможных вариантов ответа. Задание сформулировано так, что готового ответа нет. Участник тестирования должен самостоятельно указать или сформулировать правильный ответ и вписать его в отведенном для этого месте. После дополнения задания определенным ответом получается истинное или ложное высказывание. Результат выполнения задания открытой формы оценивается дихотомически. Инструкция, которая использована в пособии для заданий этой формы, имеет вид: «ВПИШИТЕ ОТВЕТ В ВИДЕ ЦЕЛОГО ЧИСЛА». Или: «ДОПОЛНИТЕ».

Задание на установление соответствия – тестовое задание, при выполнении которого необходимо установить соответствие между элементами двух и более множеств. При выполнении такого задания элементам одного множества ставятся в соответствие элементы другого множества. В заданиях этого типа количество элементов одного множества может не совпадать с числом элементов другого. Результат выполнения задания представляется политомически: каждое верно установленное соответствие оценивается единицей, а все задание в целом – числом таких верно установленных соответствий. Инструкция к заданиям на установление соответствия сформулирована в виде: «УСТАНОВИТЕ СООТВЕТСТВИЕ».

С помощью заданий на соответствие проверяются более крупные элементы знаний, чем с помощью заданий открытой и закрытой форм. Поэтому заданиям такого типа отдаётся предпочтение при разработке тестов для проведения итогового или промежуточного контроля.

Задание на установление правильной последовательности – тестовое задание, выполнение которого состоит в установлении правильной последовательности операций, действий, событий. В пособии использованы задания этого типа на установление правильной последовательности действий. Результат выполнения задания оценивается политомически: каждому верно установленному этапу последовательности действий ставится в соответствие единица. Инструкция к заданиям этой формы представлена в виде: «УСТАНОВИТЕ ПРАВИЛЬНУЮ ПОСЛЕДОВАТЕЛЬНОСТЬ ДЕЙСТВИЙ».

Многообразие форм представленных в пособии тестовых заданий обусловлена тем, что каждая из них позволяет проверить специфические виды знаний.

При разработке заданий использованы практически все известные принципы композиции тестовых заданий [1], в особенности принцип фасетности. Задания, использующие этот принцип, содержат фасет, представляющий собой совокупность нескольких элементов в виде слов, знаков или цифр, расположенных в форме столбца и заключённых в фигурные скобки. Выбирая последовательно элементы из фасета, и добавляя их в задание, получаем столько параллельных по содержанию заданий, сколько элементов содержится в фасете. Число фасетов в задании варьируется в зависимости от богатства его содержания. Максимально возможное число вариантов заданий находится перемножением числа элементов во всех фасетах.

В заданиях настоящего пособия используется не более двух фасетов. В некоторых заданиях с одним фасетом, число элементов которого не превышает двух-трёх, эти элементы представлены не в форме столбца, а в виде строки, заключённой в фигурные скобки. Это сделано с целью предотвращения чрезмерного увеличения объёма пособия.

Параллельность заданий по содержанию, которая обеспечивается использованием принципа фасетности, позволяет разрабатывать параллельные тесты и устранить многие проблемы на этапе обработки, шкалирования и интерпретации результатов тестирования.

Примером фасетного является задание, которое представлено ниже.

0001. СОПРОТИВЛЕНИЕ Z0. КОЛЕБАТЕЛЬНОГО КОНТУРА С НЕПОЛНЫМ ВКЛЮЧЕНИЕМ , ВОЛНОВОЕ СОПРОТИВЛЕНИЕ КОТОРОГО ρ, ДОБРОТНОСТЬ Q, КОЭФФИЦИЕНТ ВКЛЮЧЕНИЯ p, ОБЩЕЕ СОПРОТИВЛЕНИЕ ПОТЕРЬ R И СОПРОТИВЛЕНИЕ ИНДУКТИВНО-ЁМКОСТНОЙ ВЕТВИ R2, ПРИ РЕЗОНАНСЕ ОПРЕДЕЛЯЕТСЯ ВЫРАЖЕНИЕМ:

1.

2.

4.

Используя различные сочетания элементов фасета, из данного задания можно получить четыре варианта параллельных по содержанию заданий, не меняя спектр вариантов ответов.

0002. СОПРОТИВЛЕНИЕ Z0. КОЛЕБАТЕЛЬНОГО КОНТУРА С НЕПОЛНЫМ ВКЛЮЧЕНИЕМ ЁМКОСТИ, ВОЛНОВОЕ СОПРОТИВЛЕНИЕ КОТОРОГО ρ, ДОБРОТНОСТЬ Q, КОЭФФИЦИЕНТ ВКЛЮЧЕНИЯ p, ОБЩЕЕ СОПРОТИВЛЕНИЕ ПОТЕРЬ R И СОПРОТИВЛЕНИЕ ИНДУКТИВНО-ЁМКОСТНОЙ ВЕТВИ R2, ПРИ РЕЗОНАНСЕ ТОКОВ ОПРЕДЕЛЯЕТСЯ ВЫРАЖЕНИЕМ:

1.

2.

4.

000 СОПРОТИВЛЕНИЕ Z0. КОЛЕБАТЕЛЬНОГО КОНТУРА С НЕПОЛНЫМ ВКЛЮЧЕНИЕМ ЁМКОСТИ, ВОЛНОВОЕ СОПРОТИВЛЕНИЕ КОТОРОГО ρ, ДОБРОТНОСТЬ Q, КОЭФФИЦИЕНТ ВКЛЮЧЕНИЯ p, ОБЩЕЕ СОПРОТИВЛЕНИЕ ПОТЕРЬ R И СОПРОТИВЛЕНИЕ ИНДУКТИВНО-ЁМКОСТНОЙ ВЕТВИ R2, ПРИ РЕЗОНАНСЕ НАПРЯЖЕНИЙ ОПРЕДЕЛЯЕТСЯ ВЫРАЖЕНИЕМ:

1.

2.

4.

0004. СОПРОТИВЛЕНИЕ Z0. КОЛЕБАТЕЛЬНОГО КОНТУРА С НЕПОЛНЫМ ВКЛЮЧЕНИЕМ ИНДУКТИВНОСТИ, ВОЛНОВОЕ СОПРОТИВЛЕНИЕ КОТОРОГО ρ, ДОБРОТНОСТЬ Q, КОЭФФИЦИЕНТ ВКЛЮЧЕНИЯ p, ОБЩЕЕ СОПРОТИВЛЕНИЕ ПОТЕРЬ R И СОПРОТИВЛЕНИЕ ИНДУКТИВНО-ЁМКОСТНОЙ ВЕТВИ R2, ПРИ РЕЗОНАНСЕ ТОКОВ ОПРЕДЕЛЯЕТСЯ ВЫРАЖЕНИЕМ:

1.

2.

4.

0005. СОПРОТИВЛЕНИЕ Z0. КОЛЕБАТЕЛЬНОГО КОНТУРА С НЕПОЛНЫМ ВКЛЮЧЕНИЕМ ИНДУКТИВНОСТИ, ВОЛНОВОЕ СОПРОТИВЛЕНИЕ КОТОРОГО ρ, ДОБРОТНОСТЬ Q, КОЭФФИЦИЕНТ ВКЛЮЧЕНИЯ p, ОБЩЕЕ СОПРОТИВЛЕНИЕ ПОТЕРЬ R И СОПРОТИВЛЕНИЕ ИНДУКТИВНО-ЁМКОСТНОЙ ВЕТВИ R2, ПРИ РЕЗОНАНСЕ НАПРЯЖЕНИЙ ОПРЕДЕЛЯЕТСЯ ВЫРАЖЕНИЕМ:

1.

2.

4.

Первоначальная совокупность заданий в тестовой форме, когда неизвестны её количественные характеристики, называется предтестом, а сами задания – предтестовыми заданиями. Предтест становится тестом, а предтестовые задания тестовыми после того, как они пройдут эмпирическую проверку, будут рассчитаны их параметры и характеристики, причём их значения станут статистически устойчивы. Об этом необходимо помнить в процессе разработки теста.

6.2 Технология конструирования предтеста

Процесс создания как педагогического теста, который используется для оценки учебных достижений обучающихся, так и диагностического теста, с помощью которого оцениваются результативность процессов и подпроцессов СМК, требует больших затрат времени, поэтому его разбивают на ряд этапов. Основными из них являются [29, 34]:

1) определение целей тестирования, выбор вида теста;

2) анализ содержания учебной дисциплины;

3) отражение содержания дисциплины в содержание предтеста;

4) составление плана и спецификации предтеста, априорный выбор его длины и времени выполнения;

5) создание заданий в тестовой форме;

6) первоначальный отбор предтестовых заданий и их ранжирование в соответствии с выбранной стратегией предъявления на основании субъективных оценок разработчика;

7) экспертиза формы и содержания предтестовых заданий, экспертиза содержания предтеста;

8) корректировка предтестовых заданий и предтеста по результатам экспертизы;

9) составление инструкций для студентов и преподавателей, проводящих апробацию предтеста;

10) проведение апробационного тестирования;

11) подготовка результатов тестирования к обработке;

12) статистическая обработка результатов тестирования;

13) анализ результатов обработки и проверка соответствия характеристик предтеста научно обоснованным критериям качества с использованием классической теории тестов;

14) экспертиза качества заданий и предтеста на основе математических моделей ТМПП;

15) чистка предтеста путём удаления части заданий на основе полученных экспертных оценок;

16) корректировка формы и содержания предтестовых заданий по результатам экспертизы, добавление новых предтестовых заданий;

17) корректировка (при необходимости) плана и спецификации предтеста, уточнение времени выполнения предтеста;

18) повторение этапов апробации (10–17) с целью повышения качества предтеста и уточнения его характеристик;

19) интерпретация полученных в результате обработки данных, установление тестовой нормы (при необходимости), создание шкалы для оценки результатов участников тестирования.

Как видно из рассмотрения приведённого алгоритма, образуется своеобразный цикл, который начинается этапом сбора эмпирических данных и заканчивается корректировкой предтеста, причём, цикл этот повторяется многократно. Процесс конструирования теста достаточно трудоёмок, так как необходим всесторонний подход к оценкам его качества и качества входящих в него предтестовых заданий. Кроме того, многое при разработке теста зависит не только от качества тестового материала, но и от уровня подготовки контингента участников тестирования.

Кроме того, необходимо помнить, что для профессиональной разработки педагогических тестов на основе современных математических моделей необходимо иметь специализированные программные средства.

6.3 Определение целей тестирования и анализ содержания учебной дисциплины

Профессиональное создание теста начинается с определения цели тестирования, т.е. с ответа на вопрос – знание каких разделов дисциплины является наиболее существенным при подготовке студентов?

При этом внимание разработчика теста акцентируется, прежде всего, на том, как оптимально отобразить содержание учебной дисциплины в системе тестовых заданий. Требование оптимальности предполагает использование определённой методики отбора материала дисциплины. Для правильной постановки целей создания теста и их реализации в тестовых заданиях необходимо пройти процесс операционализации (конкретизации) целей [29]. Под операционализацией понимается придание содержанию и форме представления целей характеристик, позволяющих отобразить образовательные цели в содержание средств измерения (тестовых заданий). Этапы процесса операционализации схематично представлены на рисун- ке 10.

Рис. 10. Этапы операционализации результатов обучения

Планируемые результаты обучения в сознании преподавателя преломляются сквозь призму содержания знаний по преподаваемой учебной дисциплине в содержание теста, в результате чего он обретает свои чёткие контуры.

Основные категории конкретизированных учебных целей, разработанные автором работы [35], приведены в несколько изменённом, удобном для задач измерения виде в таблице 6 [29].

Таблица 6. Конкретизированные цели обучения

Используя таблицу 6, разработчик теста определяет, что именно он собирается проверить с помощью теста по данной учебной дисциплине и отображает это в предтестовых заданиях.

Длительность процедуры тестирования ограничивается обычно тремя часами, поэтому количество заданий по каждому разделу дисциплины, которые войдут в тест, должно быть ограничено. При этом необходимо быть уверенным в том, что выбранные разделы (темы) дисциплины охватывают все важные аспекты подготовки студента, а знание содержания этих разделов обеспечит достижение целей обучения студентов. Правильный выбор здесь осложняется тем, что некоторые дисциплины заметно связаны между собой и могут частично замещаться. Подходы и основания для такого выбора достаточно разнообразны.

Отражение содержания дисциплины в содержании предтеста

Достижение успеха в создании теста во многом зависит от качества начального тестового материала, которое обеспечивается правильным отбором содержания дисциплины и умением разработчика корректно отобразить это содержание в содержание предтеста. Для каждой дисциплины необходимо выбрать ту содержательную область, которая признаётся специалистами как важная, наиболее значимая, знание которой позволит выпускнику достичь успехов в будущей работе по специальности. После конкретизации целей тестирования отображение содержания дисциплины в содержание предтеста начинается с выделения укрупнённых единиц знаний. Если сделать это отображение слишком глубоким и полным, чрезмерно расширится число тем и разделов, включённых в предтест. Как следствие этого увеличится число предтестовых заданий, что разумно до определённых пределов. Поэтому при создании предтеста необходимо отобразить в нём самое главное – то, что студенты должны обязательно знать в результате обучения.

Укрупнённые единицы знаний подразделяются на более мелкие единицы, для которых и создаются предтестовые задания. Их разработку по конкретным темам рекомендуется начинать, исходя из целей тестирования и базируясь на содержании традиционно используемых контрольных материалов (экзаменационных билетов, контрольных заданий, задач и т.д.), а также опыте ведущих преподавателей учебной дисциплины. Число предтестовых заданий по каждой теме (разделу), которое планируется включить в предтест, не может быть произвольным. В противном случае содержание учебной дисциплины может быть неверно отображено в предтесте. Поэтому работе по созданию предтестовых заданий должна предшествовать разработка плана и спецификации предтеста по дисциплине [34, 36, 37].

6.4 План и спецификация теста

В плане теста определяется, какое количество заданий по конкретной теме учебной дисциплины должно войти в предтест. Это нужно сделать исходя из определённых критериев, например, можно экспертным путём определить важность каждой темы, а затем с учётом результатов экспертизы распределить предтестовые задания по темам. На наш взгляд, на начальных этапах работы по созданию предтеста важность или ранг тем учебной дисциплины можно определить исходя из количества аудиторных часов занятий, отводимых на изучение тем студентами дневной формы обучения. Этот критерий и был выбран автором для использования в качестве основного при разработке планов тестов. Общее число предтестовых заданий следует определять исходя из следующих соображений. В окончательном варианте теста количество заданий должно быть не меньше. При экспериментальной проверке предтеста и анализе на её основе параметров предтестовых заданий часть из них придётся из предтеста исключить. Поэтому первоначальное число заданий должно быть в 1,5–3 раза больше окончательного, т.е. 45–90. Далее это количество заданий распределяется по конкретным темам дисциплины с учётом учебного плана последней.

Не менее важно сформулировать чёткие требования по отбору заданий с точки зрения проверки выполнения требований государственного образовательного стандарта (ГОС). С помощью каждого тестового задания проверяется степень выполнения конкретного требования ГОС, поэтому точность такой проверки определяется, прежде всего, тем, насколько успешно удалось отразить требования стандарта в заданиях теста. Обычно требования ГОС по большинству блоков дисциплин предполагают проверку знаний испытуемых на трёх уровнях:

- иметь представление;

- знать, уметь использовать;

- иметь опыт, владеть.

В соответствии с этим и все задания предтеста должны быть разбиты на три группы, соответствующие этим уровням (назовем их условно первая, вторая и третья). Первоочередная проблема, которую должен решить разработчик предтеста, заключается в выборе пропорций между количеством заданий различных групп. Очевидно, эти количественные соотношения будут различными для дисциплин разных блоков, поэтому и решать её целесообразно экспертным путем, исходя из накопленного опыта препо-давания дисциплины.

Например, сделать это можно, как уже отмечалось выше, на основе содержания традиционно используемых контрольных материалов. В качестве примера в таблице 2.2 приведены полученные таким путём план и спецификация теста по дисциплине «Основы теории цепей», которая входит в блок общепрофессиональных дисциплин. Из таблицы видно, что число тестовых заданий по темам хорошо коррелирует с числом аудиторных часов занятий, отводимых на их изучение. Для проверки знаний на первом уровне в тесте отведено 10 % заданий, на втором уровне – 66 % и на третьем уровне – 24 %. Такая спецификация теста объясняется тем, что основной задачей дисциплины «Основы теории цепей» является изучение и освоение методов анализа и синтеза электрических цепей. Уточнение числа заданий по каждой группе может быть осуществлено по результатам экспериментальной проверки предтеста и дальнейшей работы с ним.

Согласно данным последних работ в области педагогических измерений [2] для проверки знаний на уровне иметь представление рекомендуется использовать 10 % от общего количества заданий предтеста.

Таблица 7. План и спецификация теста по дисциплине «Основы теории цепей»

После разработки плана и спецификации теста приступают к разработке предтестовых заданий. Учитывая необходимость дальнейшей экспертизы заданий и предтеста в целом, форму используемых предтестовых заданий желательно выбирать одинаковой в пределах одного предтеста. Как показывает опыт проведения централизованного тестирования и единого государственного экзамена (ЕГЭ), на первых этапах работы с предтестами предпочтительно использовать предтестовые задания закрытой формы с числом вариантов ответов не менее 4. Меньшее число вариантов ответов приводит к возрастанию вероятности угадывания правильного ответа. Создание заданий с большим числом ответов проблематично из-за трудности выполнения требования одинаковой правдоподобности отвлекающих ответов. При создании предтестовых заданий необходимо обеспечить выполнение предъявляемых к ним требований. Принципы конструирования заданий выбираются исходя из удобства отображения содержания элемента дисциплины в задание и эффективности его использования для контроля подготовленности студентов.

6.5 Критерии качества теста

Прежде чем перейти к экспериментальной проверке сконструированного предтеста, необходимо тщательно оценить качество его содержания. Как отмечалось ранее, успех в создании профессионального теста существенно зависит от качества материалов, отобранных на ранних стадиях разработки. Поэтому необходимо проверить соответствие полученного предтеста существующим критериям качества.

Первым из таких критериев является соответствие содержания теста сформулированным целям(и) его создания. Например, первые три теста являются рубежными и предназначены для проверки усвоения студентами содержания трёх модулей дисциплины «Основы теории цепей». Поэтому эти тесты являются содержательно-ориентированными и состоят из заданий, ориентированных на проверку содержания. Четвёртый тест этой же работы предназначен для проведения итоговой государственной аттестации ОП по дисциплине «Основы теории цепей». Он является критериально-ориентированным и применяется для проверки соответствия уровня усвоения материала дисциплины требованиям ГОС.

Второй критерий – полнота отображения материала дисциплины, которая оценивается на основании её программы. Необходимость оценки полноты связана с тем, что обычно содержание предтеста значительно уже, чем это предусмотрено соответствующей программой. Невозможно включить в предтест все вопросы программы, поскольку число предтестовых заданий ограничено. В то же время, чем полнее содержание предтеста, тем выше его содержательная валидность и тем больше уверенность в оценке знаний тестируемых, полученной с его помощью.

Третьим критерием качества является правильность пропорций содержания теста. Необходимо убедиться в том, что задания предтеста охватывают все важные аспекты предметной области и в правильной пропорции. Смещение пропорций может произойти, например, из-за того, что предтест легко перегрузить теми разделами содержания, по которым легче составить задания. Для исключения этого необходимо ещё раз оценить соответствие содержания заданий плану теста после окончания процесса их создания.

Четвёртый критерий – соответствие содержания тестовых заданий уровням знаний, планируемым в спецификации теста. При этом проверяется соответствие контролируемых заданиями предтеста знаний требованиям к уровню основных знаний и умений, предусмотренных ГОС. Фактически разработчик предтеста конкретизирует требования ГОС в отношении тех элементов содержания, которые проверяются предтестовыми заданиями. При этом необходимо провести анализ всех элементов содержания с целью ранжирования их по степени значимости.

Пятый критерий предполагает оценку определённости и предметной чистоты измеряемого элемента содержания. С помощью задания лучше проверить один конкретный элемент знаний. Попытка сделать это сразу для нескольких элементов знаний, как правило, отрицательно сказывается на качестве заданий и всего предтеста. Другой причиной неопределённости в измерении знания элемента содержания является двусмысленность формулировок, порождающая несколько правильных ответов.

Шестой критерий рассчитан на оценку значимости содержания каждого задания теста. Этот критерий указывает на необходимость включения в предтест только тех элементов содержания, которые являются наиболее важными, ключевыми. Такие элементы, ввиду их важности, называются структурными элементами знания. Правильное выполнение заданий предтеста, содержащих опорные, структурные элементы содержания, позволяет судить о знании предмета в целом. Включение в предтест второстепенных элементов содержания может привести к неоправданным выводам о знании или незнании содержания предмета.

6.6 Отбор тестовых заданий с помощью математических моделей теории моделирования и параметризации педагогических тестов

С помощью классической теории тестов можно провести первичный отбор предтестовых заданий. Более точно оценить параметры заданий и, следовательно, обосновать их отбор в предтест позволяет использование теории моделирования и параметризации педагогических тестов (ТМППТ), которая на Западе получила название теории IRT. Для этого созданы и с успехом используются различные программно-инструментальные средства, в основу которых положена однопараметрическая модель Г. Раша ТМППТ. Универсальным среди них является диалоговая система RUMM 2020, созданная в Мердокском университете (Австралия). Она позволяет рассчитать значения латентных переменных (трудность заданий и уровень подготовленности тестируемых в логитах) независимо от типа и формы используемых в тесте заданий, оценить статистические параметры и соответствие характеристических кривых заданий модели измерения, оценить качество отвлекающих ответов. Среди отечественных программно-инструментальных средств следует отметить программу R-Latent, созданную сотрудниками исследовательского центра проблем качества подготовки специалистов и ведущими тестологами страны, программный комплекс RILP-1, разработанный в Южно-Российском государственном университете экономики и сервиса. Параметры и характеристики тестовых заданий и тестов были рассчитаны автором, в основном, с использованием этих средств. Они позволяют получить основные статистические параметры, характеризующие уровень знаний тестируемых и трудность тестовых заданий. С их помощью строятся гистограммы распределения индивидуальных баллов Xi тестируемых и Yj заданий, вычисляются оценки средних значений*, *, стандартных отклонений sх*, sY*, асимметрии tx*, tY* и эксцессов gx*, gY*, позволяющие оценить близость закона плотности распределения величин Xi и Yj к нормальному. Кроме того, рассчитываются и строятся индивидуальные кривые участников тестирования и характеристические кривые заданий теста [2], рассчитываются оценки уровня знаний qi* и трудности заданий βј*, погрешности их вычислений. Строятся информационные функции заданий и всего теста в целом, позволяющие оценить валидность заданий и теста по отношению к контингенту тестируемых и к выбранным критериям оценки, определяются оценки коэффициентов корреляции задания с заданием и задания с индивидуальной суммой баллов (бисериальный коэффициент), которые необходимы при оценке системообразующих свойств заданий и надёжности теста. Все расчёты производятся на основе матрицы результатов тестирования [29, 37], которая формируется из полученных эмпирических данных. Правильному выполнению задания теста в этой матрице соответствует единица, неправильному – ноль.

Порядок анализа результатов тестирования и расчёта латентных переменных предтестовых заданий и тестируемых с помощью программных средств R-Latent или RILP-1 следующий.

1) Из предтеста удаляют те задания, на которые ответили все участники тестирования или не ответил никто. Параметры таких заданий не могут быть рассчитаны с помощью данных программных средств. О наличии в предтесте подобных заданий сообщается при представлении данных обработки матрицы результатов тестирования, причём, из обработки эти задания исключаются автоматически. При этом необходимо учитывать, что в некоторых программах (например, R-Latent) после исключения заданий может произойти изменение нумерации оставшихся заданий, которые первоначально были расположены после удалённых.

2) По оценкам средних значений количества правильных ответов на задания *, индивидуального балла тестируемых *, оценкам величин стандартных отклонений sх*, sy*, оценкам значений ассиметрии tx*, ty* и эксцесса gx*, gy*, гистограммам распределения величин Xi и Yj оценивают соответствие законов плотности распределения этих величин нормальному. Чем ближе эти законы к нормальному, тем выше достоверность получаемой при обработке информации. О соответствии законов распределения нормальному можно судить по величинам tx*, ty* и gx*, gy*. Кроме того, для этих целей можно использовать также приближённое равенство между оценками среднего значения случайной величины * и её стандартного отклонения sх*: * ≈ 3sх*.

3) Анализируют матрицу оценок коэффициентов корреляции каждого предтестового задания с индивидуальной суммой баллов тестируемых. Удалению из предтеста подлежат те задания, для которых этот коэффициент ниже 0,2.

4) Анализируют матрицу оценок коэффициентов корреляции rij* заданий друг с другом. В предтесте рекомендуется оставлять те задания, для которых значения оценок этих коэффициентов составляют от 0,1 до 0, Оценки коэффициента rij* не должны быть отрицательными. Выявление предтестовых заданий, которые могут быть удалены из предтеста по данным критериям, рекомендуется начинать с тщательного анализа величины суммарных значений rij* по тем заданиям, по которым она наименьшая. При этом необходимо учитывать, насколько родственными являются темы или разделы дисциплины, которые представляют рассматриваемые задания. Очевидно, не имеет смысла удалять задание из предтеста по причине малости значения rij*, если темы не являются хотя бы родственными или близкими по содержанию.

5) Анализируют матрицу результатов тестирования на состоятельность и выявляют несостоятельные предтестовые задания и несостоятельных участников тестирования. Причём, важно как можно точнее выявить, чем обусловлена несостоятельность результатов: несостоятельностью отдельных предтестовых заданий или несостоятельностью некоторых тестируемых. Присутствие в предтесте несостоятельных заданий снижает его надёжность и искажает информацию о знаниях участников тестирования. Учёт при анализе результатов тестирования несостоятельных испытуемых искажает информацию о качестве предтеста и входящих в него заданий. Для получения информации о несостоятельности тестовых заданий и тестируемых используют упорядоченную матрицу результатов тестирования (матрицу Гутмана) [37]. В отличие от исходной матрицы тестовых результатов в упорядоченной матрице участники тестирования расположены в порядке возрастания индивидуального балла Хi, а тестовые задания – в порядке убывания количества правильных ответов Yj. В результате верхняя правая часть матрицы оказывается заполненной нулями, а нижняя левая часть – единицами. Процесс выявления несостоятельности заданий и тестируемых поясняется приведённым ниже примером [17].

В таблице 8 представлена упорядоченная матрица тестовых результатов для десяти заданий предтеста и десяти участников тестирования. Внимательный осмотр элементов матрицы позволяет выделить несколько случаев явной несостоятельности тестовых результатов. Они подчёркнуты в таблице 8. Первый случай связан с неудачной попыткой десятого тестируемого ответить на третье задание.

Таблица 8. Упорядоченная матрица результатов тестирования

Учитывая правильные ответы этого тестируемого на все последующие задания и характер устойчивого распределения единичек в левой части таблицы, можно считать, что полученный ноль является, скорее всего, результатом случайной ошибки или недосмотра. Хотя не исключён и случай ошибки в формулировке задания, в результате чего допускается его двусмысленное толкование хорошо подготовленными студентами. Поэтому рекомендуется внимательно проверить содержательную часть третьего задания. Явно алогичен случай успешного ответа первого испытуемого на восьмое задание предтеста: вряд ли студент, не сумевший правильно ответить ни на одно из заданий, в том числе и более лёгких, сможет справиться с таким трудным заданием, каким является восьмое. Вот почему полученная им единичка является, скорее всего, результатом угадывания, списывания или других форм искажения данных. На этот же вывод наталкивает анализ ответов по восьмому столбцу, где есть всего две единицы в нижней части таблицы, полученные сильными студентами. Поэтому первого участника тестирования можно смело отнести к несостоятельному, и исключить его эмпирические данные из матрицы результатов тестирования. Представляет интерес анализ результатов четвёртого тестируемого. Для него характерна несостоятельность в ответах на лёгкие и трудные задания, причины которой целесообразно выяснить в процессе непосредственного общения с этим студентом. О том, что здесь имеет место несостоятельность тестируемого, а не заданий, свидетельствует распределение результатов остальных участников тестирования по пятому и шестому заданиям. Поэтому и тестируемого под номером четыре можно исключить из матрицы результатов тестирования.

О явной несостоятельности предтестовых заданий свидетельствует наличие неверных ответов на них у сильных студентов, которые на более трудные задания предтеста ответили правильно. Такие задания из дальнейшей обработки должны быть исключены.

В программе R-Latent предусмотрен автоматический анализ профилей ответов тестируемых в матрице Гутмана, обнаружение ошибок в профилях ответов и выявление на их основе заданий и тестируемых, не соответствующих принятой модели измерения (модели Раша). На основе анализа ошибок оцениваются эффективность заданий и адекватность участников тестирования, исходя из которых программой отбираются те задания и тестируемые, которые должны быть удалены из матрицы результатов тестирования из-за несоответствия принятой модели измерения.

При выполнении процедуры выявления несостоятельности заданий и тестируемых необходимо помнить, что число исключаемых из матрицы несостоятельных студентов не должно превышать 5 % от общего количества участников тестирования [17]. В противном случае это может привести к искусственному завышению качества предтестовых заданий.

6) Матрицу результатов тестирования, из которой удалены несостоятельные задания и несостоятельные испытуемые, снова обрабатывают программными средствами R-Latent или RILP-1. Проводят анализ результатов обработки. После этого переходят к анализу оценок трудности b* предтестовых заданий. Для этого используются таблица начальных значений оценок трудности заданий в логитах и характеристические кривые заданий, каждая из которых представляет собой зависимость условной вероятности Pj правильного ответа тестируемых на j-е задание предтеста от их уровня знаний q. Из всех заданий предтеста необходимо оставить те, уровень трудности которых b попадает в интервал от -2 до 0,85 логит. Если разрабатывается критериально-ориентированный предтест, то трудность основной части заданий должна находиться в интервале от -0,85 до -0,4 логит. Если же предтест ориентирован на проверку содержательной части дисциплины, то трудность основной части заданий необходимо выбирать в диапазоне от -0,4 до 0 логит. Внутри этих интервалов характеристические кривые должны быть расположены или равномерно, или (что предпочтительнее) основная их часть должна располагаться вблизи пороговых значений -0,85 логит (для КОТ) и -0,4 логит (для СОТ). Лёгкие задания нужно стараться равномерно распределить в интервале от -2 логит до -0,85 логит, трудные – в интервале от -2 логит до -0,4 логит. Если характеристические кривые лёгких или трудных заданий совпадают (задания имеют одинаковую трудность), то вопрос об их оставлении в предтесте решается исходя из его плана. Если предтестовые задания представляют разные темы (разделы) дисциплины, то, очевидно, их в предтесте необходимо оставить. Если одинаковую трудность имеют два или более предтестовых заданий, относящихся к одной теме, то решение об их удалении принимается на основе спецификации теста. Изменение положения характеристической кривой на оси латентной переменной q, если это требуется сделать, достигается за счёт изменения трудности предтестового задания путём его соответствующей переработки.

Из одинаковых по трудности и тематическому содержанию заданий в предтесте необходимо оставлять те, у которых больше крутизна (дифференцирующая способность) [2]. Однако этот критерий рекомендуется использовать на более поздних стадиях работы с тестами, поэтому при работе с предтестами его не стоит принимать во внимание.

7) Анализируются информационные кривые предтестовых заданий и определяется интервал уровня знаний Δqј, в котором каждое из них работает. Если информационная кривая задания существенно выходит за рамки выбранного интервала, то, как правило, такие задания из предтеста удаляются. Исключение составляют случаи, когда задание должно быть оставлено в предтесте независимо от его трудности.

8) Анализируют информационную функцию предтеста. Она должна представлять собой плавную колоколообразную кривую, охватывающую интервал, в котором измеряется уровень знаний участников тестирования. Только в этом случае предтест будет давать максимум информации о знаниях в пределах выбранного диапазона и может быть использован для проверки подготовленности участников тестирования. Если в информационной кривой имеются провалы, то в предтест необходимо добавить задания, трудность которых соответствует интервалу изменения значений q, для которых эти провалы наблюдаются. Добавление таких заданий приведёт к выравниванию информационной кривой предтеста.

9) После завершения процедуры анализа и чистки предтеста сверяют оставшиеся задания с его планом и спецификацией. При необходимости перерабатывают их и добавляют в предтест новые задания.

10) Проверяют скорректированный предтест на новой выборке тестируемых и обрабатывают полученные при этом эмпирические данные, как это описано выше.

6.7 Надёжность, валидность и разрешающая способность гомогенного теста

Важнейшими показателями, характеризующими качество разработанного теста, являются надёжность, которая определяется как степень точности измерения уровня знаний тестируемых, валидность и разрешающая способность. Они определяются, как правило, после неоднократной экспериментальной проверки предтеста, его доработки, в результате которой он превращается в тест. Более того, для их определения проводится специальная апробация предтеста. Не останавливаясь подробно на методах расчёта параметров, характеризующих названные показатели, ограничимся их определениями, заимствованными из работы [33].

Надёжность теста – показатель сходимости и устойчивости результатов тестирования в одинаково подготовленных группах тести-руемых.

Высокая надёжность теста обеспечивается, прежде всего, высокой однородностью содержания заданий, которые отбираются в тест. Содержание таких заданий направлено на измерение какой-то одной характеристики обучаемого, например, его подготовленности по предмету. Но, стремясь к однородности содержания заданий при создании гомогенного теста, необходимо помнить о недопустимости нарушения правильности пропорций представления содержательных элементов. Вторым важным фактором, влияющим на надёжность теста, является его длина. Чем больше заданий содержится в тесте, тем выше его надёжность. Однако чрезмерное увеличение длины теста приведёт к неоправданному возрастанию длительности тестирования, из-за чего возрастёт утомляемость участников тестирования и, как следствие этого, ошибка измерения. Поэтому длину теста необходимо выбирать оптимальной. По данным международных сравнительных исследований (IAEP, TIMSS) для выполнения заданий с выбором ответа из четырёх-пяти рекомендуется отводить до одной минуты, с кратким дополняемым ответом – в среднем, до 2 минут, с полным свободно конструируемым ответом – до 5 минут. Исходя из этого, можно заключить, что число заданий с выбором ответа в тесте длительностью 90 минут должно быть, в среднем, порядка 50. Приемлемую надёжность теста нельзя обеспечить, если число заданий в нём меньше 30 [19]. При оценке надёжности теста очень важно иметь адекватную выборку тестируемых. Прежде всего, нужно обеспечить необходимый объём выборки. Чем она больше, тем выше надёжность теста. По мнению Гилфорда [9], при оценке надёжности теста минимальный объём выборки должен составлять не менее 200 участников тестирования. Ньюнелли [4] считает, что их должно быть не менее 300. Наряду с объёмом выборки важное значение имеет её состав. Большая, но неверно подобранная по составу выборка может дать искажённые представления о надёжности теста. Чтобы этого не произошло, выборка тестируемых должна полностью отражать разнообразие параметров, присущих генеральной совокупности тестируемых.

Коэффициент надёжности теста – количественная характеристика надёжности педагогического теста, изменяющаяся от нуля до единицы и показывающая меру реального результата тестирования и меру влияния на этот результат случайных ошибок.

Коэффициент надёжности представляет собой отношение дисперсии результатов тестирования в выборке тестируемых, как правило, дисперсии истинных баллов тестируемых к реально полученной полной дисперсии, включающей ошибки тестирования, как правило, дисперсии тестовых баллов тестируемых.

Существуют различные методы оценки надёжности теста по результатам его эмпирической проверки, которые описаны в соответствующей литературе.

Вторым важным показателем качества теста является его валидность.

Валидность теста – комплексная характеристика, отражающая способность теста служить той цели, для которой он создавался. Различают несколько видов валидности теста. Важнейшим из них является содержательная валидность.

Содержательная валидность теста – характеристика, выражающая показатель полноты охвата его тестовыми заданиями той области знания, учебные достижения тестируемых в которой этот тест оценивает. Это основной вид валидности для тестов достижений, когда должен быть точно определён материал учебной дисциплины, который необходимо отразить в содержание теста, и когда существует достаточная ясность смысла измеряемого параметра. Тест считается валидным по отношению к контролируемому содержанию учебной дисциплины, если он позволяет проверить всё то, что указано в его плане и спецификации. Для КОТ и СОТ содержательная валидность выражает фактически второй из перечисленных выше критериев качества теста. Для повышения содержательной валидности в тест лучше включать задания с низкими значениями коэффициента взаимной корреляции, поскольку при прочих равных условиях в этом случае повышается полнота охвата содержания учебной дисциплины. Но чрезмерное перенасыщение теста такими заданиями неминуемо приведёт к снижению его надёжности, поскольку обеспечение высокой надёжности теста связано с отбором заданий, имеющих большие значения коэффициентов взаимной корреляции [1]. Для разрешения этого противоречия необходимо стремиться к повышению надёжности гомогенного теста в разумных пределах. По мнению авторов работы [9] максимум содержательной валидности достигается тогда, когда все задания слабо, но положительно коррелируют друг с другом, но каждое из них имеет высокую корреляцию с критерием по тесту. Поэтому для повышения валидности в тест необходимо включать задания с большими значениями бисериального коэффициента корреляции с индивидуальной суммой баллов тестируемых. Обычно на практике значения коэффициента интеркорреляции рекомендуется выбирать в интервале от 0,15 до 0,3, а значения бисериального коэффициента корреляции с индивидуальной суммой баллов тестируемых – в пределах от 0,5 до 0,8 [7].

Для оценки валидности теста обычно используют корреляцию между показателями теста и некоторым внешним критерием, в качестве которого используются оценки экспертов [9].

Другим важным типом валидности является критериальная валидность.

Критериальная валидность теста – характеристика, отражающая его возможность несмещённо сопоставлять результаты тестирования с установленным внешним критерием, характеризующим объект измерения. Фактически критериальная валидность теста характеризует четвёртый из названных выше критериев качества теста. Суть её заключается в определении способности служить индикатором или прогнозировать достижение строго определённого критерия, например, уровня требований ГОС.

Содержательная валидность в обязательном порядке оценивается для содержательно-ориентированных тестов. Для критериально-ориентирован-ных тестов оценивается и содержательная, и критериальная валидность.

7. Исследование методологических подходов к оценке результативности и эффективности функционирования системы управления качеством в университетском комплексе

Как известно, система менеджмента качества является частью системы управления организации, ориентированной на достижение результатов, определяемых политикой в области качества и удовлетворенности внутренних и внешних потребителей. Понятие качества образовательной услуги с позиций его соответствия требованиям потребителя сложилось именно в условиях рыночной экономики.

Идея такого подхода к определению качества продукции принадлежит голландскими ученым Дж. Ван Этингеру и Дж. Ситтигу. Ими разработана специальная область науки – квалиметрия. Квалиметрия – наука о способах измерения и квантификации показателей качества. Квалиметрия позволяет давать количественные оценки качественным характеристикам как товара, так и услуги. Квалиметрия исходит из того, что качество зависти от большого числа свойств рассматриваемого продукта. Для того чтобы судить о качестве продукта, недостаточно только данных о его свойствах. Нужно учитывать и условия, в которых продукт будет использован. По мнению Дж. Ван Этингера и Дж. Ситтига, качество может быть выражено цифровыми значениями, если потребитель в состоянии группировать свойства в порядке их важности. Они считали, что качество – величина измеримая и, следовательно, несоответствие продукта предъявляемым к нему требованиям может быть выражено через какую-либо постоянную меру, которой обычно являются деньги [42, 43, 45].

Основными объектами квалиметрического мониторинга системы высшего образования на уровне отдельного вуза являются:

- выпускники вуза;

- процесс предоставления образовательных услуг;

- деятельность вуза в целом.

В настоящее время мониторинг выпускников основывается на применении государственных образовательных стандартов, что является, по существу, «оценкой соответствия первой стороной». Наиболее же объективными представляются результаты оценки качества выпускников, проведенной их потребителями. Это требует разработки соответствующих методик. В исследовании в качестве методики оценки качества образовательной услуги предлагается метод комплексной оценки товарной системы (МКОТС) [4].

7.1 Применение метода комплексной оценки товарной системы (МКОТС) для определения критерия суммарной удовлетворенности образовательной услугой

Задачей метода комплексной оценки товарной системы (МКОТС) является определение критерия суммарной потребительской удовлетворенности. Нижеприведенный алгоритм построен на выяснении роли компонентов в формировании состояния D (веса компонента) и обработки потребительской оценки уровня реализованности компонентов, для определения критерия суммарной потребительской удовлетворенности товарной системой, вычисление которого и является целевой функцией МКОТС.

Исходными данными для решения поставленной задачи являются результаты опроса потенциальных потребителей – выпускников вуза, т.е. метод построен на экспертном опросе потребителей. На основе предварительно определенных компонентов образовательной услуги формируется система опроса потенциальных потребителей, в которую закладываются следующие задачи: определение значимости или веса компонентов системы Ai для потенциального потребителя и определение отношения потребителя к каждому из компонентов системы по двух и более значной шкале (Z – обозначение значности шкалы). В анкетном опросе потенциального потребителя выяснение значимости компонента реализовано через вопрос следующего типа: «Пронумеруйте ниже перечисленные свойства товара в порядке уменьшения значимости для Вас, используя все числа от 1 до n. Число «n», записанное в клетку напротив какого либо компонента, указывает на его наибольшую, а «1» – наименьшую значимость для Вас». Проведенные исследования показали, что оптимальная степень достоверности результатов составляет максимум при 10–12 компонентах. Снижение достоверности после 10–12 компонентов вызвано усталостностью опрашиваемого при формировании ответа с большим количеством компонентов. Наиболее распространенным из существующих методов сбора информации является метод письменного анкетирования, который и принимается за базовый в настоящем способе. Настоящий способ подразумевает «жесткие», т.е. безвариантные, способы задания вопросов, в рамках которых анкетируемый строго последовательно отвечает на ряд поставленных вопросов. При формировании системы анкетного опроса, во-первых, задается вопрос с целью определения значимости параметров. Во-вторых, вопрос о степени проявлености качеств в образовательной услуге. В-третьих, в той или иной форме задается вопрос с целью определения принадлежности опрашиваемого к определенному сегменту. Студентам выпускного курса было предложено отобрать наиболее важные с их точки зрения компоненты образовательной услуги. В результате обработки наиболее значимых из них были выбраны следующие:

1. Организация образовательного процесса (доступ к компьютерам вуза (компьютерные классы) и информационным сетям (внутривузовским сетям, сети Интернет и т.д.), удобство расписания занятий, обеспеченность программами, учебниками и необходимым оборудованием).

2. Социальные факторы (медицинское обслуживание, качество и стоимость общественного питания при вузе, условия проживания в общежитии, размер стипендии и др.).

В таблицах 9 и 10 представлены варианты анкеты в наиболее общей форме.

Таблица 9. Удовлетворенность образовательной услугой на факультете сервиса

Таблица 10. Удовлетворенность образовательной услугой на механико-радиотехническом факультете

Суммарный показатель удовлетворенности позволяет узнать, достигнуты ли поставленные цели, удовлетворены ли потребности клиента, контролируются ли процессы, протекающие внутри организации, необходимы ли усовершенствования в организации деятельности вуза и где именно.

7.2 Оценка результативности и эффективности функционирования системы управления качеством в университетском комплексе

Оценка эффективности функционирования системы управления вузом является важным этапом непрерывного улучшения деятельности вуза в современных условиях.

Следует заметить, что общей методики такой оценки пока не разработано, поэтому каждый вуз решает эту проблему по-своему. Механизм, заложенный в ИСО 9000 в виде внешнего и внутреннего аудита, требований измерения, анализа, самооценки, корректирующих и предупреждающих действий, обратной связи с потребителями, непрерывного улучшения деятельности, сам нуждается в оценке эффективности.

Необходимость создания методов оценки эффективности функционирования системы менеджмента качества вуза, доведенных до практической реализации, диктуется стандартами ИСО 9000, и, прежде всего, они относятся к деятельности руководства по анализу и улучшению деятельности СМК [45].

Вопросы результативности и эффективности внедрения систем менеджмента качества (СМK) остаются актуальными с момента начала широкомасштабного использования стандартов ИСО серии 9000, т.е. более 15 лет. В стандарте ИСО 9000:2000 термин «результативность» определяется как степень достижения запланированных результатов, а «эффективность» – как соотношение между достигнутыми результатами и затраченными ресурсами. По существу, результативность относится к достижению целей организации и отражает степень реализации некоторой стратегии, а эффективность скорее относится к оценке использования ресурсов компании в ходе реализации стратегии.

Сегодня для большинства специалистов по СМK очевидно, что эффективность и результативность для разных заинтересованных сторон различны, что это всегда вопрос некоторого баланса их интересов и возможного компромисса. Что считать результатом и эффектом – это, прежде всего, вопрос стратегии компании. В принципе, любые показатели могут быть использованы для оценки результативности и эффективности систем управления.

Система показателей, поддерживающая внедрение менеджмента качества, должна осуществлять:

- широкое понимание стратегии качества на всех уровнях органи-зации;

- связь между отдельными проектами организации;

- коммуникацию выбранной стратегии качества за пределами организации.

Для решения такой непростой задачи можно использовать систему взаимосвязанных показателей – Balanced Scorecard (BSC) [46-47], т.е. систему сбалансированных показателей (ССП).

ССП – это система управления (а не просто система измерения), которая позволяет организации четко сформулировать планы на будущее и стратегию и воплотить их в реальные действия. Она обеспечивает обратную связь между внутренними бизнес-процессами и внешними показателями, необходимую для повышения стратегической эффективности и достижения результатов. При полном внедрении ССП преобразуют стратегическое планирование в ключевую деятельность предприятия.

Cбалансированная система показателей эффективности системы менеджмента качества

Концепция сбалансированного управления (Balanced Scorecard) представляет собой метод, позволяющий перевести стратегический план развития в оперативные планы по направлениям деятельности вуза, контролировать и корректировать эти планы с учетом причинно-следственных связей индикаторов различных уровней планирования. Эта концепция предусматривает использование финансовых и нефинансовых индикаторов, которые могут быть представлены в «жесткой» (количественной) и «мягкой» (зависящей от субъективной оценки) форме.

Рис. 11. Сбалансированная система показателей и система качества

Классическое использование концепции ССП предполагает рассмотрение стратегий развития организации по четырем основным перспективам (измерениям) – потребители, процессы, финансы, персонал. Для каждой из перспектив определяется набор целей, а для каждой цели набор соответствующих измерителей (или индикаторов, или детерминант). Далее эти измерители могут группироваться на каждом из уровней планирования, начиная от планов мероприятий, реализующих узкую оперативную деятельность, до стратегического плана развития организации в целом.

На рисунке 12 показаны четыре возможные плоскости рассмотрения, интерпретируемые как перспективы, приведены примеры различных постановок вопросов [8]. Следует подчеркнуть важность того, что стратегия и миссия стоят в центре ССП-плана. Именно из них будут вытекать стратегические меры, и в причинно-следственной связи будет осуществляться и проявляться логически причинная связь.

A – стратегические цели; B – измерения; C – значение цели; D – стратегические меры

Рис. 12. Четыре плоскости рассмотрения деятельности организации

Высшее учебное заведение как организация имеет специфику в оперативном управлении, которая выражается в наличии традиционных для вуза направлений (сфер) деятельности, которые зависят от принятой в конкретном вузе системы управления. Среди таких направлений можно назвать образовательную деятельность, научно-исследовательскую и инновационную деятельность, финансовую деятельность, материально-техническое обеспечение, международную деятельность и т.д. Это обстоятельство требует иметь навык в согласовании подходов ССП с конкретной практикой управления в вузе.

Восемь принципов менеджмента качества, приведенных в ISO 9000:2000 (ГОСТ Р ИСО 9000-2001), могут быть интегрированы в стратегию качества благодаря использованию ССП. Процессный подход и постоянное улучшение являются составными частями перспективы процесса. Системный подход к управлению и основанный на фактах подход к принятию решений будут интегрированы в процессе возникновения, т.е. в процессе формулирования карты сбалансированных показателей ССП. Интересным является то, что при таком интегративном преобразовании основные принципы менеджмента качества, согласуясь с главной целью организации, переводятся в ССП.

Итак, ССП представляет собой теоретическое отображение организации, что дает возможность заинтересованным сторонам выбрать стратегию из сформулированного плана ССП и получить ССП для собственной деятельности. ССП-план, кроме того, помогает перейти от стратегического планирования к конкретному внедрению выбранной стратегии. Благодаря плану BSC появляется возможность разбить основную стратегию организации до индивидуального ССП для каждого отдельного сотрудника [3].

Система сбалансированных показателей строится на основе ключевых концепций, разработанных в предыдущих управленческих методиках, таких как полное управление качеством (Total Quality Management, TQM), включающих:

- качество, определяемое клиентом;

- постоянное совершенствование;

- расширение полномочий сотрудников;

- основанное на измерениях управление и поддержку обратной связи.

Сбалансированная система показателей помогает менеджерам обратить внимание на самые важные моменты. Десятилетний опыт ее использования показывает, что для каждой отрасли и компании есть свои особенности, зависящие от ресурсов и конкурентного положения. Поэтому менеджерам необходимо выделить главные моменты, характерные именно для их организации, и тогда можно будет направить все усилия на повышение эффективности в самых необходимых направлениях.

Построение стратегической карты вуза

Визуализация стратегии – одно из главных требований концепции ССП. Графическое представление схемы стратегии, как утверждают авторы проекта Нортон и Каплан, должно быть самодостаточным для ее понимания.

Концепция ССП постулирует возможность разложения стратегической цели на подцели, вплоть до таких, которые допускают выработку конкретных управляемых действий для их достижения.

Схема стратегии вуза сегментируется по четырем перспективам: Финансы, Клиенты, Внутренние процессы, Потенциал (Обучение и рост) .

Для решения задачи оценки эффективности системы качества на основе предложенной в исследовании системы ССП необходимо определить:

- объект оценки (процедура, процесс, элемент СК, система качества в целом);

- критерии оценки эффективности функционирования СК (цели непрерывного улучшения, к которым стремится предприятие);

- способ измерения и сравнения показателей эффективности функционирования СК с критериями эффективности;

- методы статистического анализа полученных результатов.

Разработка показателей оценки стратегических перспектив вуза

Объекты оценки выбираются исходя из задач предприятия в области качества, которые необходимо решить в первую очередь.

Количество и содержание критериев в оценке должно быть достаточным для определения того, насколько эффективно или неэффективно функционируют объекты оценки (см. табл. 11).

Таблица 11. Показатели оценки стратегических перспектив вуза

Способ измерения показателей эффективности функционирования объекта оценки и сравнения этих показателей с выбранными критериями зависит от объекта оценки (процедура, процесс, элемент СК) (см. табл. 12). Измерение показателей и их сравнение с критериями показывает, в какой мере достигнутая эффективность функционирования объекта оценки соответствует установленным критериям.

Таблица 12. Целевые значения и методы мониторинга

ВЫВОДЫ И РЕКОМЕНДАЦИИ

Систематизация и статистический анализ результатов оценки эффективности функционирования объектов выявляют тенденции к улучшению или ухудшению, показывают стабильность или нестабильность процессов.

Таким образом, в работе представлены методологические подходы по созданию системы менеджмента качества в университетском комплексе на основе процессного подхода. Разработан алгоритм внедрения СМК в соответствии с требованиями международных стандартов ИСО серии 9000, а также стандартов предприятия и преимуществ механизмов институциональной модели университетского комплекса, позволяющих повысить эффективность использования интеллектуальных, материальных и информационных ресурсов университета. Сформирована карта процессов СМК, основанная на внедрении процессного подхода, схемы документооборота. Разработана документация СМК, включающая в себя миссию, политику в области качества, руководство по качеству, информационные карты процессов, документированные процедуры и формы СМК.

Приведены особенности создания СМК в структурных подразделениях среднего и начального образования, интегрированных в университетский комплекс.

Использование предложенных программных продуктов электронного документооборота позволяет предоставить актуальную и достоверную информацию о функционировании основных, вспомогательных и обслуживающих процессов, происходящих в ОУ для принятия обоснованных управленческих решений. Внедрение разработанных в исследовании информационных технологий позволило повысить эффективность управления качеством образования в образовательных системах разного уровня. В частности, уменьшились временные затраты на создание нормативной документации управления образовательным процессом на уровнях: ректорат, деканат, кафедра, отделы; на сбор, обработку и обобщение информации по мониторингу и анализу образовательной деятельности.

Новейшая технология управления эффективностью на основе системы сбалансированных показателей позволяет:

- четко сформулировать стратегию и увязать стратегические цели вуза с результатами деятельности каждого работника и правильно мотивировать персонал;

- перевести цели, поставленные вузом, на количественные показатели, делая их ясными и понятными для каждого;

- выявить процессы, которые имеют максимальное (положительное или отрицательное) воздействие на результат деятельности;

- оперативно реагировать на изменение внешних сил;

- сделать реализацию стратегии регулярной деятельностью всех подразделений, управляемой с помощью планирования, учета, контроля и анализа сбалансированных показателей, а также мотивации персонала на их достижение.

- увязать стратегические результаты и факторы их достижения, устанавливая и отслеживая причинно-следственные связи между ними.

- стать инструментом сравнения уровня качества предоставляемых образовательных услуг;

- стимулировать вузы к внедрению у себя современных методов менеджмента качества.

БИБЛИОГРАФИЧЕСКИЙ СПИСОК

1. Янковская, Н.А. Экспертная система проективных ожиданий развития школы [Текст] / Н.А. Янковская // Педагог. – 2008. – № 4. –bspu.secna.ru/Journal/pedagog/ pedagog_4/sod_ped4.html

2. Основные положения концепции очередного этапа реформирования системы образования Российской Федерации (итог. материал семинаров раб. группы Комиссии по реформированию образования) [Текст] // Курьер образования. – 2007. – № 2. – courrier.com.ru/co-2/co-2 /0ref.htm

3. Калина, И.И. Инновационный подход к управлению региональной системой образования [Текст] / И.И. Калина, Н.В. Смирнова // CREDO. – 2008. – № 10. – credo.osu.ru/010/006.shtml

4. Иродов, М.И. Мониторинг как инструментальное средство повышения эффективности управления системой профессионального образования [Текст] / М.И. Иродов, Т.А. Степанова // Ярославский педагогический вестник. – 2008. – № 1. – www.yspu.yar.ru:8101/ vestnik/ pedagoka_i_psichologiy/5_10/

5. Разработка документации системы менеджмента качества Южно-Российского государственного университета экономики и сервиса на основе международных стандартов ИСО серии 9000 [Текст] : отчет о НИР (заключит.) / Южно-Рос. гос. ун-т экономики и сервиса ; рук. С.П. Петросов ; исполн. : Н.П. Воронова [и др.]. – Шахты, 2006. – 241 с.

6. Сальников, Н. Реформирование высшей школы: концепция новой образовательной модели [Текст] / Н. Сальников, С. Бурухин // Высшее образование в России. – 2008. – № 2. – С. 3–11. – Библиогр. : (11 назв.)

7. Байденко, В.И. Стандарты в непрерывном образовании: концепту-альные, теоретические и методологические проблемы [Текст] / В.И. Бай-денко. – М., 2009. – 295 с.

8. Майер, Г.В. Нормативно-правовые и организационно-финансовые аспекты функционирования учебно-научно-инновационного комплекса классического университета [Текст] / Г.В. Майер, Г.Е. Дунаевский // Университетское управление: практика и анализ. – 2011. – № 3 – С. 42–47. – Библиогр. : с. 47.

9. Маклаков, С.В. Bpwin и Erwin. CASE-средства разработки информационных систем [Текст] / С.В. Маклаков. – 2-е изд. – М. : ДИАЛОГ-МИФИ, 2011. – 304 с.

10. Аванесов, В.С. Современные методы обучения и контроля знаний [Текст] : учеб. пособие для преподавателей вузов, техникумов и училищ, учителей школ, гимназий и лицеев, для студентов и аспирантов педагогических вузов / В.С. Аванесов. – М. : Кидди (Kiddy), 2008. – 103 с.

11. Сапронов, А.Г. Роль тестирования в условиях функционирования систем менеджмента качества образования в Южно-Российском государственном университете экономики и сервиса (ЮРГУЭС) [Текст] / А.Г. Сапронов, И.Н. Елисеев, И.И. Елисеев // Вопросы тестирования в образовании. – 2007. – № 15(3). – С. 112–114.

12. Челышкова, М.Б. Методические рекомендации по разработке педагогических тестов для комплексной оценки подготовленности студентов в вузе [Текст] : научно-методическое пособие / М.Б. Челышкова, Б.А. Савельев. – М. : Исслед. центр проблем качества подготовки специалистов, 2007. – 80 с.

13. Эрдниев, Н.М. Укрупнение дидактических единиц в обучении математике [Текст] / Н.М. Эрдниев, Б.П. Эрдниев. – М. : Просвещение, 2010. – 255 с.

14. Lord, F.M. Statistical Theories of Mental Test Scores / F.M. Lord, M. Novick. – Mass : Addison-Wesley Publ. Co. Reading, 2008.

15. Фомин, В.Н. Квалиметрия. Управление качеством. Сертификация. Курс лекций [Текст] / В.Н. Фомин. – М. : ТАНДЕМ; ЭКМОС, 2010. – 320 с.

16. Мальцева, Г.И. Применение системы сбалансированных показателей в процессе стратегического планирования вуза (на примере Владивостокского государственного университета экономики и сервиса) [Текст] / Г.И. Мальцева, Р.А. Луговой, Ю.А. Солдатова // Университетское управление: практика и анализ. – 2008. – № 5–6(33). – С. 96–10 – Библиогр. : 10 назв.

17. Акопян, А.С. Состояние здоровья и смертность детей и взрослых репродуктивного возраста в современной России [Текст] : монография / А.С. Акопян, В.И. Харченко, В.Г. Мишиев ; под ред. академика РАМН проф. В.А. Таболина. – М., 2009. – 168 с.

18. Аронов, Д.М. Первичная и вторичная профилактика сердечно-сосу-дистых заболеваний – интерполяция на Россию [Текст] / Д.М. Аронов // Сердце. – 2008. – Т. 1, № – С. 109–118.

19. Глазунов, И.С. Разработка системы мониторирования поведенческих факторов риска развития хронических неинфекционных заболеваний в России. Исследование в Москве [Текст] / И.С. Глазунов, Р.А. Потемкина, М.В. Попович [и др.]. – М., 2007. – 120 с.

20. Сквирская, Г.П. Профилактика заболеваний и укрепление здоровья населения [Текст] / Г.П. Сквирская // Здравоохранение. – 2010. – № 11. – С. 11–19.

21. Клумбене, Ю. Динамика артериального давления и прогнозирование артериальной гипертензии: данные 20-летнего наблюдения детской когорты [Текст] / Ю. Клумбене, Ж. Милашаускене, И. Мисявичене, А. Шачкуте // Кардиология. – 2007. – № 2. – С. 30–34.

22. Константинов, В.В. Распространенность артериальной гипертонии и ее связь со смертностью и факторами риска среди мужского населения в городах разных регионов [Текст] / В.В. Константинов, Г.С. Жуковский, Т.Н. Тимофеева [и др.] // Кардиология. – 2011. – № 4. – С. 39–4

23. Еделев, Д.М. Система выбора оптимальных режимов применения физических факторов для повышения резервов здоровья [Текст] : дис. … д-ра мед. наук / Еделев Д.М. – М., 2007. – 240 с.

Размещено на http://www.allbest.ru