В. С. Соболев, С. А. Степанов, А. Ю. Щербаков, В. В
| Вид материала | Документы |
- Организационный комитет, 22.6kb.
- И. П. Павлова кафедра медицинской биологии и медицинской генетики Корженевская М. А.,, 448.84kb.
- Владимир Федорович Степанов. Ему передаю микрофон. Степанов. Здравствуйте господа., 861.95kb.
- Решение: Членам Координационного совета из числа охранно-сыскных структур, руководителям, 240.35kb.
- Е. Г. Степанов санаторно-курортное лечение харьков хнагх 2006 удк 11. 455 Е. Г. Степанов., 3860.49kb.
- О. А. Степанов //Современное право. 2003., 33.25kb.
- Е. Г. Степанов Основы курортологии Учебное пособие, 3763.22kb.
- Ю. М. Степанов физиология в тестах учебное пособие, 11331.5kb.
- Степанов С. С. Мифы и тупики поп-психологии, 2451.13kb.
- С. М. Кирова степанов И. О., Мурашов О. В., Игнатькова С. А., Артюнина Г. П., Безопасность, 5461.47kb.
В.С. Соболев, С.А. Степанов, А.Ю. Щербаков, В.В. Азарьева
РЕЗУЛЬТАТЫ ПИЛОТНОЙ АПРОБАЦИИ МЕТОДИКИ САМООЦЕНКИ ВУЗА НА БАЗЕ НОВОЙ МОДЕЛИ СМК
1. Введение
В настоящее время в России разворачиваются следующие тесно взаимосвязанные между собой процессы:
1) Переход к комплексной оценке деятельности вузов, совмещающей процедуры лицензирования, аттестации и государственной аккредитации на базе утвержденного перечня показателей деятельности вузов, включающего, в частности, и показатели наличия и эффективности внутривузовских систем контроля качества образования.
2) Усиление конкуренции между вузами на рынке образовательных услуг и рынке трудовых ресурсов.
3) Интернационализация образования и вступление России в общее Европейское образовательное пространство после подписания Болонской декларации, которая требует унификации процессов контроля, обеспечения и гарантии качества предоставляемых образовательных услуг.
4) Широкое распространение в вузах страны работ по созданию, внедрению и сертификации внутривузовских систем управления качеством в соответствии с требованиями и рекомендациями международных стандартов по менеджменту качества серии ISO 9000:2000 (ГОСТ Р ИСО 9000-2001) и других моделей менеджмента качества.
5) Регулярное проведение с 2000 г. конкурса Минобразования России «Внутривузовские системы обеспечения качества подготовки специалистов» и других региональных конкурсов по качеству.
Указанные обстоятельства делают актуальной задачу разработки единой концепции, базовой модели и методики самооценки (оценки) систем менеджмента качества (СМК) Российских вузов, согласованных с отечественной и общемировой практикой построения систем обеспечения качества образовательных учреждений.
Такая модель и методика ее самооценки (оценки) могла бы, с одной стороны, использоваться вузами с целью постоянного совершенствования внутренних процессов управления и повышения качества образовательного процесса, а, с другой стороны, служила бы основой для проведения внешней экспертизы наличия и эффективности системы менеджмента качества вуза при проведения аттестационной экспертизы и государственной аккредитации вузов.
При этом в данном докладе под моделью СМК понимается определенная совокупность критериев, подкритериев и их составляющих, характеризующих основные компоненты деятельности вуза с позиций принципов менеджмента качества, а также описание уровней совершенства всех составляющих, которые в совокупности определяют все процессы деятельности организации, направленные на достижение требуемых результатов по качеству.
Необходимо отметить, что в настоящее время в России действует система государственного контроля качества ВПО, поддерживаемая процедурой комплексной оценки деятельности вузов, совмещающей процедуры лицензирования, аттестации и государственной аккредитации. Эта система базируется на упомянутом выше перечне показателей деятельности вузов, используемом при аттестационной экспертизе и государственной аккредитации, который, в частности включает показатель 1.2.4, отражающий наличие и эффективность внутривузовской системы контроля качества образования. Тем не менее, сами критерии наличия и эффективности СМК качества вуза в настоящее время не определены, что существенно затрудняет проведение внешней экспертизы при аттестации и государственной аккредитации вузов.
Кроме того, внедрение принципов и методов менеджмента качества в Российских вузах в настоящее время существенно осложняют следующие факторы:
- глубокие традиции, устоявшиеся системы управления, инерция и противодействие попыткам внедрения современных методов менеджмента качества, как со стороны руководства, так и со стороны профессорско-преподавательского состава;
- отсутствие квалифицированных менеджеров на среднем уровне управления в образовательных учреждениях;
- отсутствие необходимых методических пособий и рекомендаций по внедрению принципов менеджмента качества в вузах;
- утрата связи с предприятиями промышленности и, как результат, ведение обучения в отрыве от потребностей сегодняшнего дня;
- несоответствие систем управления на разных уровнях системы образования России.
В процессе выполнения проекта по Научно-методической программе Министерства образования РФ в 2003 г. в СПбГЭТУ «ЛЭТИ» разработана новая модель СМК вуза. С этой целью был проведен анализа отечественного и зарубежного опыта в этой области, включая Россию, страны Европы, США и Австралию, а также сравнительное исследование около 10 различных моделей СМК, используемых в высшем образовании.
Решением координационного Совета по управлению качеством Высшего профессионального образования при Министерстве образования и науки России разработанная модель СМК вуза принята в качестве базовой для оценки наличия и эффективности СМК при проведении аттестационной экспертизы и государственной аккредитации вузов, а также принято решение провести пилотную апробацию этой модели для вузов России.
В настоящем докладе приводится описание разработанной новой модели СМК вуза, методология проведения самооценки с использованием Internet-технологий, а также анализ результатов, полученных при пилотной апробации методики самооценки СМК вуза на основе разработанной модели для вузов России.
2. Анализ показателей государственной системы контроля качества ВПО и моделей СМК вузов
В целях разработки концепции, модели и критериев эффективности внутривузовской системы менеджмента качества был проведен анализ отечественного и зарубежного опыта в этой области, включая Россию, страны Европы, США и Австралию [1]. В частности, был проведен анализ показателей аттестационной экспертизы и государственной аккредитации [2] и сравнительное исследование около 10 различных моделей систем менеджмента качества вузов, включая следующие модели:
1) Модель системы менеджмента качества в соответствии с требованиями и рекомендация ми международных стандартов серии ISO 9001:2000 (ГОСТ Р ИСО 9001-2001) [3-5, 6];
2) Модель Европейского фонда по менеджменту качества (EFQM) и ее модификации для высшего образования [7-9];
3) Модель премии Правительства РФ в области качества;
4) Модель премии конкурса Министерства образования РФ «Внутривузовские системы обеспечения качества подготовки специалистов» 2003 г. [8]
5) Модель Центра исследований политики в области высшего образования (CHEPS) университета Твенте (Нидерланды) [10].
6) Модель Ассоциации университетов Нидерландов (VSNU) [11].
7) Бельгийско-нидерландская модель (HBO Expert Group) [9].
8) Модель национальной американской премии по качеству «Baldrige National Quality Award» в области образования [12].
9) Модель эталонного тестирования для Австралийских университетов [13] и др.
В основе всех этих моделей лежит процессно-ориентированный подход, все они имеют большую степень совпадения, взаимно дополняют друг друга и отличаются только полнотой и глубиной охвата всех рабочих процессов организации и степенью перекрытия СМК с общей системой менеджмента вуза.
Проведенное исследование позволило сделать следующие выводы:
2.1. Показателей государственной аккредитации
Государственная система контроля качества ВПО, обеспечиваемая процедурой комплексной оценки деятельности вузов на базе утвержденного перечня показателей, государственной аккредитации (Приложение 1 к Приказу МО РФ от 29.06.2000 № 1965 «Об утверждении Перечня показателей государственной аккредитации и критериальных значений показателей, используемых при установлении вида высшего учебного заведения»), имеет ряд существенных недостатков с точки зрения современных принципов менеджмента качества:
Показатели государственной аккредитации, описывающие общие возможности вуза и его позиционирование на рынке образовательных и научно-исследовательских услуг, такие как:
1.1 – «Содержание подготовки»,
2.1 – «Спектр реализуемых основных образовательных программ».
2.2 – «Возможность продолжения образования по программам послевузовского и дополнительного профессионального образования»,
2.3 – «Научные исследования. Спектр наук, в рамках которых выполняются научные исследования» и др.
имеют констатирующий характер и не позволяют судить о том, насколько современны учебные планы и рабочие программы преподаваемых дисциплин, насколько совершенна имеющаяся в вузе структура подготовки кадров по основным образовательным программам, структура научных исследований вуза или его бюджет.
С другой стороны, например, Показатель 1.3 – «Информационно-методическое обеспечение образовательного процесса» не дает ответ на вопрос: «Какова степень удовлетворенности студентов и преподавателей качеством информационно-методического обеспечения образовательного процесса?».
Показатель 1.4 – «Информатизация вуза» не дает ответ на вопрос: «Насколько эффективно и удобно для студентов и преподавателей используются компьютерные ресурсы вуза?».
Показатель 1.6 – «Социальная поддержка студентов» не дает ответы на вопросы: «Насколько студенты удовлетворены внеучебная работой?», «Общежития есть, но насколько они удобны?», «Пункты общественного питания имеются, но какие там цены, качество питания и очереди?».
Показатель 1.5 – «Материально-техническая база» не дает ответ на вопрос: «Учебно-лабораторная база достаточная, но насколько оборудованы аудитории средствами, поддерживающими современные технологии обучения и, вообще, не замерзают ли студенты в них зимой?» и т.д.
2.2. Показатели самообследования вуза, предшествующего аттестационной экспертизе, существенно дополняют и расширяют области и глубину оценки, охватываемой показателями государственной аттестации и аккредитации, и непосредственно связаны с базовыми принципами менеджмента качества. Они:
- четко отражают ориентацию на потребителя: студентов, выпускников и работодателей, и механизмы «измерения» их удовлетворенности (в том числе анкетирование);
- в большей степени ориентированы на процессы вуза, а не только на его потенциальные возможности и результаты, т.е. они в определенной степени отвечают на вопросы «как организован сам процесс (обучения, научно-исследовательской деятельности и т.д.)»;
- позволяют проследить динамику развития вуза по основным показателям;
- показатель 1.10 «Анализ соответствия содержания образования потребностям рынка труда» отражает ориентированность содержания образования на его непосредственных потребителей;
- включают оценку международной деятельности вуза, что соответствует международной практике оценки деятельности вузов и в современных условиях является весьма актуальным.
2.3. Общие недостатки показателей аккредитации и самообследования
Тем не менее, как показатели государственной аттестации и аккредитации, так и частично показатели самообследования не отражают ряд существенных моментов в деятельности вуза, которые в соответствии с базовыми принципами менеджмента качества влияют на качество подготовки специалистов:
• лидирующая роль руководства вуза в вопросах качества;
• формулировка миссии, видения, основных ценностей политики и стратегии вуза, планирование и следование поставленным целям;
• механизмы регулярного сбора и анализа информации;
• механизмы «измерения» удовлетворенности основных потребителей работы вуза (студентов, предприятий-работодателей, государства и др.);
• оценка качества содержания образовательных программ;
• оценка динамики развития вуза по всем показателям;
• вопросы общего менеджмента в вузе, включая управление персоналом, инфраструктурой, материальными и информационными ресурсами, технологиями и т.п.;
• финансово-экономическая деятельность вуза;
• влияние вуза на общество, в то числе международная деятельность вуза и др.
2.4. Базовые модели СМК в высшем образовании
Все исследованные модели в определенной степени перекрываются по своим критериям и подкритериям и коррелированны между собой. Наиболее полно специфика качества в высшем образовании на настоящий момент отражена в Бельгийско-нидерландской модели улучшения качества высшего образования [9], которая основана на модели Европейского фонда по менеджменту качества (EFQM). Эта модель в свою очередь во многом совпадает с моделью конкурса МО России «Внутривузовские системы обеспечения качества подготовки специалистов» [8]. Таким образом, базовые критерии этих моделей могут служить прототипом для построения модели систем менеджмента качества в Российских вузах с учетом положительных сторон других исследованных моделей.
2.5. Недостатки моделей типа EFQM
Модель EFQM, как и другие модели, построенные на ее основе и адаптированные для высшего образования, не содержат в явном виде ряд критериев и требований, без которых невозможно адекватно оценить наличие и степень совершенства СМК, но которые явно содержатся в требованиях стандарта ISO 9001:2000 (ГОСТ Р ИСО 9001-2001) [4], в том числе:
• внедрение процессного подхода;
• управление документацией;
• построение организационной структуры СМК;
• построение, поддержание и развитие системы измерений и мониторинга;
• планирование рабочих процессов вуза;
• внутренние аудиты, самооценка вуза и его структурных подразделений;
• постоянное улучшение, корректирующие и предупреждающие действия.
2.6. Современные тенденции в обеспечении качества образования
В настоящее время основной тенденцией в области обеспечения качества высшего образования становится перенос центра тяжести с процедур внешнего контроля качества образовательного процесса и его результатов на базе национальных систем аттестации и аккредитации в сторону внутренней самооценки (самообследования) вузов на основе тех или иных моделей менеджмента качества. Это обеспечивает перенос ответственности за качество и оценку качества туда, где она должна быть – в высшее учебное заведение, и приводит к существенной экономии материальных и временных ресурсов, выделяемых на проведение внешней экспертизы.
3. Структура и критерии новой модели СМК вуза
С учетом проведенного анализа исследованных моделей СМК вуза была разработана новая модель, критерии, подкритерии и составляющие которой представлены в Таблице 1.
В основу модели, как упоминалось выше, положены Бельгийско-нидерландская модель улучшения качества высшего образования [9], основанная на модели Европейского фонда по менеджменту качества (EFQM), и модель конкурса Минобразования России «Внутривузовские системы обеспечения качества подготовки специалистов» [8], которые существенно дополнены требованиями и рекомендациями стандартов серии ISO 9000:2000 [3-5].
Девять критериев рассматриваемой модели, как и в моделях, взятых за основу, сформированы в две группы: критерии группы «Возможности» и критерии группы «Результаты».
Таблица 1
|
Как видно из описания наиболее существенная переработка в новой модели по сравнению с базовыми моделями сводилась к следующему:
1) Несколько переупорядочены подкритерии первых четырех критериев.
2) Выделены три основные группы процессов вуза:
• процессы системы менеджмента качества, требуемые стандартом ISO 9001:2000 [4].
• основные рабочие процессы вуза.
• вспомогательные рабочие процессы вуза.
Каждая из этих групп конкретизирована с учетом специфика работы вуза, причем предполагается, что оценка уровня совершенства каждого из выделенных процессов производится отдельно.
3) Для критерия 6 «Удовлетворенность потребителей» выделены основные группы потребителей работы вуза:
• студенты и выпускники;
• предприятия-работодатели;
• государственные органы (Министерство образования и науки, органы лицензирования, аттестации, аккредитации и др.).
4) При формировании критериев группы «Результаты» были использованы следующие принципы:
• подкритерии группы «Результаты» должны отражать два основных момента: используемые механизмы сбора и анализа информации относительно удовлетворенности потребителей, персонала и общества и собственно степень этой удовлетворенности различными аспектами работы вуза (на основании анкетирования и косвенных свидетельств);
• степень удовлетворенности потребителей, персонала и общества должна оцениваться относительно всех аспектов работы вуза, которые определяются критериями, подкритериями и составляющими группы «Результаты» и относятся к рассматриваемой группе потребителей. Это позволяет реализовать для каждого критерия цикл Э. Деминга (PDCA) [1, 7], т.е. процесс постоянного совершенствования деятельности вуза по всем направлениям;
• в процессе построения модели были определены и детализированы конкретные показатели и индикаторы, относительно которых оценивается степень удовлетворенности заинтересованных сторон. Эти показатели и индикаторы могут быть использованы в качестве основы при построении соответствующих анкет.
4. Оценка уровней совершенства подкритериев и составляющих модели
Для оценки всех подкритериев и составляющих группы модели были разработаны специальные квалиметрические шкалы, которые вербально описывают, пять упорядоченных «уровней совершенства» или стадий развития подкритериев и составляющих. Этим пяти уровням совершенства поставлена в соответствие 10-ти бальная числовая шкала (от 1 до 10 баллов). Это позволяет перейти от качественной оценки соответствующих подкритериев и составляющих (видов деятельности, работ) к их количественной оценке.
В основу оценки уровней совершенства различных составляющих модели положены следующие шесть «измерений», соответствующих базовым принципам TQM:
1) Степень ориентированности на потребителей и другие заинтересованные стороны (от минимального удовлетворения требованиям ГОС ВПО и до полного учета интересов всех заинтересованных сторон).
2) Степень системности применяемого подхода (от краткосрочных эпизодических мер к планированию долговременной политики и стратегии).
3) Степень распространенности в вузе применяемого подхода по уровням управления, различным подразделениям и процессам.
4) Степень вовлеченности персонала вуза в соответствующие процессы.
5) Степень документированности процедур процессов (от неформального исполнения к полностью документированным процессам).
6) Степень ориентированности на предотвращение несоответствий и постоянное улучшение, а не на исправление возникающих проблем.
В Таблице 2 приведен пример квалиметрической шкалы оценки для одного из основных рабочих процессов вуза.
5. Условия проведения пилотной апробации методики самооценки вуза
Пилотная апробация методики самооценки системы менеджмента качества (СМК) вуза проводилась в период с 17 марта по 20 мая 2004 года с использованием Internet-технологий на закрытой зоне Web-сайте СПбГЭТУ «ЛЭТИ» ссылка скрыта (имя пользователя: smk-member/пароль: tqm2004smk).
Основной принцип проведения самооценки – ее конфиденциальность, при которой сведения по самооценке в процессе пилотной апробации не доступны другим вузам и Министерству образования и науки и используются только для вывода среднестатистических показателей по критериям модели.
В процессе проведения пилотной апробации:
• информационные материалы с описанием модели СМК и методики самооценки вуза с сайта были скачаны более 120 вузами;
• прошли официальную регистрацию на Web-сайте только 37 вузов;
• полностью представили результаты самооценки 25 вузов.
Таблица 2.
| № п/п | Критерии, подкритерии и составляющие модели | Шкала оценки |
| 5.2.6 | Контроль и оценка качества образовательного процесса | |
| № уровня | Описание уровней совершенства составляющих модели | |
| 1 | Оцениваются только компоненты учебно-методического обеспечения дисциплины на этапе их рассмотрения и утверждения. Каждый преподаватель самостоятельно определяет методологию оценки содержания и методов обучения, которые он реализует в своей деятельности. | 1 |
| 2 | ||
| 2 | Содержание и критерии оценки качества преподавания определяются группой преподавателей совместно по их собственной инициативе, например, в рамках кафедры. Сформулированы и задокументированы внутренние положения кафедры, определяющие содержание и критерии оценки качества преподавания. Разрабатывается единая политика оценки качества образовательного процесса вуза. | 3 |
| 4 | ||
| 3 | В вузе разработана и принята единая система оценки качества образовательного процесса со стороны администрации вуза, студентов, их родителей, потребителей и выпускников. Процедура контроля регламентирована внутренними нормативными документами. Определена периодичность проведения контроля и оценки. К разработке единой политики оценки качества образовательного процесса вуза привлекаются внешние эксперты, представители предприятий и организаций. | 5 |
| 6 | ||
| 4 | В вузе разработана и принята единая система оценки качества образовательного процесса со стороны администрации вуза, студентов, их родителей, потребителей и выпускников. Процедура контроля регламентирована внутренними нормативными документами. Определена периодичность проведения контроля и оценки. К процедурам проведения оценки привлекаются преподаватели вуза, студенты, предприятия и школы. На основе мнений и рекомендаций заинтересованных сторон процедура проведения оценки сравнивается с процедурами конкурирующих вузов и улучшается. | 7 |
| 8 | ||
| 5 | В вузе разработана и принята единая система оценки качества образовательного процесса со стороны администрации вуза, студентов, их родителей, потребителей и выпускников. Определена периодичность проведения контроля и оценки. На основе мнений и рекомендаций заинтересованных сторон процедура проведения оценки сравнивается с процедурами ведущих вузов страны и за рубежом и непрерывно улучшается. Имеются наглядные свидетельства того, что качество процедуры и ее результатов непрерывно улучшается в течение нескольких лет. | 9 |
| 10 |
При проведении самооценки с использованием Internet-технологий на web-сайте ссылка скрыта для вузов, желающих принять участие в самооценке были представлены следующие опросные формы:
1. Опросная форма относительно предпочтительной для вуза модели системы менеджмента качества (СМК).
2. Опросная форма по самооценке уровней совершенства подкритериев и составляющих предлагаемой модели СМК вуза.
3. Опросная форма по экспертной оценке весовых коэффициентов критериев, подкритериев и составляющих предлагаемой модели СМК вуза.
На web-сайте были представлены краткое описание модели СМК вуза и инструкция по заполнению опросных форм и вводу результатов на информационный web-сервер.
После ввода данных по самооценке каждый вуз имел возможность получить в режиме он-лайн ее графическое представление в виде «лепестковой» диаграммы по всем критериям модели (см. п. 6).
6. Результаты проведения пилотной апробации методики самооценки вуза
Статистические данные, собранные в процессе самооценки вузов с использованием Internet-технологий были представлены в виде матрицы результатов самооценки критериев и составляющих модели и матрицы результатов экспертной оценки весов критериев, подкритериев и составляющих модели.
Первичная статистическая обработка полученных результатов предполагала оценку средних значений (математических ожиданий), среднеквадратических отклонений (СКО), минимальных и максимальных значений, а также построение гистограмм распределений для критериев, подкритериев и составляющих модели и весовых коэффициентов.
Алгоритмы дальнейшей статистической обработки результатов самооценки вузов предусматривали:
1. Проверку гипотез о равенстве дисперсий (СКО) распределений различных критериев модели.
2. Проверку гипотез о равенстве математических ожиданий распределений критериев модели.
3. Оценку коэффициентов парной корреляции между критериями модели.
4. Выделение подгрупп критериев, средние значения которых различаются незначительно.
Статистическая обработка результатов самооценки проводилась с использованием стандартных статистических функций Microsoft Excel и пакета статистической обработки данных STATGRAPHICS Plus 5.1.
На Рис.1 представлена диаграмма предпочтительных моделей внутривузовской системы менеджмента качества, полученная по результатам анкетирования вузов, которая позволяет сделать вывод о том, что большинство вузов предпочитают использовать модель СМК в сооответствиисо стандартами серии ГОСТ Р ИСО 9000-2001.
Значительно меньшее число вузов использует модель конкурса Минобразования РФ «Внутривузовские системы обеспечения качества подготовки специалистов» - 5 вузов. Такое распределение приоритетов по моделям СМК говорит о большем «доверии» вузов к требования и рекомендациям стандартов серии ГОСТ Р ИСО 9000-2001, чем к содержанию критериев модели конкурса Минобразования РФ «Внутривузовские системы обеспечения качества подготовки специалистов».
В процессе статистической обработки результатов самооценки СМК вузов были рассчитаны средние значения, среднеквадратические отклонения оценок критериев модели и доверительные интервалы для них, которые представлены в Таблице 3.
 |
| Рис.1 |
Таблица 3.
Средние значения критериев модели и их 95% доверительные интервалы.
| № п/п | Среднее значение | Стандартная ошибка | Нижний предел доверительного интервала | Верхний предел доверительного интервала |
| Критерий 1 | 5,39 | 0,34 | 4,68 | 6,09 |
| Критерий 2 | 4,80 | 0,24 | 4,30 | 5,29 |
| Критерий 3 | 4,88 | 0,25 | 4,34 | 5,43 |
| Критерий 4 | 5,48 | 0,23 | 5,00 | 5,97 |
| Критерий 5 | 5,46 | 0,22 | 4,99 | 5,92 |
| Критерий 6 | 5,17 | 0,34 | 4,46 | 5,88 |
| Критерий 7 | 4,32 | 0,37 | 3,53 | 5,10 |
| Критерий 8 | 4,82 | 0,41 | 3,97 | 5,67 |
| Критерий 9 | 5,82 | 0,29 | 5,21 | 6,43 |
На Рис. 2 доверительные интервалы для средних значений критериев модели представлены в графическом виде, что дает представление об их реальном разбросе.
Стандартный F – тест проверки гипотезы о равенстве всех математических ожиданий оценок критериев модели обнаружил их значимое различие (значение F–статистики равно 2,21 при числе степеней свободы n1=8, n2=216). При этом в дальнейшем с помощью других статистических тестов были выделены группы критериев, различие математических ожиданий в которых не существенно.
 |
| Рис. 2. Доверительные интервалы для средних значений критериев модели. |
Были рассчитаны оценки коэффициентов парной корреляции между различными критериями модели. Результаты свидетельствуют о сильной положительной корреляции практически между всеми критериями модели.
Для выделения групп критериев модели СМК, математические ожидания оценок которых отличаются не значимо (так называемые гомогенные группы), были применены несколько статистических тестов. Полученные результаты представлены в Таблице 4.
Таблица 4.
| Критерии | Наименование статистического теста | |||||||||||||
| Средние | LSD-тест | Тьюки | Шеффе | Бонферрони | Стьюдента-Ньюмана | Дункана | ||||||||
| 7 | 4.32 | Х | - | - | X | - | X | X | - | X | - | X | - | - |
| 2 | 4.80 | Х | Х | - | X | X | X | X | X | X | X | X | X | - |
| 8 | 4.83 | Х | Х | - | X | X | X | X | X | X | X | X | X | - |
| 3 | 4.89 | Х | Х | - | X | X | X | X | X | X | X | X | X | X |
| 6 | 5.18 | Х | Х | Х | X | X | X | X | X | X | X | X | X | X |
| 1 | 5.39 | - | Х | Х | X | X | X | X | X | X | X | - | X | X |
| 5 | 5.46 | - | Х | Х | X | X | X | X | X | X | X | - | X | X |
| 4 | 5.49 | - | Х | Х | X | X | X | X | X | X | X | - | X | X |
| 9 | 5.83 | - | - | Х | - | X | X | - | X | - | X | - | - | X |
Группы критериев модели СМК, математические ожидания оценок которых отличаются не значимо, в соответствии с различными статистическими тестами отмечены вертикальными столбцами с буквой «Х».
Таким образом, большинство статистических тестов выделяют две или максимум три гомогенных группы критериев модели, математические ожидания оценок которых отличаются не значимо. При этом из всех критериев явно выделяются критерий № 7 «Удовлетворенность персонала» (в отрицательную сторону) и критерий № 9 «Результаты деятельности вуза» (в положительную сторону).
В то же время представляет интерес предметный анализ статистической информации, собранной в результате пилотной апробации методики самооценки.
Самый высокий средний балл был получен по критерию 9 «Результаты деятельности вуза» – 5.826 балла, по критерию 4 «Ресурсы и партнеры», по критерию 5 «Менеджмент процессов» и по критерию 1 «Лидирующая роль руководства» были получены почти одинаковые баллы – 5.488, 5.46 и 5.39 балла соответственно. Несколько ниже получилась оценка по критерию 6 ««Удовлетворенность потребителей»» – 5.176 балла. К следующей группе критериев можно отнести критерии 8 «Влияние вуза на общество», 3 «Менеджмент персонала» и 2 «Политика и стратегия», средние оценки по которым оказались очень близки (4.828, 4.8 и 4.88 балла соответственно). Самый низкий балл вузами был выставлен по критерию 7 «Удовлетворенность персонала» – 4.32 балла.
Полученные результаты говорят о том, что большинство вузов достаточно высоко оценивают уровень результатов своей деятельности. При этом также большинство вузов наибольшие проблемы ощущают в области деятельности, относящейся к критерию 7 «Удовлетворенность персонала».
Необходимо отметить распределение выставленных вузами оценок по подкритериям критерия 5 «Менеджмент процессов», отражающим уровень управления процессами в вузе. Наибольший средний балл был выставлен по подкритерию 5.3 «Вспомогательные рабочие процессы вуза» – 6.1 балла. По подкритерию 5.2 «Основные рабочие процессы вуза» – 5.52 балла, а самый низкий по подкритерию 5.1 «Процессы системы менеджмента качества вуза» – 4.35 балла. При этом по составляющей критерия 5.3.4 «Взаимодействие со школами, лицеями и будущими абитуриентами» был получен максимальный балл среди всех составляющих и подкритериев модели – 7.16 балла, всего по этой составляющей восемь вузов выставили себе оценки 9 или 10 баллов. Это на сегодняшний день действительно отражает подходы ведущих вузов России к формированию необходимого контингента обучающихся.
Самые низкие оценки были получены по подкритерию 7.1 «Механизмы сбора и анализа информации об удовлетворенности персонала вуза» – 3.2 балла. Общая самая низкая оценка критерия 7, а также исключительно низкая оценка по подкритерию 7.1, действительно отражают тяжелое положение в отношении решения задач повышения удовлетворенности персонала, работающего в высшей школе.
С одной стороны не используются современные подходы к сбору и анализу информации об удовлетворенности персонала, а с другой стороны эта удовлетворенность не высока, что в свою очередь приводит к неприятию внедрения в вузе принципов менеджмента качества. Указанный аспект взаимосвязан с низким баллом, выставленным по составляющей 5.1.1 «Внедрение процессного подхода» – 3.92 балла. Необходимо также отметить, что в рамках подкритерия 5.1 «Процессы системы менеджмента качества вуза» по всем составляющим были получены средние оценки ниже пяти баллов. При этом только по четырем составляющим из восьми средние оценки незначительно превышают 4.5 балла. Это говорит о том, что многие вузы слабо представляют основную идеологию современных подходов к созданию системы менеджмента вуза.
По максимальному количеству оценок 9 и 10 баллов, которые соответствуют высшему «уровню совершенства», необходимо выделить:
– составляющую 5.3.4 «Взаимодействие со школами, лицеями и будущими абитуриентами»;
– подкритерий 1.3 «Личное участие руководства вуза в работе с внешними заинтересованными сторонами (потребителями, поставщиками, партнерами, представителями общественности и др.)»;
– составляющую 5.2.4 «Прием студентов в вуз»;
– подкритерий 9.2 «Финансовые результаты работы вуза».
Высокие оценки по составляющим 5.3.4 и 5.2.4 не вызывают особых сомнений, т.к. вузы действительно активно работают с абитуриентами и имеют четко документированные правила приема студентов, которые требуются Министерством образования. Однако высокие оценки по подкритериям 1.3 и 9.2 вызывают определенные сомнения, т.к. в вузы на сегодняшний день слабо понимают, как привлекать дополнительные финансовые и материально-технические ресурсы за счет активной работы со всеми внешними заинтересованными сторонами, а больше говорят об увеличении бюджетного финансирования.
Самые низкие оценки (баллы 1 и 2, которые соответствуют начальному «уровню совершенства») были получены по:
– подкритерию 7.1 «Механизмы сбора и анализа информации об удовлетворенности персонала вуза»;
– подкритерию 4.1 «Управление финансово-экономической деятельностью и финансовыми ресурсами вуза»;
– подкритерию 7.2 «Степень удовлетворенности персонала вуза различными аспектами работы в вузе»;
На Рис. 3 представлена интегральная «лепестковая» диаграмма самооценки критериев модели, по всем вузам, принимавшим участие апробации. Средние значения критерие представлены в Таблице 5.
7. Основные выводы пилотной пилотной апробации самооценки СМК вузов
1. В пилотной апробации принимали участие 25 вузов, которые предоставили результаты самооценки. 120 вузов проявили заинтересованность в предлагаемой методике и модели. Это подтверждает актуальность проблемы создания СМК в российских университетах. Такая заинтересованность была также подтверждена личными контактами организаторов апробации с вузами, участвующими в апробации.
2. Несмотря на то, что в апробации принимали участие в основном «сильные» вузы (по оценке организаторов), полученные результаты свидетельствуют о недостаточно высоком уровне их управленческой деятельности по сравнению с международным уровнем.
3. Наличие значимой положительной корреляции практически между всеми критериями модели, а также несущественное отличие математических ожиданий оценок большинства критериев друг от друга, говорят о сбалансированности разработанной модели СМК вуза.
4. Исходя из проведенной апробации, можно сделать вывод, что вузы, имеющие показатели превышающие, по всем критериям интегральную лепестковую диаграмму, обладают «лучшей практикой» управленческой деятельности с позиций менеджмента качества в РФ.
 |
| Рис.3. Интегральная лепестковая диаграмма самооценки критериев модели СМК, по всем вузам, принимавшим участие пилотной апробации. |
Таблица 4.1
| Критерии группы «Возможности» | Критерии группы «Результаты» | ||
| 1. Лидирующая роль руководства | 5.39 | 6. Удовлетворенность потребителей | 5.18 |
| 2. Политика и стратегия | 4.80 | 7. Удовлетворенность персонала | 4.32 |
| 3. Менеджмент персонала | 4.89 | 8. Влияние вуза на общество | 4.83 |
| 4. Ресурсы и партнеры | 5.49 | 9. Результаты деятельности вуза | 5.83 |
| 5. Менеджмент процессов | 5.46 | | |
5. Проведенная апробация позволяет сделать вывод о том, что говорить о наличии СМК в вузе можно в том случае, если значения оценки деятельности по критериям модели находятся на уровне нижней границы доверительного интервала, полученного для математических ожиданий значений критериев (см. Таблицу 3).
6. Низкие среднестатистические оценки, полученные по критерию «Удовлетворенность персонала», действительно отражают тяжелое положение вузов в решении одной из самых важных задач – омоложения, развития и мотивации научного и профессорско-преподавательского состава.
7. Низкие среднестатистические оценки, полученные по подкритерию 5.1.«Процессы системы менеджмента качества» свидетельствуют о том, что в вузах на сегодняшний день недостаточно уделяется внимания использованию современных подходов в создании систем менеджмента качества вуза.
8. Высокие среднестатистические оценки по подкритериям 1.3 «Личное участие руководства вуза в работе с внешними заинтересованными сторонами» и 9.2 «Финансовые результаты деятельности вуза» противоречат ряду других низких среднестатистических оценок и не соответствуют реальному положения дел в большинстве вузов.
9. Достаточно низкая экспертная оценка весомости критерия 8 «Влияние вуза на общество» говорит о неполном понимании роли вузов в развитии интеллектуального потенциала общества и регионального строительства.
10. Анализ отзывов университетов о проведенной самооценке позволяет сделать следующий вывод: использование предлагаемой методики позволяет дать вузам инструмент для совершенствования основных механизмов улучшения научной, образовательной, воспитательной и социальной деятельности. При этом представленная Методика самооценки и квалиметрические шкалы уровней совершенства подкритероиев и составляющих модели содержат в себе определенную программу улучшения деятельности вуза.
Литература
1. «Менеджмент качества в образовательных учреждениях: Материалы курса повышения квалификации» / Д.В. Пузанков, С.А. Степанов, В.С., Соболев и др., Части 1 и 2. – СПб.: Изд-во СПбГЭТУ «ЛЭТИ», 2003. – 508 с.
2. Комплексная оценка высших учебных заведений: Учебное пособие// Наводнов В.Г., Геворкян Е.Н., Мотова Г.Н., Петропавловский М.В – Москва–Йошкар-Ола: Научно-информационный центр государственной аккредитации, 2001. – 192 с.
3. ГОСТ Р ИСО 9000-2001. Системы менеджмента качества. Основные положения и словарь. – М.: Изд-во стандартов, 2001. – 26 с.
4. ГОСТ Р ИСО 9001-2001. Системы менеджмента качества. Требования. – М.: Изд-во стандартов, 2001. – 21 с.
5. ГОСТ Р ИСО 9004-2001. Системы менеджмента качества. Рекомендации по улучшению деятельности. – М.: Изд-во стандартов, 2001. – 45 с.
6. «Методические рекомендации по применению стандартов серии ГОСТ Р ИСО 9000:2001 в высших учебных заведениях»/ Д.В. Пузанков, А.В. Олейник, В.С. Соболев, С.А. Степанов. – СПб.: Изд-во СПбГЭТУ «ЛЭТИ», 2003. – 220 с.
7. Колесников А.А., Козин И.Ф., Кожевников С.А., Соболев В.С., Степанов С.А., Щербаков А.Ю. Всеобщий менеджмент качества. Учебное пособие/ Под общей ред. С.А. Степанова. – СПб.: Изд-во СПбГЭТУ «ЛЭТИ», 2001. – 200 с.
8. Руководство для участников конкурса 2003 года «Внутривузовские системы обеспечения качества подготовки специалистов». – М.: Министерство образования РФ, 2003. – 27 с.
9. Method for Improving the Quality of Higher Education based on the EFQM Model, the HBO Expert Group, Second English version, Eindhoven, October 1999.– 88 pp.
10. А. Верклей, Д. Вестерхейден, М. Желязкова, Г. Мотова Принципы проведения самообследования. Пилотная версия. – Центр исследований политики в области высшего образования (CHEPS) Университета Твенте (Нидерланды), Научно-информационный центр государственной аккредитации (Российская Федерация). – CHEPS Ун-т Твенте, 2001. – 28 с.
11. Vroeijenstijn A.I. Towards A Quality Model for Higher Education// INQAAHE-2001 Conference on Quality, Standards and Recognition, March 2001.Conference on Quality, Standards and Recognition, March 2001. (Документ доступен на web-сайте he.org/conferences).
12. 2004 Education Criteria for Performance Excellence. Baldrige National Quality Program. – National Institute of Standards and Technology, 2000. – 82 pp. (Документ доступен на web-сайтах www.baldrige.nist.gov и www.asq.org).
13. K.R. McKinnon, S.H. Walker, D. Davis, Эталонное тестирование. Руководство для Австралийских университетов. – Департамент Образования, Обучения и дел молодежи, Австралийский союз, Февраль 2000. – 141 с. (Документ доступен на web-сайте www/detya.gov.au/highred/).