Разработка методов и моделей оценки качества образовательной деятельности в высшем учебном заведении

Козлов, Алексей Николаевич

Темы диссертаций по экономике » Математические и инструментальные методы экономики

Разработка методов и моделей оценки качества образовательной деятельности в высшем учебном заведении тема диссертации по экономике, полный текст автореферата

Автореферат

Ученая степень	кандидат экономических наук
Автор	Козлов, Алексей Николаевич
Место защиты	Москва
Год	2009
Шифр ВАК РФ	08.00.13

Диссертация

Автореферат диссертации по теме "Разработка методов и моделей оценки качества образовательной деятельности в высшем учебном заведении"

На правах рукописи

Козлов Алексей Николаевич

РАЗРАБОТКА МЕТОДОВ И МОДЕЛЕЙ ОЦЕНКИ КАЧЕСТВА ОБРАЗОВАТЕЛЬНОЙ ДЕЯТЕЛЬНОСТИ В ВЫСШЕМ УЧЕБНОМ ЗАВЕДЕНИИ

Специальность 08.00.13 - Математические и инструментальные методы

экономики

Автореферат

диссертации на соискание ученой степени кандидата экономических наук

Москва, 2009

003461474

Диссертация выпонена на кафедре Прикладной информатики в экономике Московского государственного университета экономики, статистики и информатики.

Научный руководитель Диго Светлана Михайловна

Кандидат экономических наук, профессор

Официальные оппоненты Уринцов Аркадий Ильич

Доктор экономических наук, профессор

Защита состоится л25 февраля 2009 г. в 14.00 часов на заседании Диссертационного Совета К212.151.01 при Московском Государственном Университете Экономики, Статистики и Информатики по адресу: 119501, г. Москва, ул. Нежинская д. 7.

С диссертацией можно ознакомиться в библиотеке Московского государственного университета экономики, статистики и информатики.

Автореферат разослан л23 января 2009 г.

Ученый секретарь Диссертационного Совета

Курганова Екатерина Владимировна

Кандидат экономических наук

Ведущая организация

ГОУ ВПО МАТИ - Российский государственный технологический университет имени К.Э.Циоковского

кандидат технических наук, доцент

(Мастяева И.Н.)

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы исследования. В основе динамичного развития современной экономики лежит качество подготовки кадров. На данный момент российская система высшего образования адаптируется к потребностям предприятий, однако, скорость ее изменений не соответствует быстроте перемен в экономике. В этих условиях отечественные организации вынуждены тратить значительное время и ресурсы на переподготовку молодых специалистов. В свою очередь у новых сотрудников на предприятиях увеличивается период адаптации, усложняется процесс ее вовлечения в трудовую жизнь.

Допонительными факторами, обусловливающими актуальность совершенствования деятельности высших учебных учреждений, стали:

демографический спад, который повлек за собой снижение количества абитуриентов, что в свою очередь привело к увеличению конкуренции между ВУЗами за право обучать бюджетных и внебюджетных студентов;

начало процесса сближения систем образования стран Европы -Болонский процесс, обязательным параметром которого является Контроль качества высшего образования.

Выше сказанное подтверждает необходимость инновационных изменений в сфере высшего образования, одним из которых является внедрение системы управления качеством.

Внедрение системы менеджмента качества (СМК) предполагает соблюдение условий, определяемых:

Международными стандартами в области качества. Положениями, определенными Государственными стандартами. Требованиями, изложенными в стандартах учебного заведения.

Существующие подходы и методы оценки качества образования не позволяют провести комплексную оценку разных направлений деятельности ВУЗа (в частности, финансовой и маркетинговой), а также не учитывают их взаимного влияния, и их влияния на результат обучения студентов. Основным недостатком существующих моделей оценки качества образовательной деятельности является также то, что они не способны выявлять устойчивые зависимости между эффективностью обучения студентов и качеством организации деятельности ВУЗа.

Указанные недостатки обусловливают необходимость разработки математических моделей, которые позволят не только учесть влияние качества организации деятельности ВУЗа на эффективность обучения студентов, но и значительно сократят временные затраты на проведение оценки, за счет автоматизации данного процесса. Следовательно, вопрос оценки качества образования в ВУЗе, а также задача разработки

математических методов и моделей оценки качества образовательной деятельности, учитывающая многоаспектность данного понятия, являются актуальными.

Цели и задачи исследования. Целью диссертационного исследования является разработка математических методов и моделей оценки качества образовательной деятельности, которые позволяют учитывать взаимное влияние направлений деятельности ВУЗа, а также их влияние на результат обучения студентов.

Достижение поставленной цели исследования предполагает решение следующих задач:

1. Анализ методов и моделей оценки качества образовательной деятельности в ВУЗе, позволяющий выявить основные тенденции развития подходов к оценке качества образовательной деятельности в ВУЗе.

2. Разработка методики и системы показателей для оценки качества организации деятельности в ВУЗе, учитывающей различные аспекты его деятельности.

3. Разработка метода оценки знаний студентов на основе компетентностного подхода, нацеленного на получение сведений о соответствии знаний, умений и навыков выпускников потребностям предприятий и рынка в целом.

4. Создание методики прогнозирования уровня качества знаний студентов в зависимости от качества организации деятельности в ВУЗе.

5. Построение математической модели оценки качества образовательной деятельности в ВУЗе и её программная реализация.

6. Проведение эксперимента по внедрению разработанных методов и моделей.

Предмет и объект исследования. Объектом исследования являются процессы деятельности ВУЗа. Предметом исследования являются методы и модели оценки качества процессов деятельности ВУЗа.

Теоретическую и методологическую основу исследования составили работы отечественных и зарубежных специалистов в области управления качеством, оценки знаний студентов высших ВУЗов на основе компентностного подхода, оценки деятельности организации, математических методов и моделей, в том числе нейросетевого подхода. В диссертационном исследовании использованы положения, разработанные зарубежными авторами: Капланом Р., Нортоном Д., Уордом К., МэйселомЛ, Уоссерменом Ф., Нивеном П., Адамсом К., Робертсом П., Мк-Нейером К. и др. Из отечественных авторов рассматриваемым вопросам посвящены работы Тихомирова В.П., Тихомировой Н.В., Плакского С.И., Геворкян E.H., Коломниеца Б.К., Зимней И.А., Байденко В.И., Тартура Ю.Г., Нуждина В.Н., Махотило К.В., Перева Е.В., Галяминой И.Г., Заенцева И.В. и др.

Научная новизна

1. Предложено сочетание компетентностного подхода и системы сбалансированных показателей (ССП) для оценки качества образовательной деятельности в ВУЗе.

2. Создана методика формирования ССП, и на её основе разработан шаблон ССП для оценки эффективности деятельности в ВУЗе.

3. Определен набор показателей для оценки качества деятельности ВУЗа, охватывающий различные категории процессов, обеспечивающих эффективность деятельности учебного заведения.

4. Сформирована структура дерева компетенций выпускника, отражающая как моноподготовку студентов, так и двухуровневую систему образования.

5. Предложена структура нейронной сети для прогнозирования значений уровня компетенций студентов ВУЗов в зависимости от состояния значений показателей деятельности ВУЗа.

6. Построена математическая модель оценки качества образовательной деятельности в ВУЗе, направленная на анализ показателей процессов учебного заведения и позволяющая выявить устойчивые зависимости между эффективностью обучения студентов и качеством организации деятельности ВУЗа.

Практическая значимость, апробация и внедрение результатов.

Теоретические и практические выводы, полученные в результате проведенного исследования, могут быть использованы ВУЗами для построения собственных моделей для оценки качества оказываемых ими образовательных услуг, что подтверждается результатами апробации разработанной модели на базе ГОУ ВПО МАТИ - Российского государственного технологического университета имени К.Э.Циоковского.

Разработанные структура дерева компетенций и шаблон ССП могут быть адаптированы для любого ВУЗа вне зависимости от его размеров, количества направлений подготовки, а также сложности существующей организационной структуры и количества процессов.

Модель позволяет прогнозировать уровень знаний студентов в зависимости от качества организации деятельности в ВУЗе. Данное свойство разработанной модели позволяет выстроить процессы управления научной деятельностью, организации учебного процесса, управления персоналом, учебно-методического обеспечения, финансового обеспечения таким образом, чтобы получать наиболее высокий уровень знаний и умений студентов при выпуске.

Шаблон ССП был реализован с использованием пакета прикладных программ (ППП) ARIS BSC. Для описания структуры нейронной сети, её

обучения и тестирования использовася модуль Neural Network Tool ППП MATLB 6.0.

'Результаты исследований представлёны на научных конференциях и семинарах: 7-ой, 9-ой научно-практических конференциях Реинжиниринг бизнес-процессов на основе современных информационных технологий. Системы управления знаниями, Международной молодёжной научной конференции лXXX Гагаринские чтения, 6-ой Всероссийской научно-практической конференции Управление качеством, а также были отражены в отчетах по НИР кафедры ПЭИС МЭСИ по темам Разработка методологических основ создания систем управления бизнес-процессами и Разработка методологических основ создания систем интеграции знаний.

Публикации. По теме диссертации опубликовано 7 работ общим объёмом 2,63 печ.л, в том числе 2 работы в журналах, входящих в Перечень ведущих рецензируемых научных журналов и изданий, в которых дожны быть опубликованы основные научные результаты диссертации на соискание ученой степени доктора и кандидата наук.

Структура диссертации. Диссертация состоит из введения, трёх глав, выводов по главам, заключения и списка литературы. Представленный материал илюстрируется рисунками и приложениями.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность темы диссертации, формулируются цели и задачи исследования, определяются предмет и объект исследования, раскрывается научная новизна работы, представляются сведения об апробации и внедрении результатов исследования, а также о теоретической и практической значимости проведенного исследования.

В первой главе анализируются существующие модели оценки качества образования, рассматриваются инструменты, применяемые для оценки эффективности деятельности организации и возможность их адаптации к сфере высшего образования, анализируется возможность применения математических методов для выявления устойчивых зависимостей между эффективностью организации различных процессов ВУЗа и компетенциями студентов.

Качество образования определяется:

1. Качеством организации деятельности в ВУЗе - тем, насколько эффективно и результативно функционируют процессы учебного заведения.

2. Качеством знаний, получаемых студентами в процессе обучения.

В работе показано, что уровень компетенций студентов, являющийся результатом деятельности ВУЗа, определяется качеством организации процессов деятельности ВУЗа.

В первой главе были проанализированы модели оценки качества образовательной деятельности, в основе которых лежат требования, подходы к оценке и наборы показателей, определяемые нормативными актами Российской Федерации, международными стандартами в области качества, а также отдельными методиками, предложенными специалистами в области качества.

Проанализированные модели обладают рядом недостатков:

1. Сложность адаптации к сфере высшего образования и недостаточная эффективность по сравнению с моделью, изначально разработанной для учебных заведений.

2. Невозможность оценки ВУЗа по отдельным направлениям деятельности.

3. Нацеленность на оценку либо компетенций студентов, либо эффективности процессов деятельности ВУЗа.

4. Невозможность выявления причин проблем, возникающих в процессе деятельности ВУЗа.

В работе были проанализированы подходы к оценке качества организации деятельности в ВУЗе и уровня компетенций студентов. При выборе подхода к оценке эффективности деятельности организации были проанализированы следующие методы:

1. SWOT - анализ, который позволяет выявить сильные и слабые стороны организации, а также потенциальные возможности и угрозы.

2. Gap-анализ - анализ разрывов; с его помощью можно организовать поиск шагов для достижения заданной цели.

3. ССП (система сбалансированных показателей) - система взаимосвязанных целей и показателей, отражающая состояние основных направлений деятельности организации (составляющих или перспектив ССП) и позволяющая выявлять причины несоответствий в процессах учебного заведения.

В результате анализа, для оценки деятельности ВУЗа была выбрана ССП, обладающая по сравнению с другими подходами следующими возможностями:

1. Выявление причин недостатков, обнаруженных в процессах ВУЗа.

2. Изменение структуры ССП в соответствии с требованиями конкретного ВУЗа.

3. Учет нефинансовых показателей.

4. Использование ССП для государственных организаций.

Для оценки знаний и умений студентов предлагается использовать компетентностный подход, предполагающий оценку уровня достижения студентом набора компетенций и обладающий рядом преимуществ:

получение студентами именно тех знаний, которые понадобятся им при дальнейшей трудовой деятельности;

учет требований рынка труда при составлении содержательной части образовательных программ;

унификация подхода к оценке знаний выпускников на базе единых требований к их компетенциям.

В работе показано, что определение устойчивых зависимостей между рядами значений компетенций и составляющими ССП возможно за счет применения методов прогнозирования. Общим недостатком большинства рассмотренных методов прогнозирования (метод экспоненциального сглаживания, вероятностного моделирования, адаптивного сглаживания) является то, что возможности методов математической статистики ограничены жесткими статистическими предположениями о свойствах временных рядов и во многих случаях не позволяют прогнозировать ход реальных процессов. Поэтому для решения задачи выявления функциональной взаимосвязи между показателями ССП и показателями компетентностной модели было предложено использовать инструментарий нейронных сетей, реализующих идеи предсказания и классификации при наличии обучающих последовательностей.

Во второй главе определяется порядок формирования и состав модели для оценки эффективности процессов деятельности ВУЗа, рассматриваются подходы к оценке результатов деятельности ВУЗа, приводится математический аппарат, используемый для выявления устойчивых взаимосвязей между качеством деятельности ВУЗа и уровнем компетенций студентов.

В соответствии с классической концепцией ССП оценка организации происходит на основе четырех составляющих: финансы, клиенты, процессы и персонал, Разработанный шаблон ССП включает в себя восемь составляющих, представляющих собой ключевые направления деятельности

1. Учебный процесс.

2. Научная и инновационная деятельность.

3. Управление профессорско-преподавательским составом (ППС).

4. Обеспечение учебно-методическими материалами.

5. Социальное и техническое обеспечение.

6. Управление административным составом.

7. Финансовая деятельность.

8. Маркетинговая деятельность.

Структура разработанного шаблона ССП обоснована тем, что в отличие от коммерческих организаций, основной целью ВУЗа является не получение прибыли, а предоставление качественного образования студентам, которое напрямую зависит от эффективности организации учебного процесса. В связи с этим, первое место в разработанном шаблоне ССП ВУЗа, будет занимать не финансовая составляющая, а лучебный процесс. В связи с тем, что результаты научных исследований влияют на состав и содержание знаний, которые студенты получают в процессе обучения, перспектива научная деятельность занимает второе место в структуре ССП.

Качество учебного процесса также зависит от квалификации ППС и административного персонала. При этом составляющая луправление ППС напрямую влияет на результаты научных исследований, а, следовательно, она дожна располагаться под составляющей научная деятельность.

Уровнями ниже располагаются составляющие, которые отражают обеспечивающие процессы ВУЗа. В свою очередь от эффективности управления административным составом зависит качество процессов ВУЗа. Исходя из этого, составляющая Управление административным составом дожна располагаться ниже перспектив, отражающих обеспечивающие процессы ВУЗа.

Финансовая составляющая занимает предпоследнее место в структуре ССП. Последней составляющей в структуре ССП является Маркетинговая деятельность. Данное направление деятельности позволяет привлечь допонительное финансирование за счет привлечения внебюджетных студентов и повышения имиджа ВУЗа в целом, а, следовательно, улучшить состояние вышележащих составляющих ССП ВУЗа.

Предложенный шаблон ССП содержит двадцать восемь целей и пятьдесят два показателя, определяющих степень достижения целей. Структура шаблона ССП может поностью изменяться при адаптации к ВУЗу. Фрагмент ССП, отражающий составляющие Учебный процесс и Научная деятельность представлен на рис. 1.

В работе были рассмотрены современные подходы к формированию состава компетенций студентов, в частности, был изучен макет стандарта третьего поколения, в котором структура дерева компетенций включает в себя следующие блоки:

1. Общекультурные компетенции;

2. Профессиональные компетенции.

В работе предлагается использовать структуру дерева компетенции, отличающуюся от рассмотренной выше и обладающую следующими преимуществами:

Г*:), рсг^ххимез Саизс.-иткЛЬх!

Рис. 1 Фрагмент шаблона ССП ВУЗа, реализованного в ППП АШБ

упрощается процесс определения степени развития компетенций, получаемых студентами в магистратуре, за счет отсутствия отдельной компетентностной модели для магистров; учитывается модульная система образования, позволяющая студентам развивать допонительные навыки; сокращаются временные затраты на формирование компетентностой модели за счет включения в структуру шаблона групп компетенций, общих для всех специальностей; появляется возможность выявления недостатков как в теоретической так и в практической подготовке студентов.

Разработанный шаблон дерева компетенций студента, который отражает двухуровневую систему образованЩ (бакалавриат и магистратуру), включает в себя следующие блоки компетенций:

общие - определяют степень владения студентом общенаучными подходами и методами, базовыми понятиями и определениями; личностные - характеризуют развитие личных качеств студента; специальные - показывают уровень развития профессиональных компетенций студента.

Блок специальных компетенций определяет степень владения студентами практическими и теоретическими навыками в рамках специальности, а также предусматривает возможность изучения студентами факультативного набора предметов, а, следовательно, развития допонительных компетенций. Кроме того, блок специальных компетенций включает в себя группу компетенций, которая отвечает за развитие знаний и навыков, получаемых студентами в магистратуре. Таким образом, в структуру дерева компетенций было включено семь групп:

1. Общие компетенции.

2. Личностные компетенции для всех специальностей.

3. Личностные компетенции для направления.

4. Специальные компетенции для направления (теоретические).

5. Специальные компетенции для направления (практические).

6. Допонительные компетенции.

7. Компетенции, получаемые в магистратуре.

В диссертации была разработана математическая модель оценки качества образовательной деятельности, учитывающая взаимосвязь ССП и компетентностной модели студента.

Состояние ССП и компетентностной модели студента описывается векторами X и у :

X = (Л"], х^, х^, х^, , х6, х7, х^) , (1)

где Х1,Х2,Х3,Х4,Х5,Х6,Х1,Х% - значения степени реализации составляющих ССП, измеряемые по относительной шкале от 0 до 1.

где >",, у2, у3, у4, у, у6, Уч - значения групп компетентностей,

измеряемые по относительной шкале от 0 до 1.

С целью определения функциональной зависимости между векторами х и у был использован нейросетевой подход. С целью подготовки данных, поступающих на вход сети, был разработан агоритм определения значений степени реализации составляющих ССП. При расчете значений степени реализации составляющих X,, х2, Х3, х4, л*5, Х6, Х7, х8 было сделано предположение о том, что каждая составляющая имеет множество целей от С) до ст, где т - количество целей в составляющей Х1 где, / -номер составляющей ССП (номер входного сигнала нейронной сети).

Достижение каждой из целей су/ (где ] - номер цели) ССП

определяется состоянием показателей Ру , которые поддерживают

данную цель, а также степенью выпонения нижележащих целей. В общем виде взаимосвязь между показателями, целями и составляющими ССП можно описать следующим образом:

Для каждой цели было задано 3 возможных состояния: - цель не достигнута;

52 - цель достигнута частично; - цель достигнута.

Цели ССП располагаются на различных уровнях, при этом цели нижних уровней связаны с верхними и оказывают на них влияние. Следовательно, при расчете степени выпонения цели необходимо учитывать значения степени реализации целей, которые лежат на нижних уровнях.

Таким образом, состояние цели будет определяться, исходя из значения степени её реализации су/, которое рассчитывалось следующим образом:

У - (У\->Уг>Уз>У4'У$>У(Ут) >

Ру С л Х1

Ру - значение итогового показателя - определяется исходя из значений показателен р^ , поддерживающих ] -ю цель,

\И - коэффициент, отражающий степень влияния нижележащих целей

на искомую и определяющийся исходя из состояния целей, лежащих в основе рассматриваемой цели,

П - количество показателей, поддерживающих цель,

/ -номер показателя.

В работе было определено, что состояние для цели устанавливается в случае, если су > 0,9 ; состояние - если 0,5 < с] < 0,9; - если С; < 0,5.

Каждая цель ССП характеризуется несколькими показателями. Все показатели одной цели могут иметь различную значимость при определении степени достижения цели. Для того чтобы учесть различие в степени влияния показателя на цель экспертно был определен вес каждого из показателей - к^ .

С учетом веса кц , итоговый показатель рассчитывася по формуле:

где Ру - взвешенное значение показателя;

Ру - значение показателя, полученное в результате сбора информации;

Ру - нормативное значение показателя.

Показатель считается:

1. Достигнутым, если: Ч^ 0,9,

2. Не поностью достигнутым, если 0,5 < Чг < 0,9 .

Значения, определяющие состояние показателей, определялись экспертно, и могут быть изменены.

Для расчета значения коэффициента влияния нижележащих целей необходимо подсчитать количество целей, имеющих состояние и 82 Х

Пусть А\ - это число целей имеющих состояние , а Ы2 -количество целей имеющих состояние ^, тогда значение коэффициента

Коэффициенты 0,01 и 0,02 были определены экспертно и могут быть изменены.

Итоговое значение степени реализации составляющей было рассчитано как сумма значений степеней реализации целей:

Для обработки данных, полученных от ССП строится модель нейронной сети. Выбор функции активации нейронной сети производися с учетом следующих факторов:

1. Специфики задачи.

2. Удобства реализации на ЭВМ.

3. Агоритма обучения.

При этом следует учитывать, что чаще всего вид нелинейности не оказывает принципиального влияния на решение задачи, тем не менее, удачный выбор может сократить время обучения в несколько раз.

При выборе функции активации было учтено, что четких агоритмов для выбора функции активации не существует. Функция активации нейронной сети лишь отражает подход её разработчика к рассмотрению поставленной задачи.

Предсказание значений компетентностей студентов в зависимости от состояния показателей деятельности ВУЗа не является такой сложной задачей, как задачи классификации, проверки гипотез, распознавания образов. Следовательно, применение таких функций как зойшах, позволяющей определять вероятность наступления событий, гаусовской кривой, применяемой в случаях, когда реакция нейрона дожна быть максимальной для некоторого определенного значения, а также других

V, =1 - (0,0Ш2 + 0,02А^)

специфических функций, не требуется. В качестве функции активации выбрана логистическая функция, преимуществами которой являются её непрерывность и гладкость. Непрерывность первой производной позволяет обучать сеть градиентными методами (например, метод обратного распространения ошибки). Диапазон входных значений данной функции не ограничен (функция определена на интервале (-со;+со), поэтому она

впоне подойдет для решения данной задачи).

На этапе построения модели нейронной сети было определено количество её слоев.

Строго определенной процедуры для выбора количества нейронов и количества слоев в сети не существует. Чем больше количество нейронов н слоев, тем шире возможности сети, тем медленнее она обучается и работает, и тем сложнее может быть зависимость между входом и выходом.

Количество нейронов и слоев связано:

- со сложностью задачи;

- с количеством данных для обучения;

- с требуемым количеством входов и выходов сети.

В работе было учтено, что данные для обучения сети будут весьма скудны, а зависимость между наборами данных относительно сложна. Исходя из этого, в работе было предложено использовать перцептрон не с одним слоем, а с четырьмя. Это позволяет повысить производительность нейронной сети и при этом существенно не снижать скорость ее работы.

На этапе выбора количества нейронов в каждом слое нейронной сети было определено, что на вход сети подается восемь значений степени реализации составляющей ССП, а на выходе формируются значения шести (или семи, в случае если студент обучается в магистратуре) групп компетенций. Следовательно, в первом (входном) слое нейронной сети дожно находиться восемь нейронов, а в выходном - шесть или семь.

На следующем этапе построения сети был определен диапазон изменения входных и выходных данных, а также весов нейронной сети.

На вход логистической функции могут подаваться любые значения, а на выходе будут получены значения от 0 до 1. В качестве значений весов был определен вектор IV , причем начальное значение каждого из его элементов будет равно 0,1. Данный выбор был сделан, исходя из следующего положения: начальные значения не дожны быть большими, чтобы нейроны не оказались в насыщении (на горизонтальном участке функции активации), иначе обучение будет очень медленным. Начальные значения не дожны быть и слишком малыми, чтобы выходы большей части нейронов не были равны нулю, иначе обучение также замедлится.

Принцип обучения нейронной сети описывается следующей формулой:

NET = 2>,х, ; у = F(NETh-вh) (В)

t - количество входных сигналов; I - номер входного сигнала (номер составляющей ССП); vv- вектор весов - совокупность весовых коэффициентов нейронной сети;

И - номер слоя нейронной сети;

NET Ч взвешенная сумма входных сигналов, значение NET передается на нелинейный элемент;

в Ч пороговый уровень нейрона в слое h;

F Ч нелинейная функция, называемая функцией активации. На вход нейронной сети подается один вектор X из обучающего множества. Далее происходит расчет выхода и сравнение полученного выходного вектора у с эталоном d. Зная разницу между ними, можно ввести коррекции для весовых коэффициентов и пороговых уровней: Aw, ~ s{dh -yh)x,

A eh^-E(dh-yh)

где S Ч значение, характеризующее скорость обучения и определяемое нейронной сетью.

Разница между выходом и эталоном, dhЧyh, умноженная на

текущее значение входа xh обеспечивают правильное направление

коррекций: если dh < yh, то выход дожен увеличиться, и уменьшаться

если dh > yh. Вес увеличивается, если X, > 0 и уменьшается, если х1 < 0.

Если Ху = 0, то вес менять нельзя, так как он не влияет на выход.

Абсолютное значение также учитывается при обучении. Если

значение входа велико, то небольшое изменение веса сильно меняет выход. Чем меньше меняются веса, тем меньше вероятность искажения уже

запомненных образов. Поэтому множитель X, оправдан.

Чем больше отклонение вектора IV от вектора 0 , тем лучше обучена нейронная сеть. Рассмотренный выше вариант коррекции весовых коэффициентов и пороговых уровней способствует росту дисперсии, и, следовательно, увеличивает количество запомненной информации.

Исходя из общего принципа обучения нейронных сетей, порядок работы двухслойного перцептрона будет отражаться следующей формулой: 6 ю ю 8

8=1 г=1 а=1 /=1

где -Р(х) = -Ч(10) 1 + е

g -номер сигнала в четвертом слое, г -номер сигнала в третьем слое, и -номер сигнала во втором слое.

Преимуществом разработанной модели является сочетание двух подходов - компетентностного и ССП, в основе взаимосвязи которых лежит нейросетевая структура, позволяющая наиболее точно определять зависимость между рядами значений.

Третья глава посвящена проведению эксперимента по внедрению разработанной модели и анализ полученных результатов.

Эксперимент включал четыре этапа:

1. Разработка анкеты для определения уровня компетенций студентов.

2. Анкетирование студентов.

3. Сбор показателей деятельности ВУЗа в соответствии с ССП.

4. Обучение и проверка результатов обучения нейронной сети.

Эксперимент по внедрению разработанной модели проводися на базе

ГОУ ВПО МАТИ - Российского государственного технологического университета имени К.Э.Циоковского. Для проведения анкетирования было решено выбрать выпускников, получающих степень бакалавра по специальности 23.01.00 - Информатика и вычислительная техника. При помощи сотрудников выпускающей кафедры был составлен список компетенций для данной специальности.

Каждой компетенции студента был сопоставлен один или несколько предметов, изученных студентами в период обучения, причем для каждого из предметов был определен вес, указывающий важность данного предмета для выпускника. По каждому из предметов было разработано несколько заданий, вошедших в анкету и позволяющих определить уровень достижения выпускниками компетенций. На основе разработанной анкеты было проведено тестирование знаний студентов.

В результате тестирования были получены данные о правильности ответов на каждый вопрос теста. Полученные значения были перемножены

на вес предмета, к которому относися вопрос. В результате было получено значение степени достижения выпускниками каждой из шести групп компетенций.

Полученные значения отражали уровень компетенций выпускников за 2008 год. Исходя из невозможности провести анкетирование выпускников предыдущих годов было принято решение получить данные об уровне их компетенций на основании показателей успеваемости. Значения уровня компетенций за период с 2001 по 2007 год представлены в табл. 1

табл. 1

Значения групп компетенций студентов за период с 2001 по 2007 год

Зиачсшш групп компетенций

Группа компетенции \ 2001 2002 2003 2004 2005 2006 2007

14од ,

Общие

компетенции 0.551 0.5723 0.5959 0.6314 0.6140 0.5547 0.6585

Личностные

компетенции для

всех

специальностей 0.532 0.564 0.569 0.51 0.626 0.689 0,678

Личностные

компетенции для

направления 0.586 0.588 0.614 0.5896 0.573 0.6063 0.6038

Допонительные

компетенции 0.854 0.835 0.839 0.8747 0.9483 0.8808 0.8723

Специальные

компетенции для

направления

(Теоретические) 0.536 0.674 0.6 0.6263 0.8191 0.7271 0.5906

Специальные

компетенции для

направления

(Практические) 0.518 0.5785 0.7065 0.7349 0.6645 0.5735 0.7975

Следующим этапом проведения апробации модели являся сбор показателей деятельности ВУЗа. Для этого были использованы данные, представленные ВУЗом в процессе проведения комплексной оценки, а также данные, отраженные в Ежегодном модуле сбора информации об образовательном учреждении в период с 2001 по 2008 год.

На основании разработанной математической модели были получены значения по каждой из восьми составляющих ССП в период с 2001 по 2008 год (табл. 2).

табл. 2

Значения степени реализации составляющих ССП подготовленные для обучения нейронной сети_

Составляющие ССП Значения степени реализации составляющих ССП

2001 2002 2003 200-1 .2005; 2006 2007 2008

Учебный Процесс 0.036 0,036 0,039 0,038 0,038 0,038 0,040 0,042

Научная деятельность 0,016 0,017 0,029 0,023 0,030 0,036 0,036 0,036

Управление ППС 0.032 0,031 0,03 0,031 0,029 0,030 0,028 0,029

Учебно- методическое обеспечение 0,031 0,033 0,033 0,039 0,043 0,045 0,044 0,045

Техническое м социальное обеспечение 0,019 0,021 0.024 0,026 0,027 0,027 0,026 0,027

Управление административным Составом 0,035 0,035 0,037 0,032 0,030 0,028 0,032 0,032

Финансовая деятельность 0.011 0,011 0,011 0,012 0,013 0,015 0,015 0,016

Маркетинговая деятельность 0,005 0,004 0,006 0,007 0,004 0,008 0,005 0,007

По результатам анализа динамики значений степени реализации составляющих были сделаны выводы о том, что:

отрицательная динамика составляющей Управление ППС указывает на то, что ВУЗу необходимо обратить внимание на данную область своей деятельности, а также разработать стратегию улучшения в области управления ППС;

ВУЗу также необходимо увеличить финансирование закупок современного компьютерного оборудования, что позволит вывести процесс проведения занятий на новый качественный уровень;

ВУЗ активно ведет научно-исследовательскую деятельность, что отражается на постоянном росте значения степени реализации составляющей Научная деятельность и позволяет привлечь в ВУЗ допонительные инвестиции;

значения степени реализации таких составляющих как Управление административным составом, Учебно-методическое обеспечение, Финансовая деятельность и Маркетинговая деятельность за рассматриваемый период изменялись не сильно. Полученные данные отражают то, что деятельность в рамках данных направлений ведется на высоком уровне;

несмотря на проблемы с ППС и техническим обеспечением значение степени реализации составляющей Учебный процесс постоянно росло, начиная с 2001 года, что указывает на стремление ВУЗа дать качественные знания своим студентам.

Последним этапом проведения эксперимента было обучение нейронной сети и проверка результатов её обучения. На основании значений компетенций выпускников и значений показателей деятельности ВУЗа за период с 2001 по 2007 год было проведено обучение сети, имеющей следующую структуру:

1. Имеет четыре слоя - с восемью нейронами в первом слое, с шестью - в выходном и с десятью нейронами в третьем и четвертом.

2. Содержит логистические функции во всех слоях.

3. Использует агоритм обратного распространения ошибки.

4. Принимает на вход вектор из восьми элементов и генерирует на выходе вектор из шести элементов.

Структура нейронной сети, полученной в ППП МАТЬАВ представлена на рис.2.

Рис.2 Структура нейронной сети, полученной в ППП МАТЬАВ

Для того чтобы проверить результативность обучения на вход сети был подан лишь вектор значений показателей деятельности ВУЗа за 2008 год. По результату работы сети был получен прогнозируемый уровень значений групп компетенций выпускников. Сопоставив полученный вектор с имеющимся (табл. 3), было выявлено, что отклонение между значениями данных векторов составило не более 3-5%, что указывает на то, что нейронная сеть действительно была обучена, а оценка качества образования на основании разработанной модели возможна.

табл. 3

Сравнение фактических и спрогнозированных значений _достижения студентами компетенций за 2008 год_

Значения компетенций за 2008 год

Группы Имеющиеся Спрогнозированные

компетенции данные данные

Общие 0.56345 0.61819

компетенции

Личностные 0.66485 0.66002

компетенции для

специальностей

Личностные 0.54182 0.67087

компетенции для

направления

Допонительные 0.40364 0.44618

компетенции

Специальные 0.46182 0.58376

компетенции для

направления (Теоретические)

Специальные 0.51364 0.56391

компетенции для

направления (Практические)

Погрешность в вычислении, полученная в результате работы нейронной сети, обусловлена тем, что данные об уровне значений групп компетенций за последний год, на основе которых происходила проверка результатов обучения нейронной сети, были получены путем тестирования студентов. В свою очередь обучение сети происходило на основе данных, которые были получены путем анализа успеваемости студентов.

Проведенный эксперимент подтвердил, что использование данной модели позволит прогнозировать уровень компетенций студентов в зависимости от качества организации учебного процесса, а также определять области деятельности организации, требующие улучшения и способные повлиять на формирование заданного уровня компетенций.

В заключении приведены научные выводы, результаты и рекомендации, полученные в ходе выпонения исследования.

ВЫВОДЫ И РЕЗУЛЬТАТЫ РАБОТЫ

1. Разработана комплексная модель оценки качества деятельности ВУЗа на основании нейросетевого подхода, компетентностного подхода и ССП. , Разработанная модель оценки качества образовательной деятельности легко адаптируется к специфическим требованиям ВУЗов за счет возможности изменения шаблона ССП, дерева компетенции, а так же структуры нейронной сети.

2. Сочетание компетентностного подхода и ССП позволяет прогнозировать уровень компетенций студентов в зависимости от различных вариантов организации деятельности ВУЗа. Это позволит выстроить процессы деятельности ВУЗа таким образом, чтобы компетенции студентов по окончанию обучения отвечали требованиям как образовательных стандартов, так и рынка труда.

3. Сформулирован набор показателей и система целелолагания, входящие в состав ССП. Предложенная структура ССП направлена на реализацию стратегии по повышению качества образовательной деятельности в ВУЗе, позволяет учесть разные направления деятельности ВУЗа, осуществлять контроль качества каждого из этих процессов, а также выявлять недостатки в процессах учебного заведения и их причины.

4. Разработана структура дерева компетенций, направленная на оценку знаний студентов, отражающая как моноподготовку студентов, так и двухуровневую систему образования. Сформированный шаблон дерева компетенций позволяет определять состав и содержание знаний, умений и навыков студентов основываясь не только на положениях государственных образовательных стандартов, но и с учетом потребностей рынка труда.

5. Разработанная четырехслойная нейросетевая структура на основе логистической функции позволяет производить обучение нейронной сети при наличии семи и более обучающих примеров.

6. Математическая модель оценки качества образования на основании нейронной сети предоставляет возможность оценивать уровень компетенций студентов в зависимости от состояния деятельности ВУЗа с погрешностью от 3 до 5%.

7. Модель оценки качества образовательной деятельности позволяет определять причины проблем в процессах деятельности ВУЗа, снижающие уровень компетенций студентов.

СПИСОК ПУБЛИКАЦИЙ:

1. Козлов А.Н., Математическая модель оценки качества образования в ВУЗе на базе компстентностного подхода, карты сбалансированных показателей н нейронных сетей, Науно-ннформациониый журнал Экономические науки, 2008 7(44), Издательство л24-Принт.

2. Козлов А.Н., Компетентностная модель студента как инструмент оценки качества образования, Науно-информационный журнал Экономические науки, 2007 6(31), Издательство л24-Прнт.

3. Козлов А.Н., Модель оценки качества образовательной деятельности ВУЗа, основанная на компетентностном подходе и взаимосвязанной сети показателей качества, Сборник материалов шестой Всероссийской научно-практической конференции Управление качеством, 12-13 марта 2007 года, М.: ИТЦ ГОУ ВПО МАТИ Российского государственного технологического университета им. К.Э. Циоковского, 2007,256 е./

4. Диго С.М., Козлов А.Н., Оценка качества обучения в ВУЗе на основе компетентностного подхода, Труды 9-ой научно-практическая конференция. Реинжиниринг бизнес-процессов на основе современных информационных технологий. Системы управления знаниями (РБП-СУЗ-2006) (26-27 апреля 2006 г.), Сборник докладов, Москва 2006.

5. Козлов А.Н. Система мониторинга показателей аттестации, лиценз1грования и государственной аккредитации ВУЗа, как необходимая компонента обеспечения качества образовательных услуг (статья), Технологии интегрированных автоматизированных систем в науке, производстве и образовании: Сборник статей/ Под ред. A.B. Цыркова - М.: Издательско-типографский центр МАТИ, 2005. 240 е..

6. Козлов А.Н., Разработка методов и моделей оценивания качества образовательной деятельности (статья), Технологии интегрированных автоматизированных систем в науке, производстве и образовании: Сборник статей. Выпуск № 2/ Под ред. проф. A.B. Цыркова - М.: Издательско-типографский центр МАТИ, 2005. 182 е..

7. Гедро Г.К., Козлов А.Н., Романова Е.В., Задачи применения нейронных сетей в образовательном процессе, Труды 7-ой научно-практическая конференция. Реинжиниринг бизнес-процессов на основе современных информационных технологий. Системы управления знаниями (РБП-СУЗ-2004) (}4-15 апреля 2004 г.), Сборник докладов, Москва 2004.

Подписано к печати 22.01.09

Формат издания 60x84/16 Бум. офсетная №1 Печать офсетная Печ.л. 1,5 Уч.-изд.л. 1,4 Тираж 100 экз.

Заказ № 7858

Типография издательства МЭСИ. 119501, Москва, Нежинская ул., 7

Диссертация: содержание автор диссертационного исследования: кандидат экономических наук , Козлов, Алексей Николаевич

Введение.

ГЛАВА 1 Исследование существующих моделей оценки качества деятельности и результативности высшего образовательного учреждения.

1.1 Основные понятия в области качества образования.

1.2 Современные модели оценки качества образования.

1.3 Подходы к оценке качества образования в ВУЗе.

1.4 Обоснование выбора метода для прогнозирования значений компетенций в зависимости от качества организации деятельности в ВУЗе.

Выводы к главе 1.

ГЛАВА 2 Разработка методов и математической модели для решения задачи оценки качества образования в высшем учебном заведении.

2.1 Оценка качества зианий студентов ВУЗе на основе компетентностного подхода.

2.2 Обоснование выбора программного продукта для построения сбалансированной системы показателей.

2.3 Разработка модели оценки качества организации учебного процесса в ВУЗе на базе сбалансированной системы показателей.

2.4 Обоснование выбора программного продукта для реализации нейросетевой технологии.

2.5 Влияние состояния карты сбалансированных показателей на компетентностную модель студента.

ГЛАВА 3 Апробации разработанных методов и математической модели для оценки качества образования.

3.1 Предметная область для апробации модели оценки качества образования

3.2 Апробация модели оценки качества образования.

3.3 Применение модели оценки качества образования.

Выводы к главе 3.

Диссертация: введение по экономике, на тему "Разработка методов и моделей оценки качества образовательной деятельности в высшем учебном заведении"

Актуальность темы исследования. В основе динамичного развития современной экономики лежит качество подготовки кадров. На данный момент российская система высшего образования адаптируется к потребностям предприятий, однако, скорость ее изменений не соответствует быстроте перемен в экономике. В этих условиях отечественные организации вынуждены тратить значительное время и ресурсы на переподготовку молодых специалистов. В свою очередь у новых сотрудников на предприятиях увеличивается период адаптации, усложняется процесс ее вовлечения в трудовую жизнь.

Допонительными факторами, обусловливающими актуальность совершенствования деятельности высших учебных учреждений, стали:

- демографический спад, который повлек за собой снижение количества абитуриентов, что в свою очередь привело к увеличению конкуренции между ВУЗами за право обучать бюджетных и внебюджетных студентов;

- начало процесса сближения систем образования стран Европы Ч Болонский процесс, обязательным параметром которого является Контроль качества высшего образования.

Выше сказанное подтверждает необходимость инновационных изменений в сфере высшего образования, одним из которых является внедрение системы управления качеством.

Внедрение системы менеджмента качества (СМК) предполагает соблюдение условий, определяемых:

- международными стандартами в области качества;

- положениями, определенными Государственными стандартами;

- требованиями, изложенными в стандартах учебного заведения.

Существующие подходы и методы оценки качества образования не позволяют провести комплексную оценку разных направлений деятельности ВУЗа (в частности, финансовой и маркетинговой), а также не учитывают их 3 взаимного влияния, и их влияния на результат обучения студентов. Основным недостатком существующих моделей оценки качества образовательной деятельности является также то, что они не способны выявлять устойчивые зависимости между эффективностью обучения студентов и качеством организации деятельности ВУЗа.

Указанные недостатки обусловливают необходимость разработки математических моделей, которые позволят не только учесть влияние качества организации деятельности ВУЗа на эффективность обучения студентов, но и значительно сократят временные затраты на проведение оценки за счет автоматизации данного процесса. Следовательно, вопрос оценки качества образования в ВУЗе, а также задача разработки математических методов и моделей оценки качества образовательной деятельности, учитывающая многоаспектность данного понятия, являются актуальными.