Темы диссертаций по экономике » Математические и инструментальные методы экономики

Методы и модели управления качеством подготовки специалистов с высшим образованием в регионе тема диссертации по экономике, полный текст автореферата



Автореферат



Ученая степень кандидат экономических наук
Автор Мелешко, Елена Николаевна
Место защиты Ростов-на-Дону
Год 2000
Шифр ВАК РФ 08.00.13
Диссертация

Автореферат диссертации по теме "Методы и модели управления качеством подготовки специалистов с высшим образованием в регионе"

РГ6 од

На правах рукописи

Мелешко Елена Николаевна

Методы и модели управления качеством подготовки специалистов с высшим образованием в регионе

Специальность 08.00.13 "Экономико-математические методы"

Автореферат диссертации на соискание ученой степени кандидата экономических наук

На правах рукописи

Мелешко Елена Николаевна

Методы и модели управления качеством подготовки специалистов с высшим образованием в регионе

Специальность 08.00.13 "Экономико-математические методы"

Автореферат диссертации на соискание ученой степени кандидата экономических наук

Работа выпонена на кафедре менеджмента Института управления; бизнеса и права (г. Ростов-на-Дону)

Научный руководитель - Заслуженный деятель науки РФ,

доктор экономических наук, профессор Долятовский В. А.

Официальные оппоненты: Доктор экономических наук,

профессор ХубаевГ.Н.

Кандидат экономических наук профессор Дуканич Л.В.

Ведущая организация: Научно-исследовательский институт высшего

образования Минобразования РФ (г. Москва)

Защита состоится л декабря 2000 г., в __ на заседании диссертационного совета Д 064.24.01 в Ростовском государственном экономическом университете (РИНХ) по адресу: 344007, г. Ростов-на-Дону, ул. Б. Садовая, 69.

С диссертацией можно ознакомиться в научной библиотеке университета. Автореферат разослан л

ноября 2000 г.

Ученый секретарь диссертационного ^ (7 ->

совета, к. э. н., доцент ^sr^/rwA^- Яковлева Н.А.

tmfeJ^0

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы исследования. Качество продукции называют зеркалом научно-технического прогресса, это относится и к продукции системы образования, к качеству подготовки специалистов. Развитые страны достигли высоких темпов экономического роста благодаря реформам системы образования, повышению уровня образованности населения. Объективными причинами, заставившими обратить особое внимание на проблемы качества, являлись:

высокие темпы научно-технического прогресса, разработка новых все более сложных изделий и систем, наукоемких технологий;

повышение требований потребителей к качеству товаров, к качеству получаемого образования;

усиление конкуренции, переход от конкуренции объемов производства к конкуренции в сфере качества товаров и качества образования;

необходимость освоения новых технологий производства, управления и обучения, улучшения показателей деятельности во всех областях.

Качество продукции, образования, научных исследований стало одной из важных характеристик конкурентоспособности нации. Во введенном в 70-х годах показателе конкурентоспособности страны C/DP показатели качества образования занимают важное место. На качество образования в 90-е годы было обращено особое внимание. В России был создан Центр исследований качества подготовки специалистов, разработана национальная программа реформирования системы образования.

Научный задел в решении проблем оценки качества подготовки специалистов с высшим образованием характеризуется рядом подходов к оценке качества подготовки (АЯ. Савельев, А.И. Галаган, В.М. Зуев, Д.А. Джалалов, А.И. Субепо, В.Н. Вокова, И.Н. Герасимова, В.С. Князевский, В.С. Золотарев, И.А. Селезнева, Ю.Г. Taiyp, А.В. Никитин) и постановками задач управления качеством высшего образования (И.А. Селезнева, АЛ. Савельев, А.В. Гличев, В.М. Затолокин, И.Г. Акперов, В.А. Долятовский, Г.Н. Хубаев, И.К. Коханенко, Л.П. Кураков, Ю.С.. Васильев). На решение проблем повышения качества образования направлены последние программы ЮНЕСКО и ряда международных фондов.

В понимании качества происходит также перелом в сторону возрастания остроты проблем качества человека, жизни общества. В 80-90 гг. разработаны новые методы и стандарты обеспечения высокого качества продукции, создана система тотального управления качеством TQM (Total Quality Management), разработана технология автоматизированного проектирования предприятий CALS с встроенной системой управления качеством. В методологии решения проблем качества промышленной продукции есть существенные результаты и системы стандартов. Но в системе образования работы по управлению качеством носят больше общетеоретический и методический характер.

Переход к рыночным механизмам экономического развития, снятие обязательного государственного распределения специалистов поставили перед

вузами и всей системой высшего образования требования к качеству подготовки. Возникает конкурентная ситуация в системе высшего образования, вузы начинают ориентироваться на рынок, проводить маркетинговые исследования. Маркетинг подтакивает вузы к поиску новых образовательных технологий, новых методов обучения, к инновационному подходу, к решению задач оценки и управления качеством подготовки специалистов. л Однако для решения этих задач вузы не имеют четких методик оценки .качества подготовки.специалистов, оценки рыночной потребности в. определенном уровне качества. Не определены составляющие качества, нет методов выбора множества частных характеристик, методик оценок их важности. Не поставлены задачи оптимизации показателя качества, не установлена связь качества с экономическими ограничениями и нет количественного анализа связей показателей системы образования и - экономических результатов в регионе.

Возникшее противоречие между требованиями к управлению качеством подготовки специалистов и существующими методиками и инструментами требует разработки комплексных общих методов оценки качества специалистов и методов решения задач управления качеством подготовки специалистов с высшим образованием. Наличие этого противоречия, состояние исследований качества подготовки специалистов с высшим образованием определяют актуальность выбранной темы диссертационного исследования.

Цель диссертационной работы заключается в разработке комплекса экономико-математических моделей и инструментария оценки, анализа и управления качеством подготовки специалистов с высшим образованием в регионе. В качестве примера для апробации результатов разработки и применения инструментария взяты показатели экономики и системы образования в Ростовской области. Для достижения поставленной цели решены следующие задачи:

Х определена сущность понятия качество подготовки специалиста с высшим образованием и определена его структура, состав частных показателей;

Х изучена эволюция региональной экономики и связанные с ней изменения в сфере образования и качества подготовки;

Х построены эконометрические модели влияния характеристик системы образования на производство и выработку национального дохода в регионе;

Х представлены схемы разработки стратегии управления региональной" системой образования по критерию качества специалистов;

Х проведено экспериментальное исследование набора характеристик качества подготавливаемых в вузах области экономистов - менеджеров, рассчитаны корреляционные матрицы и предложен интегральный показатель подготовки на основе статистического подхода;

Х разработаны две методики расчета весовых коэффициентов частных показателей качества подготовки, на этой основе проведено сравнение структуры показателей качества подготовки менеджеров в четырех вузах области;

Х рассчитаны зконометрические модели влияния факторов учебного процесса на интегральный показатель качества выпускников;

Х проведено исследование качества учебного процесса с применением групповой экспертной процедуры, построены диагностические профили учебного процесса и разработаны рекомендации по его улучшению;

Х предложена процедура инжиниринга для диагностики и управления вузом;

Х проведено исследование показателя стиля обучения, используемого студентами вузов области, на основе которого разработаны рекомендации по рационализации учебного процесса;

Х разработана методика перехода от более чувствительной интервальной шкалы оценок к ранговой;

Х оценена потенциальная эффективность повышения качества подготовки специалистов для экономики области.

Объект исследования. Система высшего образования регионального уровня, рассмотренная как многосвязная многопараметрическая система со сложной структурой взаимосвязей, работающая на множестве рынков специалистов разных специальностей.

Предмет исследования. Качество подготовки специалистов, оцениваемое, потребителями специалистов с одной стороны и внутренними структурами вузов, с другой стороны.

Методологическая основа и эмпирическая база исследования. Теоретической и методологической основой является комплекс исследований НИИ-ВО МО РФ, многих научных колективов вузов России и зарубежных научных центров, методики оценки качества продукции, ГОСТы, стандарты ИСО, технологии CALS, IDEF.

Эмпирическую базу составили статистические данные о системе образования и экономике РФ и Ростовской области за 1990 - 2000 гг., результаты анкетных обследований качества подготовки специалистов предприятий - потребителей специалистов (57 предприятий, 187 анкет), анкет двухэтапных обследований студентов и выпущенных специалистов (104 анкеты, 1994, 1999). Выборки достаточны с уровнем доверительной вероятности р = 1 - а > 0,9.

Методы исследования: системный анализ, статистический анализ и выборочное обследование, экономическое моделирование, экспертные оценки, анкетное обследование и интервьюирование, аналитическое моделирование. Научная новизна результатов исследования. Новыми являются:

Х сформулированный на основе анкетных обследований перечень частных показателей качества подготовки специалистов и статистические характеристики их взаимосвязей;

Х выделенные путем групповой экспертизы внешние и внутренние оценки качества подготовки специалистов;

Х статистически значимые уравнения связи показателей экономики региона и системы высшего образования, позволяющие рассчитывать прогнозы влияния уровня образования на экономику;

Х методика расчета показателей качества подготовки специалистов разными вузами, позволяющая проводить их сравнительный анализ;

Х рассчитанные на основе достаточных статистических данных уравнения связи интегрального показателя качества с факторами организации учебного процесса, позволяющие решать задачи управления качеством подготовки специалистов;

Х методика оценки необходимых и существующих уровней частных показателей качества, позволяющая выявить рассогласования требований и формировать стратегию повышения общего показателя качества специалистов;

Х методика групповой экспертизы показателей эффективности учебного процесса с построением диаграмм Исикавы, позволяющих выделить степень влияния разных факторов на эффективность учебного процесса и управления им;

Х процедура инжиниринга процессов управления вузом по критерию качества подготовки специалистов, позволяющая выделить ключевые факторы успеха и наименее эффективные процессы;

Х возможность применения технологии системы глобального управления качеством (TQM) для организации подготовки специалистов вузом;

Х выявленные закономерности использования различных стилей обучения студентами вуза;

Х метод оценки экономического эффекта повышения качества подготовки специалистов в регионе, позволяющий более целенаправленно управлять этим показателем на уровне стратегии развития системы высшего образования.

Основные положения, выносимые на защиту.

1. Качество подготовки специалистов с высшим образованием непосредственно влияет на экономические агрегаты региона. При этом качество образования является составным показателем, включающим качество профессиональной подготовки, качество содержания образования и качество технологии обучения.

2. Национальный подход региона возрастает при росте научного потенциала и наиболее чувствителен к уровню образования населения и при учете бюджетных ограничений и доходов населения имеются оптимальные показатели количества и качества подготавливаемых специалистов в регионе.

3. Полученный на основе опросов руководителей предприятий-потребителей специалистов перечень частных показателей качества, который позволил выявить рассогласование существующих и необходимых их значений и отобрать 12 основных показателей качества подготовки. Весовые коэффициенты частных показателей качества получены экспертным методом и на основе гипотез об априорном распределении их важности.

4. Управление качеством подготовки возможно организовать на основе использования многофакторных эконометрических моделей.

5. Экспериментально установлено, что 57% студентов используют

дивергентный, 28% - аккомодирующий стиль обучения, под эти характеристики необходимо подстраивать технологию обучения.

Практическая значимость работы заключается в:

- новых возможностях объективной оценки показателей качества подготовки специалистов, построении профиля качества подготовки на уровне внешних и внутренних показателей и выявлении недостатков подготовки;

- установлении степени соответствия реального качества подготовки специалистов различных вузов реальным потребностям предприятий;

-возможном определении оптимального качества подготовки при выпонении экономических ограничений;

- возможности управления показателями качества подготовки специалистов;

- возможности оптимизации траектории повышения качества в условиях вуза.

Апробация и реализация работы. Работа выпонена по плану НИР №14-Р Моделирование и прогнозирование процессов в региональной экономике (РГЭА, 1996 - 1999 гг.) и в соответствии с программой НИР ИУБиП по проблеме Оптимизация качества подготовки специалистов по экономике и управлению.

Основные положения работы докладывались на:

Всероссийской научно-технической конференции Образование -основа устойчивого развития России (Екатеринбург, 1999 г.)

Межрегиональной конференции Управление проектами и управление на основе знаний в технологиях современного менеджмента (Отрадная, январь 2000г.)

Северо-Кавказкой научной конференции Методы эволюционной и синергетической экономики в управлении социальными и экономическими процессами (Отрадная, май 2000 г.)

Всероссийской научной конференции Развитие деловой сферы Юга России (Краснодар, июнь 2000 г.)

Научном семинаре кафедры менеджмента и прикладной информатики РГЭУ (1996-1999 гг)

Всероссийской конференции Магистратура в вузах России (Воронеж, июнь 2000 г.)

Всероссийской научно-практической конференции Повышение эффективности учебного процесса (Краснодар, Куб ГУ, октябрь 2000 г.)

Региональной конференции Научный и образовательный потенциал вузов как ресурс развития региона (Ростов-на-Дону, ИУБиП, 1999,2000 гг.)

Рекомендации диссертации использованы при совершенствовании учебного процесса в ЮРГУЭС (1998 - 2000 гг.), ИУБиП (1999 - 2000 гг.), ГФ РГЭА, РГЭА, ОГП (1999 , 2000 гг.), переданы МО Ростовской области для применения в стратегическом планировании.

Публикации. Основные положения и выводы диссертационного исследования опубликованы в 14 печатных работах общим объемом 3,8 п.л.

Структура и объем работы. Диссертационная работа состоит из введения, трех глав, заключения, 8 приложений (формы анкет, таблицы, акты внедрения, распечатки обработки данных), списка использованной литературы (142 источника).

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во ведении обоснована актуальность задач оценки и управления качеством подготовки специалистов, раскрыта суть противоречия между состоянием исследований качества и требованиями практики.

Первая глава Теоретические основы оценки и управления качеством подготовки специалистов содержит экономический анализ и модели влияния качества подготовки специалистов на макроагрегаты региона. В современной экономике выработка национального дохода У в регионе определяется в большей степени уровнем материализованных знаний, организационными факторами, чем трудом Ь и капиталом К:

У = В-Ка-I/-иг, (1)

Между относительной эффективностью Г}:

и уровнем использования знаний 1/10 существует экспоненциальная зависимость:

г/-1- (2)

Известно, чем выше уровень знаний, навыков, умений работника /о, тем выше к.п.д. его деятельности, выше эффективность работы предприятия. Выведенные зависимости управляемости а от неупорядоченности Н :

а- 1'Н . (3,

г а-/)

показывает важную роль информированности специалистов в экономике.

Новые требования экономики и общества приводят к необходимости смены парадигмы образования, ориентации на качество подготовки специалистов и инновационные технологии.

Рост уровня образования в развитых странах, показанный на основе статистических данных, привел к резкому росту производительности труда и изменению структуры занятости населения - в сфере науки, образования, управления, информатики в США занято около 44% активного населения, в РФ - около 20%.

Выделены 7 уровней знаний: от общей фундаментальной подготовки до решения крупных научных проблем. Сопоставление распределения специалистов по уровням в развитых странах и РФ показывает тенденцию роста количества специалистов 4,5,6 уровней, роста выпусков магистров. Характерным для этого распределения является закон Парето.

Рассчитав интелектуальный потенциал страны по суммарным затратам на подготовку кадров всех уровней, получены его оценки для РФ - 2,758 трил. дол.; для США - 3,430 трил. дол,; для Японии - 2,096 трил. дол.; для Франции -1,065 трил. дол.. Этот показатель коррелирует с выработкой национального дохода в странах.

Знания о качестве включают измерение качества, сертификацию и управление качеством. Качество подготовки специалиста является внешней

категорией, и оценку его дают потребители выпускников вузов. Качество образования обеспечивается внутренними оценками (рис. 1).

Рис. 1 Составляющие качества образования

Для получения внешних оценок качества нужно выявить частные критерии качества, по которым потребители специалистов оценивают пригодность специалистов для профессиональной деятельности.

Внутренние оценки можно получить путем анализа образовательного процесса, его элементов, используемых ресурсов. Предложено применение инструментов причинно - следственного анализа (диаграмм Исикавы, ABC -анализа, экспертных процедур) и реинжиниринга образовательного процесса с целью ориентации на обеспечение качества подготовки.

Анализ мирового опыта в области анализа, оценки и моделирования качества показал эволюционный характер подходов к качеству, создание интегральных систем (TQM - Total Quality Manaqement), новых технологий проектирования (CALS) и переход к управлению качеством жизни, людей, общества.

Рассмотрение идеологии системы TQM показывает ее применимость к управлению качеством в вузе. Четыре уровня управления качеством применимы в вузе: оценка соответствия госстандарту, соответствия требованиям деятельности, соответствия требованиям рынка, соответствия скрытым потребностям потребителей специалистов (предприятий, организаций).

Качество образования на макроуровне измеряется количеством накопленных

населением человеко-лет образования: Ov = ^0 'ni > гДе n - число

индивидов /-той группы образованности, ,средним показателем числа лет обучения: Ос=Он1 NH ,где NH - численность населения , вложениями образование и уровнем материализованных знаний:

U = MY/АФк , (4)

Управление процессом накопления знаний в регионе может производиться на уровне специальной системы, включающей программные средства мониторинга качества, организационно - методическое обеспечение и развитую базу данных о качестве подготовки. Такая система дожна использовать связи экономики региона и показателей системы образования. Анализ этих показателей показал, что средний уровень образования жителя области старше 15 лет составляет 6,47 года/чел., активного населения - 10,05 года/чел. Качественный анализ показал наличие связей между национальным доходом

Ростовской области и показателями системы образования (рис. 2).

у ^ 45 №

5.3 Ё-4.8 I 4.3:

3 3.8 3.3 2.8

Л_и] 1 1 1 1 | 1 . 1 1 1 1 1 I1:

* . * ;

11.11*1

: ЧХ , * I | 1 I Г I ; I 1111 .1-1 1, Л.-1.-1 .1 -1Ч 1__1. .1. 1 ,1 3

13.5 №8

Рис. 2 Зависимость национального дохода Ростовской области У от количества выпущенных специалистов Ыес

Рассчитав матрицу корреляций показателей и построив на ее основе спецификации (после отбрасывания мультиколинеарных переменных), были рассчитаны следующие эконометрические модели:

У = -8,29 - 0,003Л^ + 0,00053Ги + 0Д5С/о - 0,ЗЫвс + 0,05СОЯФ(5)

Я2 =0,58; сЫ> = 1,45 У=-9,9-0,0026УСТ +0,0006УД +0,34/о -0,52Л^ +0,043^-0,00028^

Л2 = 0,79, и; =1,6 У = -13,3 + 0.001Гл + 0,000387УН + 0,5иД + 0,9^ (7)

Н2 = 0,42; г/н' = 1,6 которые показывают, что:

научный потенциал достоверно влияет на национальный доход, увеличение его на 1 чел. приводит к приросту 7 на 0,5 мн. руб./год;

наиболее влияющим фактором на У является уровень образования населения области, к нему У наиболее чувствителен;

рост материально-технической базы экономики области (С0Пф ) также увеличивает национальный доход;

рост числа специалистов и их выпуска не увеличивает национальный доход области, это эффекты переходного периода, когда отдача от специалистов при падении производства невелика;

на национальный доход области система образования оказывает прямое влияние через рост уровня образования и научный потенциал.

По данным академика С.Г. Струмилина, уровень образования работников

неравномерно влияет на повышение производительности их труда, при этом для количества лет образования свыше 11 эластичность выработки Ет/т - 4,8, Ет/т =10,3 для качества продукции и ЕрЫ = 3 для уровня рационализации. Используя эти данные, нами рассчитаны прогнозы: если уровень образования увеличить на 10%, то производительность труда вырастет на 19,5%, что даст увеличение национального дохода области на 19,1%. Отсюда рассмотрена задача выбора оптимального уровня качества подготовки специалистов при ограничениях расходов на образование:

У = А-№-др -шах при ргЫ + р2-д<В . (8)

Задача решена методом множителей Лагранжа:

Ь(Н,д,А) = Л№д/) + Л(В - ргЫ - р2д), (9)

дЫ дд 8Я

Отсюда качество подготовки равно:

выражение (10) характеризует линию развития системы образования.

Реальная модель показывает, что а+(3>1, т.е. система образования развивается, и эластичность качества q в 2,6 раза больше эластичности N. Для Ростовской области оптимальные значения К* = 192 тыс. специалистов, д*= 7,5 е.к.

Сформулирована и решена графически и аналитически задача выбора необходимого качества я подготовки специалистов, адекватного экономическим условиям области.

Связь между эффективностью Е экономики и качеством подготовки ^ специалистов 1-той специальности:

ЧЧ =4, (И)

показывает, что прирост качества целесообразен тогда, когда это обеспечивает определенный прирост У. Показано, что условие повышения качества подготовки специалистов описывается уравнением Слуцкого.

Для обеспечения нужного качества подготовки специалистов предложена процедура разработки стратегии развития интелектуальных ресурсов, включающая технологию формирования системных знаний, оптимизацию учебного плана подготовки путем повышения логической связности спецкурсов, определение требований к частным качествам специалиста с высшим образованием. Обоснован вывод о возможности применения модели деятельноста специалиста для определения набора необходимых ему профессиональных и личностных качеств. Этот вывод использован при синтезе учебного плана переподготовки управленческих кадров. Проведенное анкетное обследование специалистов-менеджеров определило набор необходимых

качеств и их значений, а также реальных уровней качеств^ На этой основе выделен вектор рассогласований Л^, определены наиболее значимые

отклонения (группа А) и сформированы действия и меры Utj, способствующие повышению общего качества специалистов. Из допустимых наборов U сформирована стратегия:

где U'; = max <7 ,у -CtJ), (12)

Потребность современного общества в качественно подготовленных специалистах возрастает. В определении качества подготовки специалистов выделены три аспекта: измерение, сертификация, управление качеством. Качество подготовки специалистов определяется усреднением оценок множества потребителей специалистов. Уровень качества определяется внешними и внутренними оценками, для управления качеством целесообразно применение идей системы TQM. Диаграммы рассеяния показателей и эконометрические модели показали наличие статистических связей показателей экономики и качества подготовки специалистов.

Во второй главе Статистическое изучение оценок качества подготовки специалистов приведены результаты анкетных опросов для получения набора частных показателей .качества подготовки менеджеров (0611) и статистический анализ показателей качества учебного процесса.

Развиваемый подход к оценке качества основан на выявлении связей между моделью деятельности специалиста и оценками качества подготовки. Каждая деятельность Di состоит из набора задач Zy и отношений между ними:

Каждая задача требует фундаментальных знаний ФЗу прикладных методов ПМц и средств решения задачи nO,j :

Zl/=>(03i/,nMi/,nOi/), (14)

Исходя из модели деятельности (14), синтезирован учебный план переподготовки. На основе опросов определены четыре группы оценок специалиста: теоретическая подготовка, навыки и умения, личностные качества, скрытые потребности.

Для выделения необходимого набора частных показателей качества проведены опросы экспертов-руководителей подразделений и предприятий, давшие набор из 4 групп качеств специалиста. Далее эксперты дали оценки существующего и необходимого уровня каждого качества (коэффициент конкордации q>0,7).

Усреднение оценок дало нормативные и существующие профили качества (рис.3)

УРОВНИ СУЩЕСТВУЮЩИХ ПОКАЗАТЕЛЕЙ КАЧЕСТВА з ил _

качества

Рис. 3 Профиль усредненных показателей существующих характеристик

менеджеров

и профиль рассогласований. Наибольшие рассогласования оценок лидерских качеств, самодисциплины, доброжелательности, навыков генерации новых идей, навыков постановки задач управления.

Уменьшение пространства оценок проведено путем расчета матрицы их корреляции Генеральные средние

Я* = ~Ч-Ч = 6,7; 9 -~ = 7.4 т-п т-п

и коэффициент корреляции этих векторов г =0,714

Этот показатель может являться обобщенной мерой качества подготовки специалистов. Исключение из матрицы корреляции мультиколинеарных переменных и выделение наиболее значимых оценок привело к следующей структуре показателя качества подготовки менеджеров (рис. 4)

Качество подготовки менеджера

Уровень фундаментальной теоретичекой подготовки

Уровень профессиональной компетентности

Ч технологическая компетентность информационная компетентность

Ч базовые навыки специалиста

'Чумение обосновать и выбрать наилучшее решение

Личностные качества специалиста

Ч знания естественнонаучных дисциплин

-знания гуманитарных и социальных наук

Ч знания общепрофессиональных дисциплин

- знания спецкурсов

- уровень системности подготовки

Рис. 4 Схема формирования показателя качества подготовки менеджера

Ч мыслительные навыки

навыки межличностных коммуникаций личностные качества

К такой схеме сходятся и результаты обработки анкет опроса слушателей ФП РФ по оценке уровня знаний и факторов, влияющих на него. В анкете слушатели дали оценки системы подготовки (Х1 - методика, Х2 - научный уровень, Х3 - уровень преподавателей, X - степень новизны курсов,Х5 -практическая полезность, Хб - условия учебы, Х7 - уровень требований), эндогенными переменными являются результаты госэкзамена У; и защиты выпускной работы У2 .Корреляционная матрица позволила определить спецификации уравнений, рассчитанных с помощью ППП БТАТСИАРШСБ

V = 6,31+0,051х -0,114с - 0,008г. + 0,06х +0,149*; 1 1 4 5 6 7

Я2 =0,67, ^ = 2,31 У2 =5,7 +0,12^ +0,06л4 - 0,007*5 + 0,07к6 +0,16х1

В? =0,72, Р ~ 3,4

Модели (15),(16) использованы для прогнозирования результатов обучения, а на основе оценок факторов выделены три кластера слушателей с разной направленностью: управленческой (ценность вертикальной карьеры, принятие ответственности), творческая (нонконформизм, гибкость, горизонтальная карьера), ситуационная.

Обосновав целесообразность оценки качества подготовки менеджеров по 12 частным показателям, предложены 2 методики расчета их весовых коэффициентов: экспертная процедура с оценкой конкордации по Кендалу, расчет коэффициентов на основе априорно сформулированного их распределения.

Во втором случае для линейной функции распределения весов

~ /О) = 0-1) + ^, (17)

= (18) п(п-1)

что дает возможность расчета последовательности Wj. Такие выводы и расчеты можно провести для любой заданной функции распределения весов.

Имея набор и оценок ^у, рассчитывается взвешенная оценка качества

подготовки: Я/ (19)

. Обеметодакиапробированы в процедуре экспертных оценок уровней, подготовки 'специалистов'-специальности 0611 в четырех вузах области.

спеди^носщ- 0611 Йнстатуга'управления, бизнеса и права. 1998 года получили усредненную взвешенную оценку качества 6,88 е.к., структура показателя представлена на рис.5

Влияние 8 различных факторов учебного процесса на показатели качества подготовки специалистов ИУБиП изучено на основе эконометрического .моделирования. ' "7

Обозначив качество подготовки q, а остальные факторы Х\ ...Х7 (Х1 -количество докторов наук, Хг - количество кандидатов наук, Х3 Ч удельная

стоимость оборудования, Х4 - количество ПК на 1 студента, Х5 - среднее время практики, нед., Хв - удельное количество литературы, экз./студ., Х7 - площадь аудиторий на 1 студента) рассчитаны три различные модели: д = 601 з08+0,53^-197х2-4,06х3 Л2=0,67;а^=3,36, (20)

' <7=31,4-3,66г., +З,9к3-+0,7&с4 +2,5х6-0,9х Е2 =0,9; ^=2,6, (21) ^=2703 - 8,9х2 ~Зх3 -153х4 +1,8&св -0,268с, К2 =0,9; <Ьч=2,6, (22)

Штеоретическая"

- 24% 17% подготовка

........[лу/лу^^. -

И профессиональна?

компетентность

59% личностные

качества

Рис.5. Структура интегрального показателя качества выпускника ИУБиП.

В параграфе 2.6 представлены результаты изучения влияний факторов организации учебного процесса на его качество, проведенного в 1994 и 1999 гг. Три группы экспертов (по 75 человек) выделили в процессе групповой работы факторы, влияющие на качество обучения и строили причинно-следственные диаграммы Ишкавы. Затем диаграммы групп обобщались и рассчитывались весовые коэффициенты, важность и сила влияния факторов. Выделены 4 группы внутренних факторов, влияющих на качество . обучения: преподавательский состав, уровень абитуриентов, материально-техническое обеспечение, организация учебного процесса. Влияние этих групп факторов было оценено: 1- 32,84%, 2 Ч21,1%, 3 - 20,5%, 4 - 25,6%. Сравнение показателей 1994 и 1999 гг. выявило на примере конкретного вуза повышение качества подготовки специалистов и влияния на него структуры преподавательского состава, улучшения материального обеспечения и подбора абитуриентов.

Таким образом, на основе модели деятельности специалиста определены требования кЧструктуре.: - показателяЧкачества:: его подготовки:-..-Проведен -экспертный отбор частных качеств специалиста, оценены необходимый и существующий их уровни, выявлен вектор рассогласований. Статистический анализ позволил снизить размерность показателя качества до 12 оценок и построить модели влияния различных факторов на обобщенный показатель качества. Методика оценки качества применена в практике сравнительного анализа подготовки специалистов в разных вузах Ростовской области.

В третьей главе Решение задач управления и оптимизации качества подготовки специалистов в регионе разработана концепция управления вузом и учебным процессом по критерию качества. Предложенная концепция

процессно-ориентированного управления в отличие от существующих функциональных структур ориентирует процесс управления на получение конечных результатов и достижение целевых показателей путем создания команд, ответственных за весь процесс в целом.

Деятельность вуза представлена реализацией набора процессов:

Рк =< Хк, Ук Ак, И*, (>, где Хк, Ук- входы и выходы процесса, Ак -правила преобразования Хк, в Ук, Кк - ресурсы, используемые преобразованием, 1:-время. Таким образом, процесс Рк - это поток работ, выпоняемых во времени, путем использования различных ресурсов. Возникает задача выбора варианта процесса Р , обеспечивающего заданные показатели качества.

Анализ вариантов Рк основан на принципах реинжиниринга: в управлении вузом выделены 8 процессов, построена карта их взаимосвязей, выделены критические и ключевые факторы эффективности, построена матрица оценки качества процессов в вузе и выявлены наименее эффективные процессы. Для улучшения общего качества и результата обучения предложены рекомендации по улучшению управления вузом. Для повышения качества воспитательной работы проранжированы различные способы и технологии воспитания в вузе и определена наилучшая стратегия повышения качества личности.

Поскольку при разработке систем управления качеством накоплен большой опыт в экономике, который закреплен в стандартах серии ИСО - 9000, рассмотрена логика работ вуза для создания современной системы управления качеством подготовки специалистов. Проведен анализ функций и роли руководства вуза, места и структуры системы управления качеством подготовки специалистов, финансовые потребности системы качества, организационные аспекты внедрения системы, маркетинговые задачи и требования к разработке учебных планов и программ. Современная система управления качеством подготовки представлена в виде сети компьютеров с регистрацией данных о качестве подготовки и обновляемой базой данных.

Реализацией элементов системы управления качеством является технология учебного процесса и рейтинговая система в ИУБиП, РГЭУ, ЮРГУЭС. Например, в РГЭУ магистр по мере изучения курса набирает рейтинговые оценки:

которые усредняются, и рассчитывается взвешенный показатель уровня

Для принятая решений об оценке строится распределение с моментами:

обученности:

Разброс показателя качества дает вариация:

Для повышения качества учебного процесса разработан комплекс рекомендаций, включающих отбор преподавателей, их постоянное ;овершенствование; повышение системности и конструктивности знаний на эснове упорядочения содержания курсов и их координации, использование зякретных ситуаций и имитационных методов обучения, увеличение доли самостоятельной работы студентов, улучшение подбора абитуриентов.

Поскольку в основе системы качества находится студент, проведено исследование стилей обучения, используемых студентами ростовских вузов. Стиль обучения показывает преобладание или соотношение интенсивностей использования разных этапов обучения новому. Опросив с помощью методики выделения наиболее характерных признаков обучения, построены распределения частот использования разных этапов усвоения нового и профиль стилей обучения. Оказалось, что 57% студентов используют дивергентный , 28% - аккомодирующий стили. Отсюда вытекает комплекс рекомендаций по коррекции преобладающих стилей обучения: применение абстрактной концептуализации, активных экспериментов в учебных курсах, самостоятельной обработки информации, извлечения знаний из данных.

Эффект от изменения подхода к качеству подготовки, от изменений учебного процесса и внедрения рекомендаций можно проследить на основе обработки статистики показателей обучения. Были сопоставлены оценки показателей профессионального уровня, теоретической подготовки и личностных характеристик выпускников ЮРГУЭС за 1995,1996,1997,1998,1999 годы. Диаграмма изменений (рис.6) показывает повышение профессионализма выпускников с ухудшением личностного профиля.

Изучены особенности и влияние личности преподавателя на оценки знаний студентов, причем поведение преподавателя и его требования оценены путем расчета энтропии распределения оценок.

Для управления качеством необходима чувствительная к нему шкала оценки знаний и умений. Опыт показал более высокую чувствительность рейтинговой шкалы оценок к уровню обученноеЩ студента.

На основе анализа и статистической обработки результатов оценки знаний студентов в рейтинговой (Ь^ и принятой в вузах оценки (г;) выведены формулы их взаимосвязи и перехода:

г = 0,16,-4, (28)

с округлением или:

>"=0,056,, (29)

г( =-2,5+3/406/ (30)

1995 г.

1996-1997 гг. Б

АГ""ЧЧ 1999 г.

1998 г.

123 Априорная оценка ^ Апостериорная оценка Рис. 6 Диаграмма оценки качества

Выбором вида функции перехода можно управлять мотивацией студентов для получения высоких оценок знаний.

В результате внедрения предложенных методов возможно повышение качества подготовки студентов. Повышение качества подготовки специалистов дает прямой и косвенный эффект экономике и культуре региона. Рассчитано повышение отдачи специалистов и общий эффект от повышения качества подготовки, который может составить около 80 мн. руб. год для Ростовской области.

В заключении приведены выводы и дана оценка новых научных результатов:

1. На основе эволюционного анализа экономики показаны и количественно оценены изменения требований экономики и общества к категории качество подготовки специалиста, к системе образования.

2. Уточнено и систематизировано понятие качество подготовки специалиста с высшим образованием, выделены и обоснованы статистически его составляющие.

3. Определены статистические закономерности связей выработки национального дохода в Ростовской области с параметрами системы высшего образования.

4. Разработан подход к определению стратегии развития интелектуальных ресурсов и повышения качества образования.

5. Определен набор характеристик качества подготовки специалиста по тециальности 0611 - менеджмент, определены существующие и необходимые начения характеристик, построен диагностический профиль качества тодготовки и введен интегральный показатель качества на статистической зснове.

6. Разработаны методы расчета коэффициентов важности частных токазателей качества подготовки специалистов, на этой основе проведен сравнительный анализ показателей качества подготовки менеджеров в ряде зузов области.

7. Имея интегральные оценки качества подготовки рассчитаны Фонометрические модели влияния различных факторов на качество подготовки специалистов.

8. Разработан и практически реализован метод диагностики и выявления недостатков в организации учебного процесса на основе применения диаграмм йсикавы.

9. Предложена процедура диагностики процессов управления вузом и совершенствования управления по критерию качества подготовки специалистов.

10. Разработаны рекомендации по практическому использованию технологии Г(ЗМ для управления качеством подготовки специалистов в вузе.

11. Изучены стили обучения, используемые студентами вузов, и разработаны рекомендации по улучшению учебного процесса на этой основе.

12. Предложены способы перехода от интервальной к ранговой шкале.

По теме диссертации опубликованы следующие работы:

.Качество подготовки специалистов как фактор устойчивого развития экономики /В сборнике: Образование - основа устойчивого развития России. Материалы Всероссийской научно-технической конференции. - Екатеринбург: УРЭУ, 1999 г, с. 22 - 24.(в соавт.)

2. О возможной оптимизации системы обучения в вузе /В сборнике: Потенциал вузов - ресурс развития региона. - Ростов-на-Дону: ИУБиП, 1999, с. 14 (в соавт.)

3. Некоторые результаты реализации проекта подготовки управленческих кадров /В книге: Управление проектами и управление на основе знаний в современных технологиях менеджмента - Отрадная: СКНЦ ВШ, 1999 г.

4. Управленческое консультирование УМК. - Ростов - на - Дону: ИУБиП, 2000 - 86 с. (в соавт.)

5. Анализ характеристик спроса и требований к подготовке руководящих кадров в области менеджмента на предприятиях России /В сборнике: Образование - основа устойчивого развития России. Материалы Всероссийской научно-технической конференции. - Екатеринбург: УРЭУ, 1999 г, с.25 - 27.

6.Статистические оценки качества подготовки специалистов по специальности 0611 - менеджмент /В сборнике: Магистратура в вузах России -Воронеж: ВГУ, 2000.

7. Система мониторинга знаний и управление качеством подготовки магистров /В сборнике: Магистратура в вузах России - Воронеж: ВГУ, 2000 (в соавт.).

8. Методика оценки качества подготовки специалистов в вузе /В сборнике: Управление проектами и управление на основе знаний в современных технологиях менеджмента - Оградная: РГЭА, 2000.

9. Методика анализа качества оценивания знаний в вузе /В сборнике: Управление проектами и управление на основе знаний в современных технологиях менеджмента - Отрадная: РГЭА, 2000.

10. Использование показателя стиля обучения для повышения качества учебного процесса /В сборнике: Повышение эффективности учебного процесса - Краснодар: Куб ГУ, 2000.

11.06 инновационном подходе к организации обучения в вузе /В сборнике: Повышение эффективности учебного процесса - Краснодар: Куб ГУ, 2000 (в соавт.).

12. Обоснование перехода от интервальной шкалы оценок к ранговой /В сборнике: Управление проектами и управление на основе знаний в современных технологиях менеджмента - Отрадная: РГЭА - ОГИ, 2000.

13. Инжиниринг процессов управления вузом /В сборнике: научный потенциал вуза - ресурс развития региона: Вып 3 - Ростов-на-Дону: ИУБиП, 1999 - с. 3742.

14. Инновационный подход к процессу обучения архитекторов и дизайнеров /В сборнике: Архитектурно-художественное развитие городов юга России на рубеже веков - Ростов - на - Дону: РГААиИ, 3-6 октября 2000г. (в соавт.)

Диссертация: содержание автор диссертационного исследования: кандидат экономических наук , Мелешко, Елена Николаевна

Введение

1. Теоретические основы оценки и управления качеством подготовки специалистов

1.1 Эволюция экономики и возрастание требований к качеству

1.2 Категория качества подготовки специалистов

1.3 Анализ существующих подходов и методов оценки управления 43 V качеством подготовки специалистов

1.4 Изучение закономерностей в связях экономики региона и 52 и показателей системы образования

1.5 Экономические закономерности систем качества

1.6 Схемы развития качества интелектуальных ресурсов 65 Выводы

2. Статистическое изучение оценок качества подготовки специалистов

2.1 Показатели качества и деятельность специалиста ф) 2.2 Статистический анализ набора характеристик качества подготовки менеджеров

2.3 Выбор пространства характеристик для оценки качества 89 подготовки специалистов

2.4 Определение весовых коэффициентов частных показателей 94 качества

2.5 Эконометрическое моделирование влияния факторов на 100 ^ качество подготовки специалистов

2.6 Анализ качества учебного процесса и разработка рекомендаций 104 , по его повышению

3. Решение задач управления и оптимизации качества подготовки специалистов в регионе ф^ 3.1 Концепция процессно-ориентированного управления и инжиниринг процесса управления вузом

3.2 Система й логика работ по повышению качества выпускников в 146 вузе и регионе

3.3 Рекомендации по повышению качества учебного процесса

3.4 Использование показателя стиля обучения (ПСО) для 157 повышения качества учебного процесса

3.5 Априорные и апостериорные оценки качества в системе 169 образования

3.6 Методика анализа качества оценивания знаний студентов вуза

3.7 Оценки эффективности повышения качества подготовки 182 специалистов с высшим образованием в регионе

Диссертация: введение по экономике, на тему "Методы и модели управления качеством подготовки специалистов с высшим образованием в регионе"

Качество продукции называют зеркалом научно-технического прогресса, это относится и к продукции системы образования, к качеству подготовки специалистов. Развитые страны достигли высоких темпов экономического роста благодаря реформам системы образования, повышения уровня образованности населения. Объективными причинами, заставившими обратить особое внимание на проблемы качества, являлись:

- высокие темпы 'научно-технического прогресса, разработка новых все более сложных изделий и систем, наукоемких технологий;

- повышение требований потребителей к качеству товаров, к качеству получаемого образования;

- усиление конкуренции, переход от конкуренции объемов производства к конкуренции в сфере качества товаров;

- необходимость освоения новых технологий производства и управления, улучшения показателей деятельности во всех областях.

Качество продукции, образования, научных исследований стало одной из важных характеристик конкурентоспособности нации. Во введенном в 70-х годах показателе конкурентоспособности страны CIDP показатели качества образования и нации занимают важное место. На качество образования в 90-е годы было обращено особое внимание. В России был создан Центр исследований качества подготовки специалистов, разработана национальная программа реформирования системы образования.

Научный задел в решении проблем оценки качества подготовки специалистов с высшим образованием характеризуется рядом подходов к оценке качества подготовки (А.Я. Савельев, А.И. Галаган, В.М. Зуев, Д.А. Джалалов, А.И. СубеттО, В.Н. Вокова, И.Н. Герасимова, B.C. Князевский, B.C. Золотарев, И.А. Селезнева, Ю.Г. Татур, A.B. Никитин и др.) и постановками задач управления качеством высшего образования (И.А. Селезнева, А.Я. Савельев, A.B. Гличев, В.М. Затолокин, И.Г. Акперов,

В.А. Долятовский, Г.Н. Хубаев, И.К. Коханенко, Л.П. Кураков, Ю.С. Васильев и др.). На решение проблем повышения качества образования направлены последние программы ЮНЕСКО и ряда международных фондов.

В понимании качества происходит также перелом в сторону возрастания остроты проблем качества человека, жизни общества. В 80-90 гг. разработаны новые методы и стандарты обеспечения высокого качества продукции, создана система тотального управления качеством TQM (Total Quality Management), разработана технология автоматизированного проектирования предприятий CALS с встроенной системой управления качеством. В методологии решения проблем качества промышленной продукции есть существенные результаты и системы стандартов. Но в системе образования, работы по управлению качеством носят больше общетеоретический и методический характер.

Переход к рыночным механизмам экономического развития, снятие обязательного государственного распределения специалистов поставили перед вузами и всей системой высшего образования новые требования к качеству подготовки. Возникает конкурентная ситуация в системе высшего образования, вузы начинают ориентироваться на рынок, проводить маркетинговые исследования. Маркетинг подтакивает вузы к поиску новых образовательных технологий, новых методов обучения, к инновационному подходу, к решению задач оценки и управления качеством подготовки специалистов.

Однако для решения этих задач вузы не имеют четких методик оценки качества подготовки специалистов, оценки рыночной потребности в определенном уровне качества. Не определены составляющие качества, нет методов выбора множества частных характеристик, методик оценок их важности. Не поставлены задачи оптимизации показателя качества, не установлена связь качества с экономическими ограничениями и нет количественного анализа связей показателей системы образования и экономических результатов в регионе.

Возникшее противоречие между требованиями к управлению качеством подготовки специалистов и существующими методиками и инструментами требует разработки комплексных методов оценки качества специалистов и методов решения задач управления качеством подготовки специалистов с высшим образованием. Наличие этого противоречия, состояние исследований качества подготовки специалистов с высшим образованием определяют актуальность выбранной темы диссертационного исследования.

Цель диссертационной работы заключается в разработке комплекса экономико-математических моделей и инструментария оценки, анализа и управления качеством подготовки специалистов с высшим образованием в регионе. В качестве примера для апробации результатов разработки и применения инструментария взяты показатели экономики и системы образования в Ростовской области.

Для достижения поставленной цели решены следующие задачи:

- определена сущность понятия качество подготовки специалиста с высшим образ9ванием и определена его структура, состав частных показателей;

- изучена эволюция региональной экономики и связанные с ней изменения в сфере образования и качества подготовки;

- построены эконометрические модели влияния характеристик системы образования на производство и выработку национального дохода в регионе;

- представлены схемы разработки стратегии управления региональной системой образования по критерию качества специалистов;

- проведено экспериментальное исследование набора характеристик качества подготавливаемых в вузах области экономистов - менеджеров, рассчитаны корреляционные матрицы и предложен интегральный показатель подготовки на основе статистического подхода;

- разработаны две методики расчета весовых коэффициентов частных показателей качества подготовки, на этой основе проведено сравнение структуры показателей качества подготовки менеджеров в четырех вузах области;

- рассчитаны экойометрические модели влияния факторов учебного процесса на интегральный показатель качества выпускников;

- проведено исследование качества учебного процесса с применением групповой экспертной " процедуры, построены диагностические профили учебного процесса и разработаны рекомендации по его улучшению;

- предложена процедура инжиниринга для диагностики и управления вузом;

- проведено исследование показателя стиля обучения, используемого студентами вузов области, на основе которого разработаны рекомендации по рационализацииучебногО процесса;

- разработана методика перехода от более чувствительной интервальной шкалы оценок к ранговой;

- оценена потенциальная эффективность повышения качества подготовки специалистов для экономики области.

Объектом исследования является система высшего образования регионального уровня, рассмотренная как многосвязная многопараметрическая система со сложной структурой взаимосвязей, работающая на множестве рынков специалистов разных специальностей.

Предметом исследования является качество подготовки специалистов, оцениваемое, с одной стороны, потребителями специалистов и внутренними структурами вузов, с другой стороны.

Методологическая основа и эмпирическая база исследования. Теоретической и методологической основой является комплекс исследований НИИ-ВО МО РФ, многих научных колективов вузов России и зарубежных научных центров, методики оценки качества продукции, ГОСТы, стандарты ИСО, технологии CALS, IDEF.

Эмпирическую базу составили статистические данные о системе образования РФ и Ростовской области за 1990 - 2000 гг., результаты анкетных обследований качества подготовки специалистов предприятий - потребителей специалистов (57 предприятий, 187 анкет), анкет двухэтапных обследований студентов и выпущенных специалистов (104 анкеты, 1994, 1999). Выборки достаточны с уровнем доверительной вероятности р = 1 - а > 0,9.

Методы исследования: системный анализ, статистический анализ и выборочное обследование, эконометрическое моделирование, экспертные оценки, анкетное обследование и интервьюирование, аналитическое моделирование.

Научная новизна диссертации.

Новыми являются:

- сформулированный на основе анкетных обследований перечень частных показателей качества подготовки специалистов и статистические характеристики их взаимосвязей;

- выделенные путем групповой экспертизы внешние и внутренние оценки качества подготовки специалистов;

- статистически значимые уравнения связи показателей экономики региона и системы высшего образования, позволяющие рассчитывать прогнозы влияния уровня образования на экономику;

- методика расчета показателей качества подготовки специалистов разными вузами, позволяющая проводить их сравнительный анализ;

- рассчитанные на основе достаточных статистических данных уравнения связи интегрального показателя качества с факторами организации учебного процесса, позволяющие решать задачи управления качеством подготовки специалистов;

- методика оценки необходимых и существующих уровней частных показателей качества, позволяющая выявить рассогласования требований и формировать стратегию повышения общего показателя качества специалистов;

-методика групповой экспертизы показателей эффективности учебного процесса с построением диаграмм Исикавы, позволяющих выделить степень влияния разных факторов на эффективность учебного процесса и управления им;

-процедура инжиниринга процессов управления вузом по критерию качества подготовки специалистов, позволяющая выделить ключевые факторы успеха и наименее эффективные процессы;

-возможность применения технологии системы глобального управления качеством (TQM) для организации подготовки специалистов вузом;

- выявленные закономерности использования различных стилей обучения студентами вуза;

- метод оценки экономического эффекта повышения качества подготовки специалистов в регионе, позволяющий более целенаправленно управлять этим показателем на уровне стратегии развития системы высшего образования.

Практическая значимость работы заключается в:

1) новых возможностях объективной оценки показателей качества подготовки специалистов;

2) построении профиля качества подготовки на уровне внешних и внутренних показателей и выявлении недостатков подготовки;

3) установлении степени соответствия реального качества подготовки специалистов различных вузов реальным потребностям предприятий;

4) возможном определении оптимального качества подготовки при выпонении экономических ограничений;

5) возможности управления показателями качества подготовки специалистов;

6) возможности оптимизации траектории повышения качества в условиях вуза.

Апробация и реализация работы. Работа выпонена по плану НИР №14-Р Моделирование и прогнозирование процессов в региональной экономике (РГЭА, 1996 - 1999 гг.) и в соответствии с программой НИР ИУБиП по проблеме Оптимизация качества подготовки специалистов по экономике и управлению.

Основные положения работы докладывались на:

Всероссийской научно-технической конференции Образование -основа устойчивого развития России (Екатеринбург, 1999 г.)

- Межрегиональной конференции Управление проектами и управление на основе знаний в технологиях современного менеджмента (Отрадная, январь 2000г.)

Северо-Кавказкой научной конференции Методы эволюционной и синергетической экономики в управлении социальными и экономическими процессами (Отрадная, май 2000 г.)

Всероссийской научной конференции Развитие деловой сферы Юга России (Краснодар, июнь 2000 г.)

Научном семинаре кафедры менеджмента и прикладной экономики РГЭУ (1996-1999 гг)

- Всероссийской конференции Магистратура в вузах России (Воронеж, июнь 2000 г.)

- Всероссийской научно-практической конференции Повышение эффективности учебного процесса (Краснодар, КцГУ, сентябрь 2000 г.)

Региональной конференции Научный и образовательный потенциал вузов как ресурс развития региона (Ростов-на-Дону, ИУБиП, 1999, 2000 гг.)

Рекомендации диссертации использованы при совершенствовании учебного процесса в ЮРГУЭС (1998 - 2000 гг.), ИУБиП (1999 - 2000 гг.), ГФ РГЭА, РГЭА, ОГИ (1999 , 2000 гг.), переданы МО Ростовской области для применения в стратегическом планировании.

Публикации. Основные положения и выводы диссертационного исследования опубликованы в 14 печатных работах общим объемом 3,8 п.л.

Структура и объем работы. Диссертационная работа состоит из введения, трех глав, заключения, 8 приложений (формы анкет, таблицы, акты внедрения, распечатки обработки данных), списка использованной литературы (142 источника).

Диссертация: заключение по теме "Математические и инструментальные методы экономики", Мелешко, Елена Николаевна

1. Управление, ориентированное на повышение качества, дожно строиться не на ' функциональной, а на процессно - ориентированной основе, поскольку качество обеспечивается на всех этапах процесса подготовки специалиста.

2. Процесс управления вузом в этом случае дожен конструироваться на основе выделения ключевых факторов и их связи с блоками процесса обучения. Применение методики РС>М дало возможность выделить лузкие места и процессы с низким качеством.

3. Применение технологии тотального управления качеством дает возможность структурировать систему управления качеством подготовки специалистов в вузе и ввести новые показатели обученности.

4. На основе Х проведенной диагностики учебного процесса и выделения причин его недостаточного качества с помощью диаграмм Исикавы предложены рекомендации по повышению качества.

5. Проведенное с помощью тестов изучение используемых студентами стилей обучения показало, что 50% студентов используют дивергентный стиль, 20% -аккомодирующий. На этой основе даны рекомендации по повышению качества учебного процесса.

6. Предложенная методика оценки изменений качества подготовки в динамике полезна для диагностики тенденций изменения частных показателей качества и их улучшения.

7. Предложенные схемы перехода от интервальных шкал оценки знаний к ранговым дают возможность повысить качество оценивания знаний и управлять мотивацией студентов.

8. Показано, как повышение качества применяемых специалистов влияет на к.п.д. и упорядоченность процессов в экономике и рассчитанный экономический эффект доказывает целесообразность стратегии повышения качества подготовки специалистов с высшим образованием.

Результаты опубликованы в работах автора [115-119].

Заключение

Перед исследователем, решающим сложные задачи экономики, стоит двоякая задача: с одной стороны, глубже понять и изучить закономерности изучаемой системы, с другой - найти способы, средства, методы улучшения работы экономической системы, повышения ее качества. В диссертации на основе привлечения разнородных сведений о природе и направлениях развития оценки и управления качеством удалось понять сущность его измерения, влияния на него различных факторов и управления этим важным свойством специалиста.

Анализ эволюции понятия качества привел к выводу, что в XXI веке проблема качества человека, его жизни, общества, станет первостепенной. И без повышения качества человека, его знаний, морали дальнейший процесс будет невозможен.

В этой работе рассмотрены закономерности эволюции понятия качества, показано, как качество образования влияет на экономику региона и страны. Существует, по-видимому, критическое значение интелектуального потенциала страны, которое позволяет в поной мере использовать факторы интенсивного развития. Нам кажется, что тот поворот в общественном сознании, который несут с собой рыночные реформы, позволит эффективно использовать большой накопленный Россией интелектуальный потенциал, сопоставимый с потенциалом развитых стран. Для его эффективного использования нужна ориентация на качество и в образовании, и в подготовке научных кадров.

Диссертация может способствовать продвижению в теоретическом и практическом решении этих задач, так как в ней получены новые научные результаты:

1 - на основе эволюционного анализа экономики показаны и количественно оценены изменения требований экономики и общества к категории качество подготовки специалиста, к системе образования;

2 - уточнено и систематизировано понятие качество подготовки специалиста с высшим образованием, выделены и обоснованы статистически его составляющие;

3 - определены ' статистические закономерности связей выработки национального дохода в Ростовской области с параметрами системы высшего образования;

4 - разработан подход к определению стратегии развития интелектуальных ресурсов и повышения качества образования;

5 - определен набор характеристик качества подготовки специалиста по специальности 0611 - менеджмент, определены существующие и необходимые значения характеристик, построен диагностический профиль качества подготовки и введен интегральный показатель качества на статистической основе;

6 - разработаны методы расчета коэффициентов важности частных показателей качества подготовки специалистов, на этой основе проведен сравнительный анализ показателей качества подготовки менеджеров в ряде вузов области;

7 Ч имея интегральные оценки качества подготовки рассчитаны эконометрические модели влияния различных факторов на качество подготовки специалистов;

8 - разработан и практически реализован метод диагностики и выявления недостатков в организации учебного процесса на основе применения диаграмм Исикавы;

9 -предложена процедура диагностики процессов управления вузом и совершенствования управления по критерию качества подготовки специалистов;

10 - разработаны рекомендации по практическому использованию технологии TQM для управления качеством подготовки специалистов в вузе;

11 - изучены стили обучения, используемые студентами вузов, и разработаны рекомендации по улучшению учебного процесса на этой основе;

12 - предложены способы перехода от интервальной к ранговой шкале оценок знаний, поставлена задача оптимизации качества подготовки специалистов с высшим образованием в регионе.

Эти результаты, по нашему мнению, дожны способствовать углублению понимания важности проблем повышения качества подготовки специалистов и могут быть применены административными структурами и вузами для повышения качества наших специалистов и развития российской экономики и общества.

Диссертация: библиография по экономике, кандидат экономических наук , Мелешко, Елена Николаевна, Ростов-на-Дону

1. Дубовиков Б.А. Основы научной организации управления качеством. -М.: Экономика,. 1966 - 319с.

2. Затолокин В.М. Методы анализа качества продукции М.: Финансы и статистика, 1985 - 214с.

3. Обучающие машины, системы и комплексы: Справочник /Под общ. Ред. Проф. А.Я. Савельева К: Высш. Школа. 1985 - 308с.

4. Фейгенбаум А. Контроль качества продукции /Пер. с англ. Под ред.

5. A.В. Гличева- М.: Экономика, 1986-464с.

6. Гличев А.В. и др. Управление качеством продукции -М.: Экономика, 1979- 175с.

7. Quality depenses in manufacturing "Quality Progress", Juli 1987, p. 101-104.

8. Системный анализ и экономические стратегии управления /Под ред.

9. B.Н. Воковой: Спб: СПбГТУ, 1994 - 116с.

10. Качество высшего образования главная проблема настоящего и будущего - Университетская книга, №8, 1999, с. 8-17.

11. Нечипоренко В.Д. Управление качеством образования и новые информационные технологии. Статья в Интернет, 2000 г.

12. Davenport Т.Н. Business Innovation, Reingineering Work Through Information Technology Boston: Harvard Business Scool Press, 1993 - 286 p.

13. Райхман Э.П., Азгальдов Г.Г. Экспертные методы в оценке качества товаров. М.: Экономика, 1974- 150с.

14. Экспертные методы оценки качества промышленной продукции. ГОСТ 23554.0-79.СССР.

15. Национальный доклад о состоянии системы образования. Ч М.: Аналит. Центр. НИИ ВО, 1999 г.

16. Золотарев B.C., Черненко A.JI. Анализ периода адаптации выпускников вуза /В сб.: Математические методы и технические средства в научной организации учебного процесса. Матер. Всес н.-пр. конф. Ростов-на-Дону: ДИНХ, 1977.

17. Высшая школа России: проблемы и перспективы: м-во общ. и проф. образ-ия РФ. Ульян, гос. ун-т. Научн. библиотека. Ульяновск, 1998 Ч 60 е.; 20 см.

18. Агапова И.С. Методика статистической оценки функционирования высш. Школы в современных условиях. Автореф. дис. к.э.н. Моск. гос. ун-т эк-ки, статистики и информатики. М,, '97 23 с.

19. Любатов Ю.В. О средних взвешенных оценках качества Стандарты и качество, 1972, №7, с. 48-50.

20. Подготовка специалистов в области гуманитарных и социально-экономических наук (материалы для сравнительного анализа). Ч М.: ГКВО РФ, 1985 -88 с.

21. Фомин В.Н. Анализ качества в менеджменте. Менеджмент, №1, 2000, с. 16-19.

22. Аминов H.A. Модели управления образованием и стили преподавания. Вопросы психологии, №2, 1994.

23. Концепция и основные задачи очередного этапа реформы образования в РФ: обзор замечаний, предложений и экспертная оценка (экономический аспект). М.: НИИ ВО, 1998 - 44с.

24. Образование основа устойчивого развития России /Матер. Всерос. н.- пр. конф. - Екатеринбург: Ур ГЭУ, 1999 - 84с.

25. Богданов И.В. Локальная образовательная система Тольятти: Межд. Акад. бизнеса и банк, дела, 1996 174 с.

26. Концепции структуры и содержания многоуровневой системы высшего технического образования России. Спб: СпГТУ, 1993 - 209с.

27. Высшее и среднее профессиональное образование в РФ: статист. Сборник. /НИИ ВШ /Под ред. А.Н. Тихонова. М: НИИ ВО, 1996 - 126с.

28. Ефремов Л.Г. Управление социальным развитием высшей школы республик-субъектов РФ: автореф. к.э.н. 080005 Спб: СПбУЭФ, 1996.

29. Управление современным образованием: социальные и экономические аспекты /А.Н. Тихонов, А.Е. Абрамешин, Т.П. Воронина, A.B. Иванников, О.П. Мочанова, Под ред. А.Н. Тихонова. М.: Вита-Пресс, 1998-256с.

30. Измерение знаний при проведении массовых обследований. Метод, рекомендации. М.: МГПИ, 1984 - 107с.

31. Мс Kenzie N. Teaching & Learning. An introduction to new methods and research in higher education. Paris: UNESCO, 1990.

32. Дьяченко B.K. Организационная структура учебного процесса и ее развитие М.: Педагогика, 1989 - 159с.

33. Модульная технология обучения. Метод, рекомендации. Спб. Всеросс. ИПК инт.-пед. раб., 1993 -43с.

34. Хубаев Г.Н., Компьютерные сети в системе оценки качества подготовки специалистов Высшее образование в России, №3,1995, с. 9-16

35. Харыбина Т.Р. Математические модели оптимизации учебного процесса на базе современных информационных технологий /Автореф. дисс. к.э.н. Спб: РПИ, 1994

36. Закон РФ О высшем и послевузовском профессиональном образовании. 22 августа 1996.

37. Закон Об образовании //Российская газета, 1996, 23 января.

38. Субетто А.Н. Качество и образование. /В кн.: Первая научная сессия определения образования Петровской академии наук и искусств. Образование: будущее России и человечества. Спб.: ПАНИ, 1993 Ч с. 105-113.

39. Кивенин О., Ринне Р. Инвестиции в высшее образование: финский опыт //Высшее образование в Европе, т. 17, №1. М., 1992, с 132-153.

40. Акперов И.Г. Прогнозирование потребности в специалистах и управление региональной системой образования. М.: Высшая школа, 1998-306с.

41. Тратезников В.А. Вопросы управления экономическим системами. Ч Вопросы экономики, №1, 1972.

42. Долятовский В.А., Тостых Т.Н. Выбор стратегии развития региональной экономики на основе новых информационных технологий. Воронеж. Истоки, 1998 - 318с.

43. Хэнин Б. Контроль качества. М.: Прогресс, 1968 - 519с.

44. Экономико-математические модели планирования подготовки специалистов. Вып. 3. М.: НИИ ПВШ, 1978 - 59с.

45. Формирование . качества рабочей силы в условиях интенсивного развития производственных сил региона /Всерос. н.- пр. конф. Ч Красноярск: Спб ТУ, 1989 289с.

46. Хубаев Г.Н., Процедуры оценки качества тестовых систем.-Экономико-организационные проблемы проектирования и применения информационных систем.-Ростов-на-Дону: РГЭА, 1999-с. 171-180

47. Проблемы педагогических измерений /Межвуз. сб. н.тр. /МГПИ М.: МГПИ, 1984- 12 с.

48. Герасименко С.С. Статистическое обоснование программ подготовки специалистов с высшим образованием: Автореф. дис. на соиск. д-ра эк.наук. Киев., институт народн. хоз-ва. '91.

49. Кураков Л.П. Проблемы управления высшей школы на современном этапе. М.: Реш, 1995.

50. Проблемы и перспективы высшего образования в эпоху соц. реформ, /н.-мет. межвуз. конф. 1997 г. Спб: Рос. Акад. Образ. 337с.

51. Майборода Л.А., Субетто A.M. Общая концепция и структура определения стандарта качества высшего образования и ее приложение применительно к крестьянскому высшему образованию. Ч Спб., М.: Иссл. Цен. пробл. кач-ва, 1994 г.

52. Dore D.P. The diploma disease: Education, Qualification and Development -Berkeley, L-Angeles: Univ. Of Calif. Press, 1976, XVII, +214p.

53. Polic, planning and management in technical and vocational education: A comparative study-Paris: UNESCO, 1984- 158p.

54. ГОСТ 23554.0-79. Система управления качеством продукции, дисперсные методы оценки качества продукции. Основные положения.

55. ГОСТ 24294-80. Определение весовых коэффициентов при комплексной оценке технического уровня и качества продукции.

56. ИСО 9000-1-94. Общее руководство качеством и стандарты по обеспечению качества.

57. ИСО 9001-94. Системы качества. Модель для обеспечения качества при проектировании, разработке, производстве, монтаже и обслуживании.

58. ГОСТ Р.40.003-96. Система сертификации. Регистр систем качества. Порядок проведения сертификации систем качества.

59. Кибернетика и вуз. 2. Применение математических методов и вычислительных машин в управлении вузом. Томск: ТГУ, 1969 -108с.

60. Методология исследований, проектирования и менеджмента в области высшего образования: сб. научн. тр. НИИ высш. образов-ие, М: '97 332с.

61. Герасименко С.С. Статистическое обоснование программной специальности с высшим образованием: автореф. д.э.н. (080011) Киев

62. Горбачева В.А. Оценка и планирование научно-информационного потенциала в управлении вузом. Автореф. к.э.н. ЛИЭИ: л, 1989.

63. Ильина Л.О. Разработка системы определения потребности в специалистах различной квалификации в вузах. автореф. к.э.н. ФЭИ 1987.

64. Trends and development of technical and vocational education Paris: UNESCO, 1990-71 p.

65. Le controle de la formation professionnelle Paris: Min du trav. Et des affaires sosiales - 1996, 246p.

66. Strong M.E. Shaefer C.J. Introduction to trade, industrial and technical education. Columbus: Columbus Univ. Press, 1995, 235p.

67. Эволюция форм подготовки специалистов за рубежом (США, страны Западной Европы, Япония) инф. анал. обзор /Л.Ж. Можаева. - М.: ИНИОН, 1996- 92 с.

68. Edition of Education: a Glance Indicators. Paris: OECD, 1997 -97p.

69. Рубин Б.Г., Колесников Ю.С. Студент глазами социолога Ростов-на-Дону: РГУ, 1968 - 276 с.

70. Мультимедиа. /Под ред. А.И. Петренко Киев: КВНРГУ, 1994 - 175 с.

71. Ильина О.Г. Методология статистического исследования менеджмента ВУЗа: Автореф. дис. к.э.н. гос. ун-т эк-ки, статистики и информатики, М. '97 23 с.

72. Жеребцов А.В. Автоматизация информационных обследований процессов управления испонительной деятельности системы организации управления высшей школы.: автореф. к.э.н 080013 МЭСИ, 1989.

73. Васильев Ю.С., Глухов В.В., Федотов М.П. Экономика и организация управления вузом. СПб: Лань, 1992 448с.

74. Гребнев Е.Т. Управление нововведения М.: экономика, 1995 - 150с.

75. Artifical Intelligence in higher education: Proceedings / CEPES/UNESCO, 1989.

76. Основные показатели экономического и социального развития Ростовской области. Ростов-на-Дону, ГКС РФ, 1999 - 153 с.

77. Вариант стратегии развития промышленности Ростовской области 1998-2001 годах /Под ред. Наливайского В.Ю. Ростов-на-Дону: РГЭА, 1998.

78. Основные показатели развития народного хозяйства Ростовской области. Ростов-на-Дону: ОКС РО, 1996 - 117с.

79. Долятовский В.А., Максимов В .А. Прикладная экономика для менеджеров и экономистов. Ростов-на-Дону: РГУ, 1999 - 267с.

80. The Europa World Year Book 1990, v.II Loondon: Europa Publ, Ltd, 1990-615c.

81. Несбитт Д., Эбурдин П. Mera тенденции 2000. /пер. с англ. М.: Прогресс, 1992 - 5 17с.

82. Е.А. Коваль, E.H. Мелешко Некоторые результаты реализации проекта подготовки управленческих кадров. /В сб.: Управление проектами и управление на основе знаний в современных технологиях менеджмента. Отрадная: СКНЦВШ, 1999.

83. Долятовский В.А., Мелешко E.H. Качество подготовки специалистов как фактор устойчивого развития экономики. /В сб. Образование Ч основа устойчивого развития России: Екатеринбург: УрЭУ, 1999.

84. Акперов И.Г.,' Долятовский В.А.,Мелешко E.H. О возможной оптимизации системы обучения в вузе /В сб.: Потенциал вузов Ч ресурс развития региона Ростов-на-Дону: ИУБиП, 1999 - с.

85. Долятовский В.А., Тебенчук С.В., Мелешко E.H. Управленческое консультирование. УМК. Ростов-на-Дону: ИУБиП, 2000 - 86с.

86. Социальные факторы повышения эффективности труда /под ред. Н.А. Лобанова, Г.И. Черкасова. Л.: Прогресс, 1981, с. 112.

87. Мескон М., Хидоури Ф., Альберт М. Основы менеджмента /Пер. с анг. -М: Дело, 1992- 70с.

88. Виссема X. Менеджмент в подразделениях фирмы /Пер. с шв. М.: Инфра-М., 1998-212с.

89. Бэнердым Д. Психологическая теория принятия решений /Пер.сангл. М.: Мир, 1979.

90. Милер Д. Магическое число семь плюс минус два. /Кибернетический сборник. Выш. 5. - М.:Мир, 1979 - с. 92-117.

91. Долятовский В.А., Долятовский Н.В., Мелешко Е.Н. Система мониторинга знаний и управление качеством подготовки магистров /В сб.: магистратура в вузах России. Воронеж: ВГУ, 2000.

92. Долятовский В.А., Мелешко Е.Н. Статистические оценки качества подготовки магистров по спец. Менеджмент /В сб.: магистратура в вузах России. Воронеж: ВГУ, 2000.

93. Мелешко Е.Н. Анализ характеристик спроса и требований к подготовке руководящих кадров в области менеджмента на предприятиях России /В сб. Образование основа устойчивого развития России: - Екатеринбург: УрЭУ, 1999.

94. Дэвид А., Кобэ, Ричард Дж. Бэйкер. Методика определения стилей обучения. Изд. McGraw-Hill, 1999.

95. Коханенко И.К., Пищик В.И. Стили обучения как инструмент управления. /Материалы научно-практической конференции Методыэволюционной и синергетической экономики в управлении региональными и производственными системами. Отрадная, 2000.

96. Коханенко И.К., Пищик В.И. Некоторые вопросы обучения и воспитания: Мотивация учения и коррекция обучаемости, Вып. 3. -Ростов-на-Дону: РВВКИУРВ, 1995.

97. Бэндлер Р. Используйте свой мозг для изменения. Ч Спб.: Ювента, 1994.

98. Бэндлер Р., Гриндлер Дж. Из лягушек в принципы. - Воронеж: НПО, МО ДЕК, 1995.

99. Ливер Бетти Лу. Обучение всего класса. М.: Новая школа, 1995.

100. Климов Е.А. Индивидуальный стиль деятельности в зависимости от типологических свойств нервной системы. Казань: Изд-во КГУ, 1969.

101. Мелешко E.H. Методика оценки качества подготовки специалистов в вузе. /В сб. Управление проектами и управление на основе знаний в современных технологиях менеджмента. Отрадная: СКНЦВШ, 1999.

102. Мелешко E.H. Методика анализа качества оценивания знаний студентов вуза.7В сб. Управление проектами и управление на основе знаний в современных технологиях менеджмента. Отрадная СКНЦ ВШ, 1999-е.

103. Мелешко E.H., Дубенко Л.Н., Уваров И.П. Использование показателя стиля обучения для повышения качества учебного процесса /В сб.: Повышение эффективности учебного процесса. Ч Краснодар: КубГУ-2000.

104. Мелешко E.H. Обоснование перехода от интервальной шкалы оценок к ранговой. /В сб.: Управление проектами и управление на основании знаний. Отрадное: ОТП, 2000.

105. Дубенко Л.Н., Мелешко E.H. Об инновационном подходе к организации обучения в вузе. /В сб.: Повышение эффективности учебного процесса. Краснодар: КубГУ, 2000.

106. Акперов И.Г., Долятовский В.А.,Мелешко E.H. Инжиниринг процессов управления вузом /В сб.: Научный потенциал вуза ресурс развития региона. Вып. 3. - Ростов-на-Дону: ИУБиП, 1999 - с. 37-42.

107. Закс J1. Статистическое оценивание. М.: Статистика, 1976 - 598 с.

108. Кендал М., Стюарт А. Многомерный статистический анализ и временные ряды. М.: Наука, 1976 - 736с.

109. Лизер С. Экономические методы и задачи. М.: Статистика, 1971- 141с.

110. МарКова А.К., Матис Т.А., Орлов А.Б. Формирование мотивации учения. М.: Просвещение, 1990 - 211с.

111. Узнадзе Д.Н. Экспериментальные основы психологической установки. Тбилиси: Изд. АНГрССР, 1961 - 176с.

112. Савельев А .Я., Зуев В.М., Галаган А.И., Джалалов Д.А. Прогнозирование развития и мониторинг состояния высшего и среднего профессионального образования. М.: НИИ ВО, 1999 - 127с.

113. Мс Clelland D.C. What is the effect of achievemant motivation training? Teachers C.R., 1972, v. 74 (2), p. 129-145.

114. Петухов В.И. Процессы регулирования в моделях обучаемости. -Рязань: РРТИ, 1966- 14с.

115. Мак-Дональд М. Стратегическое планирование маркетинга СПб: Питер, 2000 - 320с.

116. Батищев Д.И. Принятие оптимальных решений в экономических исследованиях. Горький: Изд. ГГУ, 1982 - 107с.

117. Бешелев С.Д., Гурвич Ф.Г. Математике статистические методы экспертных оценок. - М.: Статистика, 1980 - 182с.

118. Атоян В.Р. Инновационная деятельность в стратегическом планировании.: Консп. Лекций по Инновационный менеджмент. Сарат. гос. техн. ун-т Саратов: СГТУ, '96.

119. Якобсон Л.Н. Экономика общественного сектора. М.: Аспект Пресс. 1996.

120. Юрьева T.B. Интелектуальная сфера и предпринимательство: Неприбыльный сектор. -М. 1994.

121. Аминов H.A. Модели управления образованием и стили преподавания //Вопросы психологии №2 М, 1994 с. 42-53.

122. Проскуряков В.М., Самоукин Л.И. Экономический потенциал социальной сферы: содержание, оценки, анализ. М.: 1991, с. 131-186.

123. Долятовский В. А. Механизмы эволюции экономических организаций /В кн.: Системогенетика и учение о цикличности развития. Их приложения в сфере образования и общественного интелекта. Тольятти: МАББД, 1994 - с. 38-41.

124. Долятовский В.А., Ильина О.В., Тимакин O.A. Траектории развития и оценки образовательных систем. /В кн.: Системогенетика и учение о цикличности развития. Их приложения в сфере образования и общественного интелекта. Тольятти: МАББД, 1994 - с. 41-44.

125. Шахнина И.Н. Гуманитарная направленность подготовки менеджеров в США. Вестник высшей школы, №1, 1990.

126. Садовничий В.А. Доклад на V съезде Российского Союза ректоров. М.: Изд-воМГУ, 1998.

127. Афанасьева Т., Буев В., Пуденко Т. Оценка спроса в области обучения менеджменту. Вопросы статистики, №6, 1997, с. 95-104.

128. Климов Е.А. Индивидуальный стиль деятельности в зависимости от типологических свойств нервной системы. Казань: Изд-во КГУ, 1969.

129. Коротаева A.A., Тамбовцева Т.С. Исследование индивидуальных стилей педагогического общения //Вопросы психологии, №2. М., 1990, с. 23-37.

Похожие диссертации