Методическое пособие Иваново 2003 Выходные данные

Вид материала

Методическое пособие

Содержание В первой точке Во второй точке В третьей точке В четвертой точке В пятой – девятой точках

Подобный материал:

• Выходные данные статьи, 126kb.
• Учебное пособие Иваново 2003 удк, 4072.99kb.
• Учебно-методическое пособие томск 2003 Корректор: Воронина, 785.4kb.
• Учебно-методическое пособие и задания для студентов дневного и заочного отделений специальности, 875.22kb.
• Учебно методическое пособие, 771.33kb.
• Н. Г. Чернышевского методическое пособие Саратов 2003 Методическое пособие, 3068.71kb.
• Методическое пособие Москва 2003 Цветкова И. В. Как составить и успешно реализовать, 2646.26kb.
• Учебно-методическое пособие по изучению дисциплины и выполнению письменной работы для, 316.68kb.
• Методическое пособие по курсу «Информатика» для студентов, обучающихся по всем направлениям, 1648.11kb.
• Учебно-методическое пособие Москва 2003 Учебно-методическое пособие разработано коллективом, 523.99kb.

Zэ_(р)

 

В схеме на рис.4.6 приняты следующие обозначения: Z1э_(p1), Z2э_(p1), … , Z Мэ_(р1) - средние оценки проректора No1, выставленные соответственно заведующими кафедрами No1, No2, … , NoМ; Zэ_(p1), Zэ_(p2), … , Zэ_(рК) - средние оценки, полученные от команды заведующих кафедрами проректорами No1, No2, … , NoК.



Рис.4.7. Схема вычисления оценки Nэ_(р)

 

В схеме на рис.4.7 приняты следующие обозначения: N1э_(p1), N2э_(p1),…, NNэ_(р1) - средние оценки проректора No1, полученные от начальников отделов No1, No2, … , NoN; Nэ_(p1), Nэ_(p2), … , Nэ_(рК) - средние оценки, полученные от команды начальников отделов проректорами No1, No2, … , NoК.

Оценка эффективности процессов управления качеством образования на уровне деканов осуществляется по схеме на рис.4.8.

 

 



Рис.4.8. Схема вычисления оценок эффективности процессов управления качеством образования на уровне команды деканов

 

 

Здесь приняты следующие обозначения: D1э_(d1) - самооценка декана No1; D2э_(d1) – оценка, полученная деканом No1 от декана No2; DLэ_(d1) - оценка, полученная деканом No1 от декана NoL (L – количество деканов); Dэ_(d1) - средняя оценка декана No1, выставленная коллегами, включая результаты самооценки; Dэ_(d2) – средняя оценка декана No2, выставленная коллегами, включая результаты самооценки; Dэ_(dL) – средняя оценка декана NoL, выставленная коллегами, включая результаты самооценки; Dэ_(d)– средняя оценка команды деканов вуза, полученная в результате опроса всех деканов; Z1э_(d1) – оценка, полученная деканом No1 от заведующего кафедрой No1; Z2э_(d1) – оценка, полученная деканом No1 от заведующего кафедрой No2; ZМ1э_(d1) – оценка, полученная деканом No1 от заведующего кафедрой No М1 (М1 – количество кафедр на факультете No1); Zэ_(d1) – средняя оценка, полученная деканом No1 от заведующих кафедр своего факультета; Zэ_(d2) – средняя оценка, полученная деканом No2 от заведующих кафедр своего факультета; Zэ_(dL) – средняя оценка, полученная деканом NoL от заведующих кафедр своего факультета; Zэ_(d)– средняя оценка команды деканов вуза, полученная в результате опроса заведующих кафедрами соответствующих факультетов; Qэ_(d) – интегральная оценка эффективности процессов управления качеством образования на уровне команды деканов.

Оценка эффективности процессов управления качеством образования на уровне команды заведующих кафедрами вуза осуществляется по схеме на рис.4.9.

Здесь приняты следующие обозначения: Z1э_(z1) - самооценка заведующего кафедрой No1; Z2э_(z1) – оценка, полученная заведующим кафедрой No1 от заведующего кафедрой No2; ZМ1э_(z1) - оценка, полученная заведующим кафедрой No1 от заведующего кафедрой NoМ1 (М1 – количество кафедр на факультете No1); Zэ_(z1) – средняя оценка заведующего кафедрой No1, выставленная коллегами по факультету No1; Zэ_(z2) – средняя оценка заведующего кафедрой No2, выставленная коллегами по факультетам No1; Zэ_(zМ1) – средняя оценка заведующего кафедрой NoМ1, выставленная коллегами по факультету No1; Zэ_(z)фак1 , Zэ_(z)фак2 , … , Zэ_(z)факL – средние оценки команд заведующих кафедрами, полученные от своих коллег по факультету No1, No2, … , NoL; C1э_(z1), C2э_(z1), … , CH1э_(z1) – оценки заведующего кафедрой No1, выставленные соответственно сотрудниками No1, No2, … , NoН1 этой кафедры (Н1 – количество сотрудников кафедры No1, участвующих в анкетировании); Сэ_(z)каф1 , Сэ_(z)каф2 , … , Сэ_(z)кафМ1 – средние оценки заведующих кафедрами No1, No2, … , NoМ1, выставленные сотрудниками соответствующих кафедр; Сэ_(z)фак1 , Сэ_(z)фак2 , … , Сэ_(z)факL – средние оценки команд заведующих кафедрами факультетов No1, No2, … , No L, выставленные сотрудниками соответствующих кафедр этих факультетов (L – количество факультетов); Zэ_(z) – средняя оценка команды заведующих кафедрами вуза, полученная в результате опроса заведующих кафедрами вуза, включая результаты самооценки; Сэ_(z) – средняя оценка команды заведующих кафедрами вуза, полученная в результате опроса сотрудников вуза; Qэ_(z) – интегральная оценка эффективности процессов управления качеством образования на уровне команды заведующих кафедрами.

Оценка эффективности процессов управления качеством образования на уровне команды начальников отделов вуза осуществляется по схеме на рис.4.10.

Здесь приняты следующие обозначения: N1э_(n1) - самооценка начальника отдела No1; N2э_(n1) – оценка, полученная начальником отдела No1 от начальника отдела No2; NNэ_(n1) - оценка, полученная начальником отдела No1 от начальника отдела NoN (N – количество отделов в вузе); Nэ_(n1) – средняя оценка начальника отдела No1, выставленная коллегами по вузу; Nэ_(n2) – средняя оценка начальника отдела No2, выставленная коллегами по вузу; Nэ_(nn) – средняя оценка начальника отдела No N, выставленная коллегами по вузу; Nэ_(n) – средняя оценка команды начальников отделов вуза, полученная в результате опроса начальников отделов вуза, включая результаты самооценки; С1э_(n1) - оценка начальника отдела No1, выставленная сотрудником No1; С2э_(n1) – оценка начальника отдела No1, выставленная сотрудником No2; СН1э_(n1) - оценка начальника отдела No1, выставленная сотрудником No Н1 (Н1 – количество сотрудников в отделе No1); Сэ_(n1) – средняя оценка начальника отдела No1, выставленная сотрудниками этого отдела; Сэ_(n2) – средняя оценка начальника отдела No2, выставленная сотрудниками этого отдела; Сэ_(nn) – средняя оценка начальника отдела No N, выставленная сотрудниками этого отдела; Сэ_(n) – средняя оценка команды начальников отделов вуза, полученная в результате опроса сотрудников соответствующих отделов вуза; Qэ_(n) – интегральная оценка эффективности процессов управления качеством образования на уровне команды начальников отделов вуза.

Оценка эффективности процессов управления качеством образования на уровне команды рядовых сотрудников вуза осуществляется по схеме на рис.4.11.

 

 



Рис.4.9. Схема вычисления оценок эффективности процессов управления качеством образования на уровне команды заведующих кафедрами

 

 



Рис.4.10. Схема вычисления оценок эффективности процессов управления качеством образования на уровне команды начальников отделов вуза

 

 



Рис.4.11. Схема вычисления оценок эффективности процессов управления качеством образования на уровне команды сотрудников вуза

 

 

 

Здесь приняты следующие обозначения: С1э_(с1) - самооценка сотрудника No1 из подразделения (кафедры или отдела) No1; С2э_(с1) – оценка, полученная сотрудником No2 от своих коллег из подразделения No1; СН1э_(с1) - оценка, полученная сотрудником NoН1 от своих коллег из подразделения No1 (Н1 – количество сотрудников в подразделении No1); Сэ_(с1) – средняя оценка, полученная сотрудниками от своих коллег из подразделения No1; Сэ_(с2) – средняя оценка, полученная сотрудниками от своих коллег из подразделения No2; Сэ_(сТ) – средняя оценка, полученная сотрудниками от своих коллег из подразделения NoТ (Т - количество подразделений вуза); Сэ_(с) – средняя оценка команды сотрудников вуза, полученная в результате опроса сотрудников соответствующих подразделений вуза; С1э_(z1) - оценка сотрудника No1 руководителем подразделения (кафедры или отдела) No1; C2э_(z1) - оценка сотрудника No2 руководителем подразделения No1; CH1э_(z1) - оценка сотрудника NoH1 руководителем подразделения No1; Cэ_(z1) - средняя оценка руководителем подразделения No1 своих сотрудников; Cэ_(z2) - средняя оценка руководителем подразделения No2 своих сотрудников; Cэ_(zТ) - средняя оценка руководителем подразделения NoТ своих сотрудников; Cэ_(z) - средняя оценка сотрудников вуза руководителями соответствующих подразделений; Qэ_(с) – интегральная оценка эффективности процессов управления качеством образования на уровне команды сотрудников вуза.

 

4.10. Обобщенный алгоритм использования анкет макро-
и микропоказателей эффективности процессов управления качеством образования

 

Опрос респондентов по комплексам анкет, рассмотренных в главах 3 и 4, требует больших затрат времени и ресурсов. Поэтому это распределяется на весь пятилетний период между очередными аттестациями вуза. Контрольные точки измерений – начало очередного семестра. Таким образом, в пятилетнем аттестационном цикле выделяются 10 стартовых точек: первый семестр после аттестации – первая точка, последний семестр в год аттестации – десятая точка (рис.4.13).

 



 

Рис.4.13. Схема контроля эффективности процессов управления качеством образования в течение пятилетнего цикла

 

В первой точке проводится экспресс-оценка с помощью комплексов анкет макропоказателей по восьми категориям для шести уровней управления (см. главу 3). Параллельно проводится экспресс-самооценка с помощью аналогичного комплекса анкет макропоказателей. По результатам экспресс-оценки формируются векторные диаграммы, характеризующие уровень готовности коллектива вуза к применению современных систем менеджмента качества образования в восьми категориях для ректора, проректоров, деканов, заведующих кафедрами, начальников отделов и сотрудников вуза. На векторных диаграммах изображаются координаты результатов экспресс-оценки и самооценки для всех уровней управления.

Результаты экспресс-оценки могут выводиться и в виде традиционных линейных (столбиковых) диаграмм.

Далее проводится детальный анализ результатов экспресс-оценки и формируются диаграммы средних оценок и самооценок:

• для групп респондентов в возрасте до 30 лет (Q₃₀), от 30 до 45 лет (Q₄₅), от 45 до 55 лет (Q₅₅), свыше 55 лет (Q₆₅);
  
• для групп респондентов, работающих в сфере естественных наук (Q_e), в сфере гуманитарных наук (Q_г), в сфере общеинженерных наук (Q_и) и в сфере специальных наук (Q_сп);
  
• для групп респондентов с ученой степенью доктора наук, кандидата наук и для сотрудников без ученой степени;
  
• для команд сотрудников каждой кафедры факультета.
  

В этой же точке выявляются все случаи расхождения результатов экспресс-оценки и самооценки более двух баллов и составляется план дополнительных учебных занятий для персонала в целях устранения различий в толкованиях основных идей современного менеджмента качества образования.

Во второй точке осуществляется оценка и самооценка эффективности процессов многомерного управления качеством образования с использованием комплекса анкет микропоказателей.

В третьей точке выявляются наиболее слабые места в управлении качеством образования в каждой из восьми категорий, то есть формируется предварительный список направлений (в каждом направлении – несколько объектов) бенчмаркинга.

Здесь используются средние оценки по каждому микропоказателю, так как один и тот же вопрос задается нескольким респондентам. Например, ректору выставляют оценки все деканы, все заведующие кафедрами, все начальники отделов и значительная часть сотрудников вуза. Микропоказатели с одинаковыми оценками для всех категорий объединяются в единую группу с выделением подгрупп для уровней управления. Далее выбираются слабые места (ответы с оценками, как правило, не выше 3 во всех восьми категориях) и выявляются возможности устранения дефектов. Приоритет отдается тем направлениям усовершенствования, где можно достичь наиболее важных результатов с минимумом затрат времени и ресурсов. Так как возможности вуза и его подразделений ограничены, то в каждой категории фиксируется не более 4-5 задач.

На следующем шаге формируется единый для каждого уровня управления список первоочередных задач улучшения качества образования на фоне ключевых целей университета (подразделения). Наконец, наиболее значимые задачи для усовершенствования вуза располагаются в порядке приоритетности. Из этого ряда отбирается не более 7-9 самых важных проблем, над которыми следует поработать и которые окажут наибольшее влияние на пути университета к совершенству. Другими словами, выявляется важнейшее меньшинство. Остальные задачи оставляются до следующего цикла усовершенствования качества вуза.

В четвертой точке выявляются все случаи расхождения результатов оценки и самооценки эффективности процессов управления (анкеты микропоказателей) более чем на 2 балла и составляется план дополнительных дискуссий в целях выявления причин расхождений в оценках, а также уточняются характеристики партнеров по бенчмаркингу, то есть проверяется обоснованность выбранных эталонов для сравнения. По результатам дискуссий определяются уточненные показатели лидера по конкретному микропоказателю и фиксируются формальные данные о качестве «идеального» процесса, «входа» и «выхода» этого лидера.

В пятой – девятой точках повторяются процедуры, выполняемые в точке три, то есть формируются задачи для очередных циклов улучшения качества..

В десятой точке, то есть перед началом очередной аттестации, с помощью комплекса анкет микропоказателей проводится повторная оценка и самооценка эффективности процессов управления качеством образования.

Разработанный алгоритм в общем виде можно представить в виде схемы на рис.4.12, где на коллектив вуза обрушивается огромный поток информации в виде вопросов анкет W1 – W8 и характеристик лидеров в соответствующих категориях управления качеством (эталоны W1 – W8). Ответы сотрудников поступают в компьютерную систему, которая формирует первоочередные задачи повышения эффективности процессов управления качеством образования. Компьютерная система выполняет роль некоторого фильтра, выделяющего из огромного количества показателей Q конкретные направления улучшения качества управления раздельно:

• для каждой из восьми категорий управления;
  
• отдельных сфер деятельности;
  
• конкретного сотрудника;
  
• команды сотрудников конкретного подразделения вуза;
  
• различных возрастных групп;
  
• различных специальностей;
  
• различных уровней образования.
  

В системе социологического сопровождения процессов управления качеством образования используются большие объемы первичной информации. Если вернуться к схеме на рис. 4.12, то можно вычислить следующее количество вопросов, задаваемых каждому сотруднику вуза в течение пяти лет:

• экспресс-оценка требует ответов на 40 вопросов в анкетах макропоказателей;
  
• экспресс-самооценка требует ответов на 40 вопросов в анкетах макропоказателей;
  
• оценка эффективности управления качеством образования требует ответов на 140 вопросов в анкетах микропоказателей. При двухкратном в течении пяти лет проведении социологических опросов необходимо ответить на 280 вопросов в режиме внешней оценки и на 280 вопросов в режиме самооценки. Таким образом, каждый сотрудник вуза в течение пяти лет должен дать ответы на 640 вопросов. А если учесть, что некоторые категории сотрудников должны оценивать своих коллег, то в среднем на каждого сотрудника приходится не менее 6400 вопросов.
  

Из этой ситуации есть, по крайней мере, два выхода:

• максимально автоматизировать процедуры опроса;
  
• проводить частичный опрос сотрудников с соблюдением требований репрезентативности.
  

Но в любом случае необходимо иметь схему интеграции первичной информации. В главах 3 и 4 предложены схемы интеграции показателей эффективности:

• для шести уровней управления;
  
• для категорий качества управления;
  
• для вуза, факультета и любого подразделения вуза. Другие схемы интеграции могут быть легко составлены с использованием традиционных пакетов программ обработки результатов социологических исследований.
  

Эти схемы послужили основой для разработки компьютерной системы социологического сопровождения процессов управления качеством образования.

Наглядность представления результатов социологических опросов при огромном количестве вопросов и респондентов играет важную роль в последующем анализе проблем и принятии управленческих решений. Ниже приводятся фрагменты выходных документов, формируемых в автоматическом режиме компьютерной системой социологического сопровождения процессов управления качеством образования (рис. 4.14 –4.17).



Рис. 4.14. Представление результатов компьютерной системы социологического сопровождения процессов управления качеством образования

 



Рис.4.15. Лепестковая диаграмма результатов экспресс-оценки и экспресс-самооценки готовности вуза к использованию систем многомерного управления качеством образования

 

 



Рис.4.16. Линейные диаграммы результатов экспресс-оценки Q и экспресс-самооценки S готовности вуза к использованию систем многомерного управления качеством образования

 



Рис. 4.17. Вариант графика Парето для случая анализа дефектов на уровне заведующих кафедр

 



Рис. 4.17. Вариант диаграммы Ишикавы для случая анализа дефектов различных возрастных групп


Глава 5. Измерение входных данных и результатов деятельности вуза

В главе 1 отмечалось, что, во-первых, большая часть вузов придерживается традиционной технологии оценки результатов обучения, при которой учитель сам оценивает результаты своего труда, выставляя студентам оценки без четкого доказательства истинного уровня знаний. Этот же вывод справедлив и для школьной системы оценок. Возможно, что ситуация частично изменится после отработки технологии ЕГЭ. Во-вторых, большая часть вузов пытается оценивать знания, не обращая должного внимания на оценку уровня компетентности учащихся (умение творчески мыслить, умение учиться, умение вести диалог и т.п.). Наконец, в оценках деятельности вуза слишком примитивно отражается степень удовлетворения запросов клиентов высшей школы. Вузы объективно не показывают даже такие элементарные оценки как уровень трудоустройства выпускников. Поэтому в этой главе предлагаются некоторые варианты устранения указанных недостатков.

Чтобы не пугать читателя обилием новых формул и коэффициентов, заметим, что все процедуры измерения «входа и выхода» автоматизированы, а существующие программно-методические комплексы могут быть переданы любому вузу на бесплатной основе.

Радикальные изменения необходимо произвести в системе измерения, передачи и анализа данных о качестве процессов, ресурсов и результатов в учебной сфере деятельности университета. Цель изменений - устранение главных недостатков в традиционной подсистеме информационного обеспечения процессов управления: большое количество белых пятен в схеме измерений; высокий уровень субъективизма процессов измерения; низкий уровень автоматизации. В этой связи основное внимание при проектировании автоматизированной системы управления качеством вуза (АСУКВ) было уделено распределенному комплексу измерения качества. Ниже рассматриваются элементы этого комплекса, ориентированные на обслуживание учебной системы.

Информацию о качестве учебной системы вуза предлагается собирать в шесть взаимосвязанных таблиц иерархического типа. Эти таблицы индикаторов поддерживают традиционную для систем управления качеством модель данных (см. рис.1.1) в виде совокупности четырех элементов - «вход» (табл. 5.1), «выход» (табл. 5.2, 5.3 и 5.4), ресурсы (табл. 6.1), , кадровые ресурсы (табл. 6.2). Для удобства анализа информации данные по кадровым ресурсам выделены в отдельную таблицу.

 

5.1. Измерение качества входных данных абитуриентов (первый этап)

 

Качество входных данных абитуриентов измеряется в два этапа. На первом этапе измеряется первичная информация, отраженная в разделах 1.1, 1.2, 1.3, 1.4 и 1.5 табл. 5.1.

 

Таблица 5.1. Входные данные абитуриента (первичная информация).







Примечание: 5 - выше среднего, 4 - среднее, 3 - ниже среднего.





В разделе 1.1 табл. 5.1 под дополнительным экзаменом понимается некоторый дополнительный вступительный экзамен в ИГЭУ, если такой экзамен будет разрешен Министерством образования России. Входные тесты 1 и 2 предлагаются студентам в первом семестре. Наиболее важными учебными предметами для ИГЭУ являются математика и физика. Для некоторых специальностей по решению ученого совета вуза выбираются другие дисциплины. Главное требование к входным тестам - их независимость от приемной комиссии и соответствующих выпускающих кафедр вуза. Точнее, процесс входного тестирования должен полностью исключить внешнее вмешательство со стороны любого подразделения вуза, включая ректорат.

ЦМК планирует с помощью входного тестирования решать три задачи:

• выявлять реальный уровень знаний абитуриентов и сопоставлять в последующем этот уровень с результатами ЕГЭ и школьными оценками;
  
• выявлять дефекты знаний абитуриентов по двум базовым дисциплинам и своевременно проводить корректирующие занятия для устранения этих дефектов;
  
• искать причины расхождения оценок, выявленных с помощью трех разных процедур: традиционных промежуточных школьных экзаменов, ЕГЭ, независимого входного тестирования.
  

В разделе 1.2 табл. 5.1 три варианта рейтинга абитуриентов определяются по формуле (5.1.) , используемой ИГЭУ в системе РИТМ [7] в течение последних 20 лет (идея вычисления рейтинга как показателя класса учащегося заимствована у шахматистов):

(5.1)

Здесь R_абит - исходный рейтинг абитуриента;

S_ср - средняя оценка успехов абитуриента, алгоритм вычисления которого зависит от процедуры выявления знаний абитуриента.

При вычислении рейтинга на основе:

• результатов ЕГЭ (вступительных экзаменов) ;
  
• входных независимых тестов вуза по двум базовым дисциплинам ;
  
• суммы всех средних оценок .
  

Здесь S_егэ - оценка ЕГЭ, приведенная к системе баллов 2, 3, 4, 5;

S_тест - средняя оценка по двум тестам в аналогичной системе баллов;

S_шк - средняя школьная оценка.

1. В этих формулах используется коэффициент “недоверия” оценкам абитуриентов К=1. В качестве основной в ИГЭУ принята формула исходного рейтинга абитуриента, использующая сумму всех оценок. Еще раз заметим, что качество оценок абитуриента определяется качеством тестов и уровнем независимости процедур тестирования. Эти задачи уверенно решаются в зарубежных вузах. Нам надо повторить их опыт, не выбрасывая лучшее из собственных экзаменационных процедур.

Естественно, что процедуры вычисления рейтинга автоматизированы, т.е. студенты и преподаватели “не видят” приведенных формул.

В разделе 1.3 табл. 5.1 фиксируются результаты психологического тестирования каждого студента первого семестра (в дальнейшем планируется использование тестов для профориентационной работы со школьниками). Здесь мы ориентируемся на известные и апробированные методики психологического тестирования:

• МИЛ (ММРI) в адаптации Ф.Б. Березина (время заполнения теста из 77 вопросов - 20 мин);
  
• 16PF Р.Кэттела (время заполнения теста из 187 вопросов - 40 мин);
  
• методика Равена на исследование интеллекта (время заполнения теста - 20 мин). Для всех процедур сбора и анализа применяются разработанные в ИГЭУ программно-методические комплексы.
  

В разделе 1.4 табл. 5.1 уровни предпочтения абитуриентов определяются в результате опросов абитуриентов по известной методике.

2. Раздел 1.5 табл. 5.1 формируется приемной комиссией или учебным управлением вуза по дополнительным материалам, подаваемым абитуриентами при поступлении в вуз (грамоты, награды, поощрения, рекомендации и т.п.). Уровни предпочтения по каждой строке этой таблицы могут выставляться по заранее установленным шкалам или в результате обсуждения. Естественно, что у некоторых абитуриентов эти оценки могут отсутствовать.

 

5.2. Измерение качества входных данных абитуриентов (второй
и третий этапы)

 

На втором этапе на основе данных в табл. 5.1 вычисляются вторичные показатели качества для каждой учебной программы (специальности), каждого факультета и вуза в целом. То есть указанные таблицы трансформируются в три группы таблиц. Одна из этих групп показана ниже на примере некоторой специальности “Х”.

 

Таблица 5.1. (вариант 2) Оценка знаний «среднего» абитуриента для специальности «Х»

Окончание табл. 5.1 (вариант 2)





Примечание: 5 - выше среднего, 4 - среднее, 3 - ниже среднего для специальности "Х".





Формула вычисления данных в этих таблицах очевидна:

(5.2)

где D - средняя оценка всех абитуриентов специальности;

d_i -оценка i-го абитуриента специальности;

n - количество абитуриентов, зачисленных в вуз по специальности “Х”.

Каждая таблица второго уровня должна храниться в банке данных вуза не менее десяти лет для анализа динамики изменения показателей качества абитуриентов и для организации процессов улучшения качества входных данных абитуриентов.

По каждому абитуриенту должна храниться также следующая дополнительная информация: идентификатор школы; идентификатор пункта приема ЕГЭ; год поступления в вуз; фамилии школьных учителей по двум базовым для вуза дисциплинам; фамилия учителя, давшего рекомендацию школьнику (если рекомендация представлена); фамилии руководителей групп, организующих очередное входное тестирование. С использованием этих данных формируется третья группа таблиц: для каждой школы; каждого пункта приема ЕГЭ и т.д.

 

5.3. Измерение качества знаний и уровней компетентности студентов (первый этап)

 

Свыше двадцати лет в учебных процессах ИГЭУ применяется система РИТМ и алгоритм непрерывно-дискретного измерения результатов обучения в течение семестра [7]. Оценка результатов обучения по конкретному учебному курсу проводится по формуле

(5.3.)

где S_инт - интегральная оценка результатов обучения; S_тк - оценка текущего контроля результатов обучения; S_пк - оценка промежуточного контроля результатов обучения в середине семестра; S_экз - оценка заключительного экзамена, проводимого в устной или письменной форме. Указанные промежуточные оценки выставляются в диапазоне от 0 до 5. Очевидно, что максимальная интегральная оценка равна 500. Параллельно вычисляется рейтинг студента по формуле

(5.4)

где R_нов - новое (вычисляемое) значение рейтинга; R_стар - предыдущее (старое) значение рейтинга;К_вес - весовой коэффициент (от 3 до 10) сложности контрольного испытания; m - количество испытаний в семестре; S_i - оценка, полученная на очередном i-ом испытании; S_ож - ожидаемая оценка, вычисляемая компьютерной системой по формуле прогноза S_ож=f(R_стар).

В новой системе управления качеством образования произведена корректировка формулы (5.3) в направлении усиления контроля качества учения, а также повышения объективности и доказуемости оценок испытаний. Интегральная оценка теперь вычисляется по формуле

(5.5)

где S_кп - оценка процесса учения; S_вх - оценка по результатам независимого входного тестирования остаточных знаний; S_вых - оценка по результатам независимого выходного тестирования знаний.

При формировании интегральной оценки преподаватель вручную заполняет на каждого студента следующую таблицу:

 

Ф.И.О. студента

Оценка качества процесса учения (Sкп) - текущий контроль

Оценка знаний в середине семестра (Sпк) - промежуточный контроль

Оценка результатов учения в конце семестра (Sэкз) - заключительный контроль

 

Преподавателям рекомендовано оценку S_пк выявлять в режиме обычного экзамена без книг, шпаргалок и компьютеров. Это традиционный этап оценки промежуточных результатов учения и обучения студентов. На этапе заключительного контроля рекомендовано проведение творческого экзамена в целях выявления уровней компетентности студента (S_экз). Здесь разрешается применение любого справочного материала. Студент должен показать способность применять полученные знания и навыки. При определении оценки S_кп мы пока не пришли к единому мнению. Здесь у каждого преподавателя своя методика. В простейшем случае оценивается уровень прилежания студента. В перспективе планируется полная автоматизация определения оценки S_кп по результатам работы с электронными учебниками и компьютерными тренажерами. Оценки S_вх и S_вых выявляются на этапах независимого компьютерного или ручного тестирования.

Параллельно интегральная оценка S_инт переводится в обычную четырехбалльную оценку S по следующему алгоритму:

 

S = 5, если S_инт больше 435;

S = 4, если S_инт больше 350 и меньше или равно 435;

S = 3, если S_инт больше 250 и меньше или равно 350;

S = 2, если S_инт меньше или равно 250.

 

Все методики выставления и вычисления оценок заранее доводятся до сведения студентов соответствующими методическими указаниями.

Заметим, что уровень независимости оценки по формуле (5.5) существенно повышен, так оценки S_вх и S_вых выставляются независимыми комиссиями с применением компьютерных систем тестирования. При существенном расхождении оценок преподавателя и независимых оценок необходимо искать причины расхождения, а не наказывать преподавателя. Как правило, причиной дефекта являются не преподаватель или студент, а недостатки в системе организации процесса учения и контроля.

Перспективными планами развития ИГЭУ предусмотрен поэтапный переход к автоматизированным процедурам оценки качества результатов учения и обучения для четырех элементов в формуле (5.5). Преподавателю останется только заключительный этап контроля в форме творческого экзамена. В итоге будет реализована наиболее перспективная, на наш взгляд, схема оценки выходных результатов учения, сочетающая высокую производительность и информационную насыщенность компьютерных систем с творческими способностями профессора.

Несколько добавлений к формуле вычисления рейтинга студента. Для абитуриента стартовое значение рейтинга вычисляется по формуле (5.1). Это значение рейтинга и является стартовым для формулы (5.4) при первом вычислении рейтинга студента. Ожидаемая (прогнозируемая) оценка студента при очередном контрольном испытании

(5.6)

Три оценки S_кп , S_пк и S_экз, загружаемые в компьютерную систему позволяют сформировать итоговую таблицу 5.2. (рис. 5.1) оценок качества знаний для каждого студента по конкретному учебному курсу. Очевидно, что в среднем за семестр на каждого студента оформляется 5 - 8 таблиц в зависимости от числа изучаемых курсов.



Рис.5.1. Схема автоматизированной оценки результатов обучения студента

 

Очевидно, что таблицы вида 5.2 формируются и хранятся в банке данных вуза для всех студентов и всех учебных курсов. Это и есть первичная информация о качестве знаний студентов (первая часть выходных результатов).

Уровни компетентности студентов (вторая часть выходных результатов) предложено оценивать с помощью следующей табл. 5.3:

 

Таблица 5.3. Оценки уровней компетентности



 

5.4. Измерение качества знаний и уровней компетентности студентов (второй и третий этапы)

 

На втором этапе на основе данных в таблицах вида 5.2 и 5.3 вычисляются вторичные (средние) показатели качества по годам обучения для каждой учебной программы (специальности), каждого факультета и вуза в целом. То есть указанные таблицы трансформируются по аналогии с таблицами абитуриентов.

Каждая таблица второго уровня должна храниться в банке данных вуза не менее десяти лет для анализа динамики изменения показателей качества и для организации процессов улучшения качества результатов учения и обучения (выходных данных) студентов.

По каждому студенту для третьего этапа вычисления средних оценок должна храниться следующая дополнительная информация: идентификатор учебного курса; идентификатор учебной программы; идентификатор кафедры; год обучения; фамилии преподавателей; фамилии авторов электронных учебников. С использованием этих данных формируется третья группа таблиц: для каждой кафедры; каждого преподавателя; каждого автора электронного учебника и т.д.

 

5.5. Измерение качества выходных данных выпускников вуза

 

Первичные данные о результатах учения и обучения выпускника формируются в табл. 5.4: качества знаний выпускника (раздел 4.1); уровни компетентности выпускника (табл.  5.3); рейтинг выпускника (раздел  4.2); результаты психологического тестирования выпускника (раздел  4.3); трудоустройство выпускника (раздел  4.4); качество выпускника по оценке работодателя (раздел  4.5); качество выпускника по оценке преподавателей (раздел 4.6); оценки выпускника по анкетным (формальным) данным (раздел 4.7).

Формы разделов 4.3 и 4.7 аналогичны соответствующим разделам табл. 5.3. Остальные разделы табл. 5.4 приведены ниже.

 

Таблица 5.4. Оценка знаний выпускника



 



 



 



 



 

Организационные проблемы возникли с проведением промежуточных государственных экзаменов. Проведение этих экзаменов в традиционном варианте не дает объективной информации, так как администрация вуза закрывает глаза на использование студентами «шпаргалок». При независимом контроле экзаменационных процессов большая часть студентов должна получать неудовлетворительные оценки, так как студенты не имеют времени для солидной подготовки. На наш взгляд, необходимо проводить эти экзамены либо в виде письменного решения творческих заданий с использованием любой справочной информации, либо в виде защиты научной работы по соответствующему направлению.

Некоторые методические проблемы возникли при оценке качества трудоустройства выпускников в силу того, что не отлажены информационные каналы взаимодействия с потребителями и нет отработанных методик оценки качества выпускника.

На втором этапе на основе данных в семи разделах 4.1 - 4.7 табл. 5.4 вычисляются вторичные (средние) показатели качества выпускников вуза по годам выпуска, для каждой учебной программы (специальности), каждого факультета и вуза в целом.

По каждому выпускнику должна храниться следующая дополнительная информация: идентификатор работодателя; идентификатор учебной программы; идентификатор кафедры; год выпуска; идентификатор группы преподавателей-экспертов.