Автоматизированная система распределенного контроля и анализа результатов аттестации персонала промышленных объединений

Вид материала

Автореферат

Содержание Общая характеристика работы Актуальность проблемы Цель и основные задачи исследования Методы исследования Научная новизна Достоверность научных положений, рекомендаций и выводов Практическая ценность и реализация результатов работы Апробация работы Содержание работы 1 Системный анализ методов и моделей компьютерного тестового контроля в системе аттестации промышленных предприятий 2 Модели представления процедур тестового контроля 3 Анализ применимости OLAP-технологий в рамках представления результатов аттестации 4 Интеграция приложений оперативной аналитической обработки и интеллектуального анализа результатов аттестации 5 Анализ ограничений, связанных с задачей сетевого обмена результатами аттестации 6 Разработка Методов и моделей визуализации результатов тестового контроля 7 Модели представление результатов аттестации 8 Результаты мониторинга сотрудников и сравнительный анализ рейтинга различных возрастных категорий 9 Разработка методики агрегирования показателей аттестации 10 Разработка метода классификации обучаемых с учетом априорной информации 11 Методы и модели переоценки сложности тестовых заданий Wj - число неправильных ответов; N ... Полное содержание

Подобный материал:

• «компания «автополис-саратов», 624.55kb.
• Тезисы к докладу «Автоматизированная система мониторинга безопасности строительных, 10.89kb.
• Внастоящем документе используются следующие термины и их определения, 632.43kb.
• Аспектно-маркерная модель реферата дипломного проекта, 18.16kb.
• Лекция №1 (02. 09. 08) Автоматизированная система комплекс технических, программных, 29.26kb.
• Автоматизированная система диспетчерского контроля и управления водоснабжением г. Москвы, 22.61kb.
• Обучающий семинар-тренинг, 250.13kb.
• Автоматизированная информационно-поисковая система, 345.58kb.
• Утвержден приказом начальника, 194.22kb.
• Автоматизированная система коммерческого учета и диспетчерского контроля параметров, 400.45kb.

На правах рукописи


Макаренко ЛЮБОВЬ ФЕДОРОВНА


Автоматизированная система распределенного контроля и анализа результатов аттестации персонала промышленных объединений


Специальность 05.13.06 – Автоматизация и управление технологическими процессами и производствами (промышленность)


Автореферат

диссертации на соискание ученой степени

кандидата технических наук


Москва - 2009

Работа выполнена на кафедре «Автоматизированные системы управления» в Московском автомобильно-дорожном институте (государственном техническом университете)

Научный руководитель	Заслуженный деятель науки РФ, доктор технических наук, профессор Николаев Андрей Борисович, профессор МАДИ(ГТУ)
Официальные оппоненты	Лауреат премии Правительства РФ, доктор технических наук, доцент Строганов Виктор Юрьевич, профессор МГТУ им.Н.Э.Баумана
	Кандидат технических наук, Лукащук Петр Иванович Генеральный директор ООО «Спецстройбетон-200», г.Москва

Ведущая организация: Российский научно-исследовательский институт информационных технологий и систем автоматизированного проектирования (Рос НИИ ИТ и АП), г.Москва.


Защита состоится 24 февраля 2009г. в 10.00 на заседании диссертационного совета Д212.126.05 Московского автомобильно-дорожного института (государственный технический университет) по адресу: 125319, ГСП А-47, Москва, Ленинградский пр., д.64.


С диссертацией можно ознакомиться в библиотеке МАДИ(ГТУ)

Текст автореферата размещен на сайте Московского автомобильно-дорожного института (государственного технического университета):www.madi.ru


Автореферат разослан 23 января 2009г.

Отзыв на автореферат в одном экземпляре, заверенный печатью, просим направлять в адрес совета института.


Ученый секретарь

диссертационного совета,

кандидат технических наук, доцент Михайлова Н.В.

Общая характеристика работы

Актуальность проблемы

На современном этапе развития систем управления персоналом промышленных предприятий не вызывает сомнения необходимость широкомасштабного внедрения информационных технологий в процесс аттестации персонала. Основной задачей системы аттестации персонала является оценка соответствия кадрового состава должностным обязанностям, что требует постоянного определения уровня знаний и умений сотрудников для оценки качества выполнения работ, что приобретает особую актуальность на промышленных объединениях, производящих сложную продукцию. Оперативный контроль качества подготовки сотрудников может быть обеспечен лишь за счет всестороннего и оперативного использования процедур компьютерного тестового контроля, а также распределенного контроля и анализа результатов аттестации. Однако в данном направлении отсутствуют работы по созданию комплексных методик, включающих методы, алгоритмы и программные компоненты автоматизации формирования тестов различной степени сложности. При этом практически отсутствуют работы, учитывающие специфику процедур анализа эффективности процесса тестирования и формирования решающих правил по выбору стратегий подготовки и визуализации результатов аттестации для крупных территориально распределенных объединений, функционирование подразделений которого должно быть синхронизировано по определенным видам производственной деятельности.

Предметом исследования является система аттестации персонала, включающая методы компьютерного тестового контроля, методы обработки результатов, а также компоненты математического, информационного и программного обеспечения системы поддержки и принятия решений при оценке уровня подготовки сотрудников.

Цель и основные задачи исследования

Целью работы является повышение эффективности системы аттестации персонала за счет автоматизации процессов распределенного контроля и анализа результатов аттестации персонала промышленных объединений.

Для достижения данной цели в работе решаются следующие задачи:

• анализ системы подготовки и аттестации кадров промышленных объединений;
  
• системный анализ методов и моделей представления результатов аттестации персонала промышленных предприятий и объединений;
  
• разработка методов и моделей визуализации аттестационных показателей;
  
• разработка моделей преобразования количественных данных результатов аттестации;
  
• разработка методов переоценки сложности тестовых заданий;
  
• разработка методики и программной реализации системы мониторинга и анализа результатов аттестации и гетерогенного тестового контроля.
  

Методы исследования

При разработке формальных моделей компонентов системы в диссертации использовались методы общей теории систем и случайных процессов. При формировании последовательности тестовых заданий использовались элементы факторного планирования. При разработке моделей компонентов системы аттестации персонала использовались методы математического программирования, имитационное моделирование и другие формальные методы.

Научная новизна

Научную новизну работы составляют методы и модели контроля и анализа результатов аттестации. На защиту выносятся:

• модели аналитической обработки и визуализации данных аттестации персонала;
  
• методика переоценки сложности тестовых заданий;
  
• методика распределенного сбора аттестационных показателей;
  
• программно-моделирующий комплекс аналитической обработки аттестационных показателей.
  

Достоверность научных положений, рекомендаций и выводов

Обоснованность научных положений, рекомендаций и выводов определяется корректным использованием современных математических моделей, предварительным статистическим анализом процессов аттестации персонала на промышленных объединениях, согласованностью результатов аналитических и имитационных моделей процессов компьютерного тестового контроля. Достоверность положений и выводов диссертации подтверждена положительными результатами внедрения результатов работы в ряде учебных центров.

Практическая ценность и реализация результатов работы

Научные результаты, полученные в диссертации, доведены до практического использования на промышленных предприятиях. Методы и алгоритмы, а также программные средства могут быть использованы также при реализации тестового контроля студентов высших учебных заведений. Разработанные методы и алгоритмы прошли апробацию и внедрены для практического применения в учебных центрах «Газпрома», а также используются в учебном процессе на кафедре АСУ МАДИ(ГТУ).

Апробация работы

Содержание отдельных разделов и диссертации в целом было доложено и получило одобрение:

• на Российских, межрегиональных и международных научно-технических конференциях, симпозиумах и семинарах (2004-2008г.г.);
  
• на заседании кафедры АСУ МАДИ(ГТУ).
  

Совокупность научных положений, идей и практических результатов исследований в области автоматизации мониторинга результатов аттестации составляет актуальное направление в области теоретических и практических методов и форм проведения тестового контроля в системе подготовки и аттестации персонала промышленных объединений.

Содержание работы

Структура работы соответствует списку перечисленных задач, содержит описание разработанных методов и моделей.

Во введении обосновывается актуальность проблемы, ставятся цели и задачи исследования, приводится краткое описание содержания глав диссертации.

1 Системный анализ методов и моделей компьютерного тестового контроля в системе аттестации промышленных предприятий

В первой главе диссертации проводится системный анализ методов и моделей тестового контроля в системе аттестации персонала. Рассмотрены проблемы кадрового обеспечения промышленных предприятий и общие тенденции развития системы непрерывной подготовки. Показано, что при обучении контроль рассматривается как важнейшее, относительно самостоятельное и заключительное звено в системе переподготовки кадров. От правильной организации контроля во многом зависит не только эффективность управления учебным процессом и качество подготовки специалистов, но и эффективность управления персоналом в целом.

Проведен анализ современных информационных технологий в системе аттестации и рассмотрены компоненты информационно-образовательной среды, представляющие собой системно-организованную совокупность средств передачи данных, информационных ресурсов, протоколов взаимодействия, аппаратно-программного и организационно-методического обеспечения, ориентированную на повышение качества проведения аттестации персонала. Проведена классификация существующих методов и моделей тестового контроля и определены границы использования каждого из них для решения задачи автоматизации процессов аттестации персонала промышленных объединений.

2 Модели представления процедур тестового контроля

Для наглядного изображения процесса оценки аттестационных показателей используется ультрасеть. В основу моделирования такой сети положен формализм сети Петри, расширенный следующими правилами:

1. Каждому накопителю тестовых заданий ставится в соответствие позиция ультрасети. Графически накопитель изображается незаштрихованным кружком.

2. Каждой ультрасистеме ставится в соответствие переход ультрасети, графически изображаемый прямоугольником. Информационная связь ультрасистемы с соответствующими накопителями изображается направленными дугами.

Всякий накопитель полностью определяется опорным множеством объектов и шкалой понятий для этого множества. Шкала понятий для этого опорного множества объектов взаимно однозначно определяет шкалу аттестационных показателей.


Сетевая модель системы тестирования

Рис.

1.

При рассмотрении начального варианта модели системы аттестации предусмотрена оценка связности базы тестовых заданий с процедурами процессного описания проведения самой аттестации, что позволяет рассмотреть данные модели непосредственно по их степени сложности.

3 Анализ применимости OLAP-технологий в рамках представления результатов аттестации

Ввиду актуальности систем поддержки многомерного оперативного анализа данных (OLAP-систем), рассмотрение концептуальных вопросов о применимости таких подходов в системе мониторинга результатов аттестации также представляет несомненный интерес.

Измерения играют роль индексов, используемых для идентификации значений показателей, находящихся в ячейках гиперкуба. Комбинация членов различных измерений играют роль координат, которые определяют значение определенного показателя. Поскольку для куба может быть определено несколько показателей, то комбинация членов всех измерений будет определять несколько ячеек со значениями каждого из показателей. Поэтому для однозначной идентификации ячейки необходимо указать комбинацию членов всех измерений и показатель.

4 Интеграция приложений оперативной аналитической обработки и интеллектуального анализа результатов аттестации

Большинство предлагаемых OLAP-приложений ориентировано на обеспечении доступа к многомерным данным, а большинство программных средств интеллектуального анализа данных (ИАД), работающих в сфере определения закономерностей, используют одномерные массивы данных. Перспективные разработки направлены в сторону более тесного объединения двух подходов, то есть OLAP-приложения должны фокусироваться не только на доступе (Рис.2), но и на поиске закономерностей.

Многие компании создали прекрасные хранилища данных, идеально разложив по полочкам горы неиспользуемой информации, которая сама по себе не обеспечивает ни быстрой, ни достаточно грамотной реакции на оперативные события.

Немногие производители предоставляют сегодня достаточно мощные средства ИАД именно многомерных данных в рамках OLAP-приложений. Проблема также заключается в том, что некоторые методы ИАД (байесовские сети, метод k-ближайшего соседа) неприменимы для задач многомерного интеллектуального анализа, так как основаны на определении сходства детализированных примеров и не способны работать с агрегированными данными.


Архитектура системы многомерного интеллектуального анализа данных

Рис.

2.

5 Анализ ограничений, связанных с задачей сетевого обмена результатами аттестации

В диссертации проведен анализ различных механизмов передачи результатов вместе с ограничениями, связанными с вопросами подключения к сети и конфиденциальности передаваемых данных результатов аттестации.

Во-первых, это наличие внешнего IP-адреса на серверной стороне, поскольку при его отсутствии клиенты не смогут соединиться и осуществить передачу данных. Для решения этой проблемы необходимо ввести понятие промежуточного звена, то есть некого посредника с внешним IP-адресом, посредством которого будет осуществляться обмен между отправителем и получателем. Применение промежуточного звена с одной стороны решает проблему внешнего IP-адреса, что является несомненным плюсом, но с другой стороны усложняет механизм обмена данными.

Во-вторых, это настройка брандмауэров, как на стороне сервера, так и на стороне клиентов. Для этого необходимо «разрешить» клиент-серверным приложениям получать/передавать информацию по заданному порту, если передача данных осуществляется по протоколам, таким как HTTP, FTP, POP, SMTP и др. (как правило, порты этих протоколов всегда открыты). Если же клиент-серверное приложение использует нестандартный порт, то него необходимо открыть. Это связано с параметрами безопасности операционной системы.

В-третьих, это конфиденциальность передаваемых данных. Наиболее распространенной защитой от несанкционированного доступа к информации является шифрование данных. Таким образом, формируется основа обеспечения неприкосновенности и конфиденциальности данных. При реализации обмена данными через сеть Интернет с использованием шифрования данных необходимо, что бы и клиент и сервер поддерживали эту возможность (например, использовать протокол шифрования данных SSL). Этот так же относится и к той ситуации, когда мы используем промежуточное звено в механизме передачи данных.

6 Разработка Методов и моделей визуализации результатов тестового контроля

Во второй главе диссертации рассматриваются вопросы построения моделей визуализации аттестационных показателей вместе с проблемами их агрегирования и аналитической обработки в различных средах.

7 Модели представление результатов аттестации

На примере результатов аттестации персонала, занятого в одном из подразделений ОАО «Газпром» по дисциплинам «Управление финансами» - UFO, «Экономика» - EcO, «Бухгалтерский учет и аудит» - BhO, «Юридические основы финансово-экономического управления» UrO, «Организационные основы современного финансово-экономического управления» - FeO и «Информационные технологии» - ITO корреляционный анализ дал результаты, сведенные в таблицу 1.

Таблица

1.

Корреляционный анализ рейтинга по направлениям

Корреляции - значимость на уровне p<0.05
	ФА	Д2	Д3	Д4	Д5	ИТ
ФА	1,00	0,51	0,37	0,46	0,45	0,19
Д2	0,51	1,00	0,41	0,50	0,40	0,06
Д3	0,37	0,41	1,00	0,29	0,21	0,16
Д4	0,46	0,50	0,29	1,00	0,45	-0,01
Д5	0,45	0,40	0,21	0,45	1,00	0,05
ИТ	0,19	0,06	0,16	-0,01	0,05	1,00

Как ни странно, уровень знаний по информационным технологиям практически не корррелирует с уровнем знаний по специальным дисциплинам.

Формы представления результатов аттестации должны содержать свертку информации как по тестируемым, так и по направлениям и сложностям тестовых заданий. Такие формы представления используют методы многомерного анализа.


Формы представления результатов аттестационных показателей

Рис.

3.

На рис.3. представлен звездный график для группы тестируемых. По каждому лучу откладывается масштабированное значение его уровня знаний по данной направленности. Такое представление весьма информативно для сравнительного анализа результатов каждого аттестуемого сразу по всем направлениям подготовки.

8 Результаты мониторинга сотрудников и сравнительный анализ рейтинга различных возрастных категорий

Процедура оценки результатов сдачи работниками экзамена и оценка уровня профессиональных знаний состоит из последовательного выполнения следующих этапов:

1. Обработка результатов опроса на основании заполненного специалистом бланка ответов и шаблона правильных ответов по 5 вариантам.

2. Классификация вопросов универсального профессионального опросника по группам сложности и видам.

Разработанной методикой была предусмотрена классификация всех 100 вопросов опросника по следующим группам сложности и видам:

1. 3 группы сложности: базовые вопросы; вопросы повышенной трудности; трудные вопросы.

2. 2 вида вопросов: теоретические; практические.

3. Предварительная количественная оценка результатов экзамена.

3.1. Расчет «сырого» балла по темам проводился по формуле:

ЗУН тc = [(qi * ki ) : ЗУН т maxc ] * 100,

(1)

где q_i – количество правильных i – х ответов по т- му подразделу;

т = 1 … 21;

k_i – коэффициент значимости i –го вопроса;

ЗУН _{т max}^c – максимально возможное значение «сырого» балла, получаемого при условии правильного ответа на все вопросы т- го подраздела.

Коэффициенты значимости по вопросам установлены в зависимости от группы сложности следующим образом:

Таблица

2.

Коэффициенты значимости

Группа сложности	Коэффициент значимости
Базовый вопрос	0,8
Вопрос повышенной трудности	1,0
Трудный вопрос	1,4

3.2. Расчет «сырого» балла по блокам проводился по формуле:

ЗУН бc =  ЗУН тc , б = 1…6.

(2)

3.3. Расчет итогового «сырого» балла проводился по формуле:

ЗУН иc =  ЗУН бc

(3)

4. Окончательная количественная оценка знаний.

Окончательный балл рассчитывался с учетом условий проведения экзамена работников (необходимости адаптации).

Для расчета окончательных баллов соответствующие «сырые» баллы корректировались на повышающий коэффициент К=1,2:

• по темам ЗУН _т = ЗУН _т^c *1,2
  
• по блокам ЗУН _б = ЗУН _б^c *1,2
  
• итоговый ЗУН _и = ЗУН _и^c *1,2
  

Максимальное значение окончательного балла должно быть равно 100.

5. Проведение качественного анализа результатов экзамена с учетом полученных правильных ответов на теоретические и практические вопросы.

Для изучения зависимости между возрастом работников и их уровнем системных профессиональных знаний, работники были разделены на 5 возрастных групп: до 25 лет, 26-30 лет, 31-40 лет, 41-50 лет, старше 50 лет. Анализ распределения работников по возрастным группам (рис.4) показал, что наиболее многочисленными являются группы сотрудников в возрасте 41-50 лет (45%) и в возрасте 31-40 лет (31%). Самой малочисленной является группа сотрудников в возрасте до 25 лет (3%).


Распределение работников по возрастным группам

Рис.

4

Для определения зависимости между уровнем системных профессиональных знаний работников и их возрастом был проведен корреляционный анализ. Результаты свидетельствуют о наличии слабой обратной связи между возрастом работника и его уровнем системных профессиональных знаний, которые были определены по результатам экзамена, как по отдельным блокам, так и по финансово-экономическому блоку в целом. Наибольшее значение коэффициента корреляции по модулю наблюдается по финансово-экономическому блоку в целом (-0,28), что тем не менее свидетельствует о наличии очень слабой обратной зависимости между возрастом работников и их уровнем системных профессиональных знаний. Следует отметить, что в рамках отдельных блоков знаний наибольшие по модулю значения коэффициента корреляции наблюдаются по блокам «Управление финансами» и «Экономика»; наименьшее значение – по блоку «Бухгалтерский учет и аудит», что говорит практически о полном отсутствии связи между возрастом работников и их уровнем системных профессиональных знаний.

Проведенный анализ представления результатов аттестационных показателей показал, что существует множество вариантов визуализации и методов аналитической обработки данных. Однако проблема заключается в различной конфигурации одних и тех же данных для различных методов аналитической обработки. Это ставит задачу адаптации OLAP-технологий для представления агрегированных данных аттестационных показателей.

9 Разработка методики агрегирования показателей аттестации

Допустим, имеется m измерений с n_i количеством членов в i-ом измерении, где i=1..m. Упорядочим существующие измерения и сопоставим каждому измерению порядковый номер i в соответствии с выбранной сортировкой. Обозначим множество таких порядковых номеров I, так что m = | I |.

Обозначим некоторое множество агрегатов через A_l1…li…lm , где li{0,1}: выделим также такое подмножество порядковых номеров I⁰= {i_k | i_kI & li_k=0}, k=1…p, pm. Тогда будем считать A_l1…li…lm – множество агрегатов, полученных агрегированием по всем членам тех измерений, порядковый номер которых iI⁰.

Тогда A_1…1, где индексы во всех позициях равны 1, является множеством исходных данных; A_0…0, где индексы во всех позициях равны 0, содержит единственное значение полного агрегата. Упорядоченная последовательность l₁,…,l_i,…,l_m, соответствующая множеству агрегатов A_l1…li…lm, представляет состояние агрегации. Разные состояния агрегации, а, следовательно, и множества агрегатов могут соответствовать одному и тому же уровню детализации l = l₁+…+l_i+…+l_m.

Обозначим количество агрегатов множества A_l1…li…lm, как a_l1…li…lm = |A_l1…li…lm|. Для трёхмерного случая с учётом того, что i(C)=1, i(M)=2, i(T)=3 – порядковые номера измерений, получим:

a011= nmnt a101= ncnt a110= ncnm a001= nt a010= nm a100= nc,

(4)

тогда

a* = a011+ a101+ a110 + a001+ a010 + a100 + a000.

(5)

Количество агрегатов, полученных агрегированием по некоторым измерениям, равно произведению числа членов всех остальных измерений, то есть: . Количество всевозможных агрегатов равно сумме a_l1…li…lm при всевозможных вариантах последовательности l₁,…,l_i,…,l_m, исключая множество исходных данных. Всего таких вариантов 2^m -1.

С другой стороны, при агрегации исходных данных по всевозможным k измерениям, где k{1,…,m}, получается некоторая совокупность множеств агрегации с одним и тем же уровнем детализации, равным l=m-k. Обозначим эту совокупность A^l с количеством агрегатов a^l. Для расчёта количества множеств агрегации A_l1…li…lm в A^m-k необходимо посчитать количество вариантов размещения k нулей по m позициям. Это случай сочетания k элементов по m, равный C^k_m: , , где |I₀| = k. При этом , поэтому формула расчёта полного числа агрегатов с может быть представлена следующим образом:

Из последнего выражения вытекает свойство:

Al1…li-1 1 li+1…lm = ni Al1…li-1 0 li+1…lm

(6)

которое приводит к следующему тождеству:

.

(7)

На выполнение агрегации некоторого множества значений показателей (агрегированных или исходных) до определенного результирующего множества агрегатов требуется определенное количество элементарных операций суммирования, которые необходимо осуществить для получения результирующего множества. Будем обозначать затраты на выполнение агрегирования множества A_l1…li…lm по i-му измерению, как C(A(_i, A_l1…li…lm)) или более коротко C(i, A_l1…li…lm). При этом C(i, A_{l1…l(i-1),0, l(i+1)…lm}) = 0.


Представление множества агрегатов в виде сетевого графа

Рис.

5.

Пусть существует иерархия с l* уровнями, где n_l – количество членов на l-ом уровне и n_l<=n_l+1 l = 1…l*-1. Тогда количество элементарных операций суммирования значений показателя, соответствующих l+1-му уровню, с целью получения агрегированных значений показателя l-го уровня равно n_l+1 - n_l.

Множество агрегатов можно ассоциировать с вершинами сетевого графа. Начальной вершиной такого графа является множество исходных данных, конечной – значение полного агрегата (рис.5.)

В любое множество агрегатов A_l1…li…lm (l_i E {0,… l_i*-1}) можно непосредственно перейти из другого множества A_{l1…li+1…lm}, произведя операцию агрегирования по i-му измерению. При этом необходимо произвести соответствующие вычислительные затраты, откладываемые на рёбрах графа.

При этом справедливо следующее утверждение: В любую вершину графа A_l1…li…lm можно попасть из другой вершины A_{l1’…li’…lm}, если хотя бы одно из неравенств l_i’=> l_i , i = 1…m выполняется строго.

Для получения множества агрегатов определённого уровня, необходимо вначале получить множества агрегатов большего уровня детализации. Однако в отличие от процедуры предварительного формирования агрегатов при получении результирующего набора нет необходимости формировать всевозможные агрегаты определённого уровня детализации. Достаточно формировать по одному множеству определённого уровня на основе множества более детального уровня.


Предварительное и оперативное формирование агрегатов в сетевой модели

Рис.

6.

Пусть в результате процедуры предварительно формирования агрегатов получили всевозможные множества минимального уровня детализации l. Пусть в результате необходимо сформировать множество агрегатов A_{l’1,…,l’m} уровня детализации l’, l’< l. Необходимо на основании одного из множеств A_l1,…,lm l–го уровня получить результирующее множество. При этом исходное множество агрегатов должно обеспечивать минимальные затраты на формирование результирующего множества, то есть необходимо определить кратчайший путь в сетевом графе к результирующему множеству (рис.6.).

Такая процедура оперативного формирования обеспечит минимальное время выполнения пользовательских запросов. С другой стороны многое зависит и от множества предварительно сформированных агрегатов. Ясно, что они должны быть сформированы так, чтобы вычислительные затраты на оперативное формирование всевозможных множеств были минимальны. В этом и заключается оптимальность процедуры предварительного формирования агрегатов.

10 Разработка метода классификации обучаемых с учетом априорной информации

Для классификации уровня знаний и навыков в работе предлагается использование байесовской процедуры, которая предполагает знание априорных вероятностей q_i, т.е. вероятностей принадлежности испытуемого к некоторой группе W_i до выполнения процедуры тестового контроля.

Априорные вероятности q_i представляют вероятности принадлежности обучаемого к группе W_i до прохождения теста. Апостериорные вероятности P(W_i|X) представляют условные вероятности соотнесения тестируемого с результатом X к некоторой группе после проведения тестового контроля и получения конкретных числовых значений правильных ответов.

Без знания предыстории обучаемого априорные вероятности можно положить равными. Знание предыстории тестируемого дает априорную вероятность его уровня знаний, которая может существенно увеличить точность решения задачи классификации, однако это должно быть согласовано с учетом психологических, этических и может быть воспитательных норм получения оценки.

Если X имеет многомерное нормальное распределение с плотностью f₁(X) для первой группы и f₂(X) для второй группы, то соотношение теоремы Байеса принимает вид:

i=1,2.

(8)

При использовании байесовской процедуры классификации испытуемого относят к одной из групп на основании сравнения апостериорных вероятностей. Испытуемого относят к W₁, если P(W₁|X)P(W₂|X) и к W₂, если P(W₁|X)<P(W₂|X), что соответствует выполнению или невыполнению неравенства . Такая процедура классификации минимизирует ожидаемую вероятность ошибочной классификации: q₁P(2|1) + q₂P(1|2), где P(2|1) и P(1|2) – вероятности ошибочной классификации. Алгебраическими преобразованиями решающие правила Байесовской процедуры приводятся к виду, в котором представлены правила классификации на основе дискриминантной функции XW₁, если и XW₂ в противном случае.

11 Методы и модели переоценки сложности тестовых заданий

В третьей главе диссертации разрабатываются модели генерации результатов аттестации с последующей переоценкой сложности тестовых заданий. Для сравнительно анализа сложности тестов использовался дисперсионный анализ.

Рис.

7.

Так, из диаграммы на рис.7. видна явная заниженность сложности пятого варианта теста (50% баллов попадает в зону от 70 до 100) и завышенность трудности 2-го варианта (50% баллов попадает в интервал от 0 до 25). Это естественный процесс отсеивания методически некорректных заданий.

Поэтому в работе предлагается метод переоценки сложности тестовых заданий, который основывается на статистической обработке результатов решении каждого тестового задания в системе аттестации каждым аттестуемым, с последующей их пересортировкой по сложностям (рис.8.).

В диссертации рассмотрены модели оценки сложности по результатам ответов тестируемых на задания в классической теории, где сложность задания определяется эмпирически и соответствует доле неправильных ответов , W_j - число неправильных ответов; N - число испытуемых. По сравнению с классической теории тестирования в IRT теории используется другая мера сложности. Мера сложности задания или логит трудность задания определяется как . Уровень знаний испытуемого в IRT теории определяется как - уровень знания i-го испытуемого.


Схема переоценки сложности

Прагматически некорректное задание низкой трудности исключается	III-уровень II-уровень I-уровень				Прагматически некорректное задание повышенной трудности исключается
		Рис.	8.

Разработан алгоритм моделирования результатов ответов на тестовые задания различной сложности для различного уровня подготовленности групп.

Результаты моделирования показали, что последующая переоценка сложности тестовых заданий по известным алгоритмам Аванесова и IRT-моделей дает смещенные оценки (рис.9.).


Графики переоценки сложности

Рис.

9.

Показано, что приведенные модели не учитывают возможность объединения результатов экспертной оценки методистов, совмещенные с результатами ответов тестируемых. В связи с этим в работе предлагается новый подход к оценке сложности тестовых заданий, который базируется на теории отношений. Предлагается динамическая интерактивная процедура, которая реализует переоценку сложностей в процессе всего цикла обучения.

В результате анализа показано, что более точная оценка сложности задания может быть получена на основе процедуры попарных сравнений сложности. При этом каждый методист определяет граф предпочтений по сложности (рис.10.).

При таком подходе факт тестирования можно считать экспертизой по сравнительной оценке сложности заданий. В рамках одно теста решенная задача считается легче нерешенной. Таким образом, каждый испытуемый определяет бинарное отношение сравнительной сложности для предъявленных задач.

Сравнительная оценка сложностей тестовых заданий методистами			Двудольный граф оценки сложности аттестуемым
Рис.	10.

Результаты каждого испытуемого и методиста задают матрицы предпочтений сложности A^k=||a^k_ij||., a^k_ij равно 1, если k-ый методист определил, что i-ое задание сложнее j-го и 0 в противном случае.

По результатам опроса всех методистов и анализа результатов ответов всех испытуемых (количество всех опрошенных обозначим K) составляется обобщенная матрица . A=||a_ij||, где – количество предпочтений i-го задания j-му, а a_ji – количество предпочтений j-го задания i-му. Полученная матрица преобразуется в матрицу вероятностей предпочтений сложности P. P=||p_ij||, где p_ij интерпретируется как вероятность того, что i-е задание сложнее j-го (рис.10.).. Элементы матрицы P связаны с элементами матрицы A следующими соотношениями:

,,.

(9)

Полагаем, что сложность задания является нечеткой переменной. С одной стороны, это может быть лингвистическая переменная, а с другой, с каждым заданием можно связать некоторую случайную величину CompТЗ_i, имеющую нормальное распределение с математическим ожиданием _i и дисперсией ²_i. Далее будем полагать равенство всех дисперсий CompТЗ_i~N(_i, ²).

Далее поставим задачу вычисления математических ожиданий сложности заданий M(CompТЗ_i)=_i, таких, что для всех i, j должно выполняться условие:

,

(10)

Последнее выражение определяет вероятность того, что сложность (CompТЗ) i-го тестового задания выше, чем j-го тестового задания.

В общем случае эта задача не имеет решения. Однако для любого набора =(₁, ₂,…, _n,) можно определить , и в результате задача сводится к оптимизационной задаче:

i,j |pij- p*ij|min

(11)

В результате экспертизы и статистического анализа результатов ответов на все задания известны все попарные вероятности предпочтений сложности. Реализуем переход от вероятностной меры различия и числовой, выраженной в долях среднеквадратичного отклонения. Числовая мера различия из вероятности предпочтения образуется на основании Z_ij:, где Z_ij=(_i-_j)- определено в единицах стандартного отклонения. Однако для вычисления указанных мер различия можно использовать и логистическое приближение нормального распределения, что некоторым образом напоминает оценку логит-трудности тестового задания по IRT-теории .

Все попарные различия сводятся в матрицу Z={Z_ij} и вычисляется сумма каждой строки . В результате Z_i принимается за оценку сложности соответствующей задачи.

Проверка на непротиворечивость вычисленных сложностей основывается на сравнении исходных вероятностей предпочтения и вероятностей, полученных в результате вторичного вычисления, исходя из числовых оценок сложности каждого задания . Сумма разностей дает оценку согласия исходного и вторичного предпочтения .

Далее задаваясь порогом точности, на основании сравнения вычисленной суммы разностей решается задача о соответствии оценки сложности для данных групп испытуемых.

12 Программная реализация системы мониторинга аттестационных показателей

В четвертой главе диссертации рассматриваются вопросы разработки программного комплекса для аналитической обработки результатов аттестации. Так, при передаче данных по сети для системы мониторинга результатов аттестации встают следующие вопросы. Во-первых, нужно ответить на вопрос «Что отправлять?». Иначе говоря, для задачи мониторинга в первую очередь необходимо решить, какую информацию необходимо переслать в центр мониторинга. Это может быть любой файл, содержащаяся информация в котором актуальна на данный момент времени. Малейшее изменение в файле должно быть фиксировано. То есть, задача сводится к постоянному отслеживанию изменений в какой-то папке (локальной либо удаленной). Как только в папке появляется новый или обновленный файл, его необходимо переслать в центр мониторинга. Во-вторых, необходимо выбрать механизм сетевого обмена, то есть каким способом осуществляется передача данных (по какому протоколу, какие программные средства будут использоваться при передаче файла в центр мониторинга). В-третьих, необходимо решить проблему, связанную с выбором инициирующей стороны. В качестве инициирующей стороны может выступать как центр мониторинга, так и подразделения, с которых и происходит сбор информации.

В диссертации разработана структура базы данных, интегрирующая тестовые задания, методические материалы и результаты выполнения каждого задания каждым аттестуемым. Система реализована в виде отдельного программного приложения. Программный комплекс разработан по открытому принципу, что позволяет наращивать его функциональные возможности, добавляя новые механизмы предъявления тестовых заданий в процессе эксплуатации системы.

При разработке системы передачи и сбора отчетных материалов были выделены структуры данных, обработка и визуализация которых представляет особый интерес. При этом учитывается, что на предприятиях сложилась определенная технология сбора и хранения данных. Для реализации механизмов обработки данные приводятся к определенному виду, согласованному со структурами данных пакета Statistica. При организации оперативной обработки и агрегирования данных используется система программных конверторов, которые фильтруют данные и приводят их к выбранному формату.

При организации сетевого обмена по протоколу FTP разработана схема передачи, общий случай которой представлен на рис.11. В качестве клиента выступает как программа «Отправитель», так и программа «Получатель». Только одна закачивает на FTP-сервер файлы, а другая их скачивает.


Общий случай передачи данных посредством протокола FTP

Рис.

11.

Подсистема мониторинга реализована в виде фрейм-компонента, находящегося в модуле GTMonit (GTMonit.pas). Класс TGTMonitorF данного фрейм-компонента унаследован от TFrame, но, несмотря на это, его можно использовать, как обычный компонент. При выполнении стандартной процедуры регистрации компонента в среде Borland Delphi, в качестве модуля, содержащего компонент, нужно указать файл GTMonit.pas.

В заключении представлены основные результаты работы.

Приложение содержит документы об использовании результатов работы.

Публикации. По результатам выполненных исследований опубликовано 10 печатных работ, которые приведены в списке публикаций.

Основные выводы и результаты работы

1. Проведен системный анализ проблем аттестации персонала промышленных объединений, определен круг методов и моделей формализованного представления компонент системы аттестации.
   
2. Разработана методика параметризации компонентов системы компьютерного тестового контроля и формализованная модель вероятности ответов с учетом процента правильности решения задания.
   
3. Разработаны методы и модели аналитической обработки и визуализации результатов аттестации персонала, включая корреляционный, дисперсионный и многомерный анализ.
   
4. Разработана методика формирования банка тестовых заданий с возможностью динамической корректировкой сложности заданий по статистике ответов тестируемых с учетом экспертных оценок методистов.
   
5. Разработана методика мониторинга результатов тестового контроля в инструментальной среде «СОТА».
   
6. Сформированы требования к реализации программно-моделирующего комплекса мониторинга тестового контроля и аттестации персонала.
   
7. Разработанный программный комплекс, методы и алгоритмы прошли апробацию и внедрены для практического применения в учебных центрах «Газпрома», а также используются в учебном процессе на кафедре АСУ МАДИ(ГТУ).
   

Публикации по теме диссертационной работы

1. 
   Макаренко, Л.Ф. Адаптивный алгоритм формирования тестовых заданий /Л.Ф. Макаренко,А.В. Николаев, П.С. Рожин П.С., Р.П. Лукащук. // Вопросы теории и практики автоматизации в промышленности: сб. науч. тр. МАДИ(ГТУ). -М., 2008. - С.17-20.
   
2. Макаренко, Л.Ф. Модификация алгоритма обучения многослойных нейронных сетей / Л.Ф. Макаренко, А.А. Шарков, Ла Суан Тханг // Вопросы теории и практики автоматизации в промышленности: сб. науч. тр. МАДИ(ГТУ) М., 2008. - С.63-67.
   
3. Макаренко, Л.Ф. Выбор информационной системы для автоматизации промышленных предприятий / Л.Ф. Макаренко, В.Н. Брыль, Е.Ю. Фаддеева, С.С. Гоголин // Вопросы теории и практики автоматизации в промышленности: сб. науч. тр. МАДИ(ГТУ) М., 2008. - С.73-79.
   
4. Макаренко, Л.Ф. Анализ методов формирования адаптивного контента / Л.Ф. Макаренко, А.В. Николаев, П.С. Рожин, Р.П. Лукащук // Инновационные методы автоматизации технологических процессов и производств: сб. науч. тр. МАДИ(ГТУ). –М., 2008. – С. 40-46.
   
5. Макаренко, Л.Ф. Параметры и технологии адаптации в системах гипермедиа / Л.Ф. Макаренко, А.В. Николаев, П.С. Рожин, Р.П. Лукащук // Инновационные методы автоматизации технологических процессов и производств: сб. науч. тр. МАДИ(ГТУ). –М., 2008. – С. 47-54.
   
6. Макаренко, Л.Ф. Роль электронного документооборота в автоматизации и управлении предприятием / Л.Ф. Макаренко, И.Э.Саакян, А.С. Горячев, С.В. Мазуренко // Инновационные методы автоматизации технологических процессов и производств: сб. науч. тр. МАДИ(ГТУ). –М., 2008. – С. 103-107.
   
7. Макаренко, Л.Ф. Управление персоналом предприятий по результатам аттестации / Л.Ф. Макаренко, О.И. Архангельская, М.В.Рыбакова // Методы ситуационного управления и статистического анализа в промышленности, строительстве и образовании: сб. науч. тр. МАДИ(ГТУ). -М., 2008. – С. 41-45.
   
8. Макаренко, Л.Ф. Сетевое планирование учебного процесса / Л.ф. Макаренко, И.Э. Саакян, Р.П. Лукащук, В.М. Пеньков // Аналитико-имитационное моделирование и ситуационное управление в промышленности, строительстве и образовании (ч.2): сб науч. тр. МАДИ(ГТУ). –М., 2008. –С.17-21.
   
9. Макаренко, Л.Ф. Обобщенные графовые модели оценки качества учебно-методических материалов / Л.Ф. Макаренко, В.В. Белоус, В.М. Пеньков, И.Э. Саакян // Аналитико-имитационное моделирование и ситуационное управление в промышленности, строительстве и образовании (ч.2): сб науч. тр. МПДИ(ГТУ). –М., 2008. –С.22-27.
   
10. Макаренко, Л.Ф. Модель нечетких отношений в системе электронного документооборота / Л.Ф. Макаренко, В.Н. Брыль, В.В. Белоус, И.Э. Саакян // Вестник МАДИ(ГТУ), вып. 4915), 2008. –С. 92-95.