Методологическое обеспечение оценки экономической эффективности корпоративного электронного обучения тема диссертации по экономике, полный текст автореферата
Автореферат
| Ученая степень | кандидат экономических наук |
| Автор | Печенкин, Александр Евгеньевич |
| Место защиты | Москва |
| Год | 2005 |
| Шифр ВАК РФ | 08.00.05 |
Диссертация
Автореферат диссертации по теме "Методологическое обеспечение оценки экономической эффективности корпоративного электронного обучения"
На правах рукописи
Печенкин Александр Евгеньевич
МЕТОДОЛОГИЧЕСКОЕ ОБЕСПЕЧЕНИЕ ОЦЕНКИ ЭКОНОМИЧЕСКОЙ ЭФФЕКТИВНОСТИ КОРПОРАТИВНОГО ЭЛЕКТРОННОГО ОБУЧЕНИЯ
СПЕЦИАЛЬНОСТЬ: 08.00.05 - Экономика и управление народным хозяйством (Сфера услуг).
АВТОРЕФЕРАТ
диссертации на соискание ученой степени кандидата экономических наук
МОСКВА 2005
Работа выпонена на кафедре Информационного Менеджмента и Электронной Коммерции в Московском государственном университете экономики статистики и информатики (МЭСИ).
Научный руководитель: доктор экономических наук, профессор
Дик Владимир Владимирович
Официальные оппоненты: доктор экономических наук, профессор
Лукашенко Марианна Анатольевна
Кандидат экономических наук, профессор Игнатьева Алина Всеволодовна
Ведущая организация: Российский государственный открытый технический университет путей сообщения.
Защита состоится 28 июня 2005 г. в 14.00 часов на заседании диссертационного совета МЭСИ по адресу: 119501, г. Москва, Нежинская ул., д.7.
С диссертацией можно ознакомиться в библиотеке университета
Автореферат разослан 27 мая 2005 г.
Ученый секретарь диссертационного совета . Гокина Г.Е.
ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ
Актуальность темы исследования. Актуальность темы диссертационного исследования обусловлена необходимостью разработки методологического обеспечения оценки экономической эффективности корпоративного электронного обучения, а также инструктивно-методической поддержки ключевых процессов электронного обучения.
На сегодняшний день внутренняя и внешняя среда, в которой приходится функционировать большинству компаний, характеризуется высокой динамикой изменений. Развиваются качественные и количественные характеристики секторов экономики, на рынок выводится большое число новых продуктов, изменяется география спроса и предложения. Но постоянные изменения, происходящие как в организации, так и во внешней среде, требуют постоянного изменения знаний и навыков персонала, иначе говоря, их адаптации.
Таким образом, решение одной из важнейших проблем управления предприятием, а именно способность предприятия адаптироваться к постоянным изменениям, заключается в способности персонала так же оперативно адаптироваться к новым функциям и задачам, возложенным на них. Данная адаптация невозможна без постоянного, системно организованного процесса получения сотрудниками новых знаний и навыков, а именно без осуществления проектов корпоративного обучения.
Реализация корпоративного обучения может осуществляться в различных формах, таких как: отправка сотрудников на программы повышения квалификации в университеты, тренинг-центры, на специализированные курсы; приглашение тренеров-экспертов для обучения сотрудников на предприятии; проведение стажировок персонала в других компаниях или подразделениях; формирование и постоянное обновление корпоративной библиотеки и многое другое. Однако сегодня, по мнению многих экспертов, более эффективным методом реализации проекта обучения персонала является внедрение системы электронного обучения.
На сегодняшний день внедрение информационно-телекоммуникационных технологий (ИКТ) осуществляется практически во всех сферах человеческой деятельности. Не стала исключением и образовательная область. С середины 90-х гг. XX в. это стало проявляться в повсеместном внедрении технологий электронного обучения в учебные процессы школ, вузов, тренинговых центров, а также в проекты корпоративного обучения в крупных государственных, частных и транснациональных компаниях. Данная тенденция с некоторым запозданием затронула и Россию. Хотя сегодня Россия и не входит в число стран-лидеров в области применения технологий электронного обучения, вовлечение в этот процесс все большего числа компаний и учебных организаций позволяет говорить о сформировавшемся рынке электронного обучения со
значительным спросом и предложением.
Проект внедрения электронного обучения характеризуется значительными начальными инвестициями и достаточно неочевидными результатами, что приводит к необходимости оценки эффективности подобных проектов. Однако эффективность электронного обучения воспринимается различными участниками рынка по-разному.
Исторически в России подобные проекты впервые были инициированы в вузах, где они рассматривались как инновационные, исследовательские, некоммерческие. В дальнейшем основным параметром эффективности для них было сокращение стоимостных издержек из расчета на одного слушателя. Таким образом, вузу требовалось меньше ресурсов при значительном увеличении числа обучаемых и их географической распределенности, что приводило к увеличению эффективности работы вуза как организации.
Когда в крупных компаниях стали реализовываться первые проекты корпоративного электронного обучения, специалисты НИ-департаментов сводили оценку эффективности подобных проектов лишь к доказательству того факта, что затраты проекта традиционного обучения в крупной компании превышают затраты на электронное обучение, обосновывая тем самым необходимость их внедрения. В этой связи были разработаны некоторые методики оценки затрат проектов электронного обучения. Однако комплексных методик, позволяющих всесторонне оценить соотношение затрат и эффекта от подобных проектов практически не разработано. Не существует также и общепринятой инструктивно-методической поддержки ключевых процессов электронного обучения, например, выбора специализированного ПО, выбора необходимых электронных курсов, организации самого обучения.
Для вузовских проектов электронного обучения такие методики уже созданы и активно применяются, но они с трудом применимы для корпоративного обучения по причине того, что, в отличие от вузовских, корпоративные е-Ьеагпи^ проекты не воспринимаются и не являются профит-центрами, т.е. зарабатывающими проектами.
Тем ни менее НЛ-менеджеры нуждаются в надежном и общепринятом инструменте оценки для обоснования решений в рамках проектов, оправдания затрат перед руководством компаний, улучшения качества подобных проектов в будущем и прогнозирования затрат и доходов по проекту, что делает данное исследование высокоактуальным.
Степень изученности проблемы. Начиная с 60-х гг. прошлого столетия специалисты по обучению стали приходить к пониманию важности оценки экономического эффекта от проектов в области образования, до этого они предпочитали рассматривать лишь качественные аспекты. Одним из первых это выразил Р.Мардик в статье, опубликованной в апреле 1960 г., где
он описал наиболее общие затратные и доходные статьи от таких проектов. В статье он исследовал зависимость доходов образовательных проектов от числа слушателей и установил, что при увеличении количества обучаемых доходы возрастают значительно более интенсивно, чем затраты. В 1974 году В.Попхэм заметил, что проблема оценки эффективности включает в себя принятие решения, а анализ затрат применяется, главным образом, для нахождения, оценки и выбора альтернативы. Первая и наиболее известная и практикуемая на сегодняшний день методика оценки эффективности программ обучения была разработана Дональдом Киркпатриком более 40 лет назад. В дальнейшем эта тема была существенно развита в работах К.Дугласа, П.Сгро, В.Касцио, Д.Филипса, П.Росси, Х.Фримана, Б.Брауна, Дж.Сетаро, К.Шепхерда, Дж.Стоуна, В.Ватсона, Н.Диксона, М.Броада, Дж.Ньюстрома, Г.Киммерлинга, Дж.Пайна, Дж.Хассета, Р.Раста, Р.Вескота, Ф.Шмидта и др.
Однако вышеперечисленные авторы в своих работах базировались на традиционных проектах обучения, что исключало возможность использования их разработок для проектов дистанционного, электронного обучения, которые включают в себя значительным образом ИТ-проект. Тема оценки эффективности ИТ-проектов затронута в разработках Гартнер Групп, ИБМ, Микрософт, Дел, Оракл, а так же в работах К.Скрипкина, П.Страссмана, Т.Берга, Г.Кокинса, А.Стратгона, Д.Хеблинга, Д.Хаббарда, М.Еррагунта, Р.Бенджамина, В.Роетзейма, Р.Бисли, Л.Вилкокса, С.Лестера, Е.Брайнджофсона, Дж.Балантайна, Р.Галери, Ф.Пауэла, Д.Таргета, и др.
С конца 80-х гг. XX в. тема оценки эффективности проектов дистанционного, далее электронного обучения в вузах поднимается в работах ЮНЕСКО, Г.Рамбла, Дж.Мунена, К.Каррэна, Р.Хезела, Дж.Тейлора, В.Уайта, М.Мура, С.Алалуусуа, А.Вудли, А.Кирквуда, Т.Лемона, Д.Грэнгера, М.Вольдера, П.Баксиша, Ч.Аш, К.Бонивела, Л.Каплана и др. К сожалению, результаты данных работ слабо применимы к проектам корпоративного электронного обучения в связи с тем, что вузы получают доход непосредственно от обучения, а компании от применения на практике знаний и навыков, полученных в результате обучения.
В результате в начале XXI в. некоторые исследователи подошли к проблеме оценки эффективности проектов корпоративного электронного обучения. На сегодняшний день наибольших достижений в этой области достигли: В.Хортон, С.Танквист, К.Мантила, Н.Дам.
В целом, несмотря на большую потребность организаций, занимающихся внедрением систем электронного обучения, сегодня отсутствует комплексная модель оценки экономической эффективности проектов корпоративного электронного обучения, а также методики управления и принятия решений на различных этапах их реализации. Данный факт был признан решающим при выборе темы, постановке целей и
задач диссертационного исследования.
Цели и задачи исследования. Цель исследования состоит в повышении качества и эффективности проекта реализации корпоративного электронного обучения за счет разработки методологии, позволяющей НЯ-менеджеру осуществить оценку экономической эффективности е-Ьеапшщ проекта, и группы методик, поддерживающих принятие управленческих решений на всем этапе жизненного цикла такого проекта.
Для достижения указанной в диссертации цели поставлены и решены следующие задачи:
-определена роль электронного обучения в современной организации, а также факторы, способствующие и препятствующие его развитию и распространению;
-определены и классифицировать основные поставщики продуктов и услуг на рынке электронного обучения;
-формализован типовой проект электронного обучения в организации, описан процесс его управления, определен состав его участников и их роли в проекте;
-определены цели и причины оценки экономической эффективности проектов электронного обучения;
-определены факторы, препятствующие проведению оценки, и общие требования к методике оценки экономической эффективности подобного проекта;
-рассмотрены использующиеся в настоящее время универсальные и специфичные методики оценки эффективности проектов и определена возможность их применения к проектам электронного обучения; -классифицирован список затрат при проведении проекта электронного обучения и разработана методика их оценки;
-разработана методика оценки эффекта от проекта электронного обучения с учетом выявленных ранее требований к ней;
-разработана методика выбора программного решения для корпоративного электронного обучения;
-разработана методика выбора учебных материалов для корпоративного электронного обучения;
-разработана методика выбора технологии и метода корпоративного электронного обучения.
Объектом исследования в данной работе является предприятие, использующее технологии корпоративного электронного обучения.
Предмет исследования: процессы корпоративного электронного обучения.
Теоретическая и методологической основой исследования
послужили общенаучные (наблюдение, анализ, синтез, индукция, гипотетико-дедуктивный метод, аналогия, дедукция абстрагирование,
проверка гипотез, эксперимент, метод восхождения от абстрактного к конкретному), а также логический, исторический, комплексный и системный подходы в оценке управленческих действий и принятия решений. Статистические методы применяются на разных стадиях оценки эффекта, полученного от корпоративного электронного обучения.
Применение статистических методов осуществлялось с использованием табличного процессора MS Excel.
Фундаментальную базу исследования составили
систематизированные в трудах зарубежных ученых и специалистов положения, раскрывающие сущность электронного обучения, а также общие принципы и подходы к оценке проектов, в том числе в образовательной среде. Наибольшее влияние на исследование произвели работы Д.Киркпатрика, Д.Филипса, В.Хортона, Дж.Мунена.
Научная новизна результатов выпоненного исследования заключена в построении гибкой и универсальной методологии, позволяющей оценить экономическую эффективность проектов электронного обучения различного масштаба, структуры и назначения. Кроме того, в рамках исследования удалось создать столь же гибкие и адаптивные от условий и рамок проекта методики, поддерживающие принятие решений по выбору ПО, электронного контента, а также технологии и метода КЭО.
На защиту выносятся следующие положения исследования, содержащие элементы научной новизны:
-определены и классифицированы цели и задачи использования инструментов оценки экономической эффективности для проектов корпоративного электронного обучения. Среди них: поддержка принятия решений при выделении необходимых проекту ресурсов, обоснование необходимости затрат на электронное обучение, выбор методов и форм обучения, развитие учебного контента;
-проведен анализ существующих моделей оценки эффективности проектов обучения с целью оценить их адекватность для проекта корпоративного электронного обучения, продемонстрировавший наибольшую полезность применения симбиоза моделей Киркпатрика и Филипса для оценки эффекта и методик ТСО и ABC для оценки затрат;
-разработана классификация затрат проекта корпоративного электронного обучения, в т.ч. затраты на оборудование и ПО (платформу), затраты на покупку готовых курсов, затраты на разработку и актуализацию и внедрение учебных материалов, затраты на обучение и административные затраты. Создана универсальная методика их расчетов;
-разработана универсальная гибкая методология, позволяющая оценить экономическую эффективность проектов электронного обучения в соответствии с определенными в исследовании требованиями. Данная методология построена на основе применения методик оценки затрат и
эффекта от реализации проекта электронного обучения. Оценка эффекта проходит в 3 шага (Сбор данных по выбранным уровням модели Киркпатрика, Изолирование эффекта обучения, конвертация данных в денежную форму);
-разработана методика выбора программного решения для корпоративного электронного обучения на основе многоступенчатого анализа, применение которой служит инструментом принятия решения в рамках e-Leaming проекта. Ее осуществление возможно путем выпонения анализа требований, внутреннего, внешнего и стоимостного анализов;
-разработана методика выбора учебных материалов для корпоративного электронного обучения на основе многоступенчатого анализа, применение которой служит инструментом принятия решения в рамках e-Learning проекта. Ее осуществление также возможно путем выпонения анализа требований, внутреннего, внешнего и стоимостного анализов; -разработана методика выбора технологии и метода корпоративного электронного обучения. При этом осуществляется выбор уровня взаимодействия и выбор ориентации деятельности.
Работа выпонена в соответствии с паспортом специальности 08.00.05 п.15.109,15.115.
Практическая значимость исследования заключается в разработке методологического и методического аппаратов, позволяющих осуществлять актуальные практические решения в рамках проекта корпоративного электронного обучения, в том числе: по организации проведения оценки экономической эффективности (оценка затрат и оценка эффекта), по выбору ПО (систем управления обучением, систем управления контентом, средств разработки электронных курсов и т.д.), по выбору электронного контента(заказных и готовых учебных курсов, а также технологии и метода КЭО.
Самостоятельное практическое значение результатов исследования состоит в возможности их применения в учебном процессе при подготовке специалистов в области развития и управления человеческими ресурсами (HR-менеджеров), а также при осуществлении консатинговых проектов на предприятиях различных отраслей и форм собственности.
Апробация и внедрение результатов исследования. Основные результаты работы докладывались и получили одобрительную оценку на пяти международных и российских научно-практических конференциях. Наиболее значимые из них: eLearnExpo Moscow 2004 (Москва, май, 2004); Информационные технологии в образовании (в рамках Softool'2004) (Москва, сентябрь, 2004); eLearnExpo Moscow 2005(Москва, май, 2005).
Апробация результатов исследования успешно проведена автором в следующих организациях: "
-ING Bank (головной офис, Амстердам). Апробация проводилась в части
применения разработанной автором методики выбора программного решения для корпоративного электронного обучения. Выбранная с использованием данной методики Авторская система разработки курсов Trainersoft (производитель - OutStart) закуплена и успешно используется. -ОАО ГМК Норильский никель. Апробация проводилась в части разработки автором методики оценки затрат на проект электронного обучения в корпорации, а также методики оценки эффекта от корпоративного электронного обучения. Данные методики вошли в утвержденную и применяемую методику организации дистанционного обучения персонала в ОАО ГМК Норильский никель. -Центр проектирования контента МЭСИ, где многие результаты исследования были использованы при создании курса Преподаватель в среде е-Learning.
Кроме того, многие положения данного исследования легли в основу цикла двухдневных семинаров, разработанных автором в рамках Международной выставки- конференции eLearnExpo Moscow 2005.
ОСНОВНОЕ СОДЕРЖАНИЕ РЕЗУЛЬТАТОВ ИССЛЕДОВАНИЯ
Цель и задачи исследования определили структуру диссертационной работы.
В первой главе показано влияние, которое оказывают технологии электронного обучения на процессы развития современной организации, описаны подходы к управлению проектом электронного обучения, а также определена роль оценки эффективности проекта электронного обучения как инструмента принятия решений в управлении интелектуальным потенциалом корпорации.
Существенной проблемой, затрудняющей исследования в данной области, является неустоявшаяся терминология. В работе приведен ряд определений, наиболее часто использующихся различными авторами, и дано определение термина лэлектронное обучение (e-Learning), наиболее близко, по мнению диссертанта, отражающее его суть: лe-Learning - это доставка обучения и преподавания с поным или частичным использованием электронных средств (Интернет, Интранет, CD-ROM, DVD и видеолента, спутниковое вещание и интерактивное телевидение).
В диссертации приводится история развития технологической составляющей электронного обучения, включающая в себя следующие основные этапы: Этап пользовательских учебных приложений, Этап распространения специализированных LMS приложений, Принятие Интернет/Интранет в качестве среды электронного обучения, Интеграция е-Learning решения в информационную систему предприятия. Далее приводятся преимущества технологий электронного обучения, обусловившие его широкое распространение в системах корпоративного обучения.
Основными факторами, формирующими спрос на рынке электронного обучения, являются: быстрое устаревание знаний; потребность в оперативном обучении; поиск наиболее эффективных способов в удовлетворения потребностей для территориально-распределенного персонала; потребность в новых моделях обучения, вызванная разницей в умениях и навыках обучаемых, а также демографическими изменениями; потребность в гибком обучении для реализации концепции лобучение в течение всей жизни.
Далее подробно описаны основные группы поставщиков продуктов и услуг на рынке электронного обучения, такие как производители программного обеспечения для электронного обучения, производители е-Ьеагпп^ контента, поставщики е-Ьеагшгщ программ, консатинг и аналитика. Подробно описаны российские государственные программы и инициативы, способствующие развитию электронного обучения в нашей стране. Большое внимание уделено особенностям корпоративного рынка электронного обучения.
В работе описываются цели, причины и ограничения оценки эффективности е-Ьеагпт проектов. Для этого анализируются причины, по которым происходит оценка традиционных программ обучения, а также причины ее адаптации к проектам электронного обучения. Среди основных причин оценки эффективности е-Ьеагшпз программ выделены: оправдание затрат компании на проект электронного обучения; улучшение качества принимаемых решений о способах и форме проведения обучения; увеличение подотчетности лиц, задействованных в проекте; демонстрация финансовой ответственности лиц, задействованных в проекте; улучшение качества обучения.
Кроме того, рассмотрены проблемы, препятствующие оценке эффективности, а также требования к разрабатываемой методике оценки. Среди них особо выделяются следующие: гибкость, применимость к различным формам, методам и технологиям обучения; простота и удобство во внедрении и применении; надежность, формирование результата, заслуживающего доверие; экономичность, невысокая стоимость самого процесса оценки.
Во второй главе приведены используемые в настоящее время методики оценки эффективности проектов традиционного корпоративного обучения, а также ИТ-проектов. Кроме того, разработана методика оценки экономической эффективности корпоративного электронного обучения.
В части методик оценки эффективности проектов обучения приведены и рассмотрены следующие: модель Киркпатрика, ОТТЕ модель, модель Дугласа и Сгро, модель эффективности затрат Касцио, модель Филипса. В части универсальных методик и методик оценки эффективности ИТ-проектов обучения приведены и рассмотрены следующие: совокупная
стоимость владения (TCO), функционально-стоимостной анализ (ABC), возврат на вложенные инвестиции (ROI), анализ выгод и издержек (СВА), сбалансированная система показателей. Кроме того, приводится упрощенная модель возврата на вложенные инвестиции Дж.Мунена, предназначенная для оценки вузовских проектов электронного обучения.
Анализ вышеприведенных методик показал невозможность их использования для проектов корпоративного электронного обучения в неадаптированном виде, но на основании части из них была предпринята попытка создания такой методики.
Все перечисленные модели оценки эффективности предполагают оценку двух важнейших ее составляющих Ч затрат и эффекта, т.е. расходов на e-Learning проект и доходов (выгод) от его реализации. Все эксперты склонны полагать, что оценка затрат значительно более проста и явно выражена, чем оценка выгод. Более того, оценка затрат является необходимым элементом e-Learning проекта, а то время как оценка выгод в ряде случаев может и не применяться. Основная цель при оценке затрат -составление бюджета проекта и контроль за его испонением, при этом эффективность данного проекта может вообще не рассматриваться.
Обобщив классификации Рамбла, Мунена, Кукиера, Оривела и Краба, представим общие затраты на e-Learning проект в организации в течение времени t виде суммы следующих составляющих: Corg,t= Crr, i + Свуд+Сотл+Стед+Сао,!, где ( 1 )
QT> t - затраты на оборудование (программная и аппаратная платформа); CjjY.t - затраты на покупку готовых (off-the-shelf) курсов; Q>T,t - затраты на разработку и актуализацию и внедрение учебных материалов;
CxE,t - затраты на обучение; Cad,i - административные затраты.
При этом если для затрат на оборудование применима модель совокупной стоимости владения (ТСО), то для остальных в большей степени применим функционально-стоимостной анализ (ABC). Crr,. = Lie, + к, ""Pit, + Imp + Sup, + 1С,, где: (2)
Lie, - цена лицензии на приобретаемые программные продукты на период времени t, с учетом прогнозируемого количества пользователей за прогнозный период.
Pit, - цена платформы, рассчитанная по методу ТСО на прогнозный период t, при этом в случае, если данная платформа применяется и для других целей, кроме обучения, необходимо принять это в расчет, перемножив на коэффициент ki (0..1), где 0 - оборудование поностью используется для других целей и его стоимость на проект обучения не перекладывается; 1 - оборудование приобретено и используется исключительно в рамках проекта обучения.
Imp - цена внедрения ПО.
Sup, - поддержка и консультации производителя на период времени t. В случае, если составление прогнозного значения данного параметра представляется затруднительным, желательно воспользоваться открытыми данными третьих фирм, пользующихся услугами того же поставщика и осуществляющих подобные проекты.
ICt - неявные затраты в течение прогнозного периода t, связанные с простоем пользователей PC при установке, настройке, поддержки корректной работы ПО.
Модель ценообразования на готовые курсы предлагается, как правило, поставщиком данных курсов и представляет собой функцию от ряда параметров:
CBY,,=F(k,V,t),rfle (3)
к-количество слушателей; t - время пользования;
V - общий объем заказа, увеличение которого существенно снижает стоимость лицензии на одного слушателя, а иногда и вообще снимает ограничение на их количество.
COT,.= SUM(COT,M) (4)
Сот,а = Crtj +Actj,t + LoCj + Ьпр;, где (5)
Crt; - Стоимость создания электронного курса i. Данная стоимость
рассчитывается по методике АВС(ФСО). Ее конечное значение зависит от
ряда параметров.
Crtj = F(k,Salj,Tj,Cons, Los, Mat) (6)
k- количество персонала, задействованного в разработке курса i; Salj - ставка оплаты труда j-того специалиста, задействованного в разработке;
Tj - время затраченное j-тым специалистом при создании курса i; Cons - оплата услуг третьих фирм и консультантов; Los - потери связанные с отвлечением экспертов от их непосредственных проектов для участия в создании курса;
Mat - затраты на необходимые ресурсы (платная подписка, книги и
Actj,, - стоимость актуализации электронного курса i, на период времени t
Во время планирования проекта электронного обучения необходимо составить план работ по актуализации и обновлению учебных материалов. Характер затрат схож со стоимостью создания электронного курса. Loci - стоимость локализации электронного курса i.
Локализация включает в себя работы по переводу текстового, аудио, графического материала, а также переработку исходного материла под требования компании. Характер затрат схож со стоимостью создания электронного курса.
1тр, - стоимость процесса имплементации электронного курса \ в ЬМ8 компании.
Данная группа работ включает в себя перенос и настройку учебного курса в систему управления обучением компании. Характер затрат схож со стоимостью создания электронного курса.
При этом можно использовать следующие методы оценки времени разработки е-Ьеапшщ курса:
-метод аналогии, когда разрабатываемый курс можно сравнить по объему с уже разработанным и взять за основу его время и сложность разработки, однако данный метод предоставляет очень неточные результаты; -параметрическое моделирование, при котором выделяются определенные параметры проекта, которые можно выразить численно. Например, в виде количества экранов и времени, затраченного на один экран. К.Капп предлагает перемножать данное значение на различные весовые коэффициенты.
Тгез1 Т511рр*кехр*к1т0*кг*ксх1*кш,, где (7)
Тгеаг итоговый срок выпоняемой работы по созданию электронного курса;
Т5ирр-предполагаемый срок выпоняемой работы;
к^р- коэффициент опыта проектирования е-Ьеагпн^ курсов (от 0,5 при большом опыте, до 1,5 при отсутствии опыта);
ккио- коэффициент знания испонителями контента курса (от 0,75 при большом знании до 4,0 при незнании);
к^г коэффициент организационной сложности проекта (от 1,1 при небольшой команде проекта до 1,2 при большой и распределенной); кеХг коэффициент внешних факторов, связанный с допонительными затратами времени участников проекта, например, ведение переписки, ответы на телефонные звонки, встречи, отсутствия на рабочем месте, работа над другими проектами (от 1,25 при благоприятных внешних факторах до 1,35 при неблагоприятных);
кдц- коэффициент интерактивности (от 1,0 при отсутствии необходимости разработки интерактивных элементов, до 4,0 при их повсеместном использовании).
Однако такой метод также неточен, т.к. назначение коэффициентов весьма условно и субъективно.
-метод декомпозиции, заключающийся в разбиении всего проекта на элементарные операции и их учете по отдельности. Это наиболее точный метод, но его использование само по себе несет существенные временные затраты. Определив их для одного учебного фрагмента, можно экстраполировать данное значение на целый курс, перемножив на общее число таких фрагментов. Однако неверная оценка одной элементарной операции существенно исказит итоговый результат, кроме того, некоторые операции могут выпоняться одновременно. '
-метод использования промышленных стандартов, при которых применяются усредненные данные по созданию электронных курсов в различных компаниях.
CDT>t= SUM(CTE,t,i) (8)
Cte.u = F(kl i,k2i,Salj,Tji,ConSi, Los, Mat) (9)
kl- количество обучающего персонала по i-тому курсу;
k2- количество обучаемого персонала по i-тому курсу;
Salj - ставка оплаты труда j-того преподавателя;
7} - время, затраченное j-тым преподавателем при обучении по
курсу i;
Cons - оплата услуг приглашенных экспертов по i-тому курсу;
Los Ч потери, связанные с отвлечением слушателей от их непосредственных проектов при обучении по i-тому курсу;
Mat Ч затраты на необходимые ресурсы (интернет-трафик, телефонные переговоры и т.д.) по i-тому курсу.
Административные затраты рассчитываются по методике ABC. Здесь принимается в расчет оплата труда менеджеров проекта (как правило, это сотрудники HR-департамента) и используемых при управлении проекта ресурсов. Здесь же следует оценить все неявные затраты, связанные с ведением проекта электронного обучения в целом.
В случае, если необходимо производить сравнительную оценку затрат, следует применить модель Дж.Мунена в части оценки затрат, выделив только те параметры проекта электронного обучения, которые отличаются от проекта традиционного обучения. После чего группе экспертов необходимо найти их отличие в количественных значениях. Данное значение будет означать лишь экономию затрат, произведенную при внедрении электронного обучения. При этом необходимо выделить группу затрат, характерную для традиционного обучения и поностью исключенную в электронном.
Дж.Филипс выделил 17 типов затрат традиционных HR-проектов по обучению персонала: 1.Оплата труда HRD-персоналу; 2.0плата труда остальным участникам проекта обучения; 3. Оплачиваемое время слушателей программы обучения; 4. Расходы на еду, транспорт и размещение HRD-персонала; 5.Расходы на еду, транспорт и размещение слушателей программы; б.Офисные затраты и поставки (почта, телефон, размещение...); 7.Расходы на учебные материалы (учебники, книги, учебные фильмы и т.д.); 8.Расходы на печать и ксерокопирование; 9.Внешние сервисы (аутсорсинг); 10.Расходы на оборудование (компьютеры, приборы и т.д.); 11.Расходы на аренду оборудования в месте проведения тренинга; 12.Расходы на поддержку оборудования; 13.Регистрационные взносы (в том числе и за членство в профессиональных ассоциациях и т.д.); 14.Расходы на размещение во время обучения на собственных площадях (содержание
аудитории, конференц-зала и т.д.); 15. Расходы на размещение во время обучения на арендованных площадях (аренда аудитории, конференц-зала и т.д.); 16.0бщие накладные расходы, относящиеся к проекту обучения; 17.Прочие расходы.
Для проведения сравнительной оценки затрат необходимо выделить те из них, значения которых существенно изменятся при проведении электронного обучения. По нашему мнению, наиболее значимые изменения коснутся следующих пунктов: 3,4,5,6,7,8,10,11,12,14,15.
В ряде случаев оценку затрат следует произвести не только для организации, но и лично для слушателя, особенно если предполагается обучение не с рабочего места. В число таких расходов может входить:
- оплата интернет-трафика;
- печать на бумаге электронных материалов;
оплата интернет-кафе в случае отсутствия домашнего компьютера/Интернет.
- допонительные инвестиции в аппаратную/программную платформу домашнего компьютера.
При сравнительной оценке затрат по модели Дж.Мунена данной группе затрат уделено особое внимание.
Дня оценки эффекта е-Ьеагпи^ проекта модифицируем модель Филипса, разработанную для традиционного НЯ-проекта. Кроме того, внедрим в каждый этап модели Филипса модифицированные уровни Киркпатрика. Используем на третьем шаге модели Филипса модифицированную модель Мунена. Использование гибрида вышеперечисленных моделей обусловлено следующими их особенностями:
- Уровни Киркпатрика широко практикуются для оценки проектов обучения в течение догого времени, и нижние уровни (1 - 2) не представляют больших сложностей для оценки. В то же время данные уровни слабо связаны между собой, что затрудняет построение целостной картины всех факторов, влияющих на эффективность проекта обучения. Кроме того, оригинальная модель Киркпатрика выделяет области оценки, но не представляет схемы, по которой ведется адекватная количественная оценка. Таким образом, для комплексной оценки эффективности необходимо вписать (адаптировать) данную модель в более комплексное решение, позволяющее экспертам, занимающимся оценкой, следовать ее рекомендациям.
Оригинальная модель Филипса представляет собой детально проработанное решение, позволяющее группе экспертов оценивать эффективность проекта обучения, но выпонение всех этапов приводит к высоким временным и стоимостным затратам на сам процесс оценки, кроме того, данная модель не учитывает особенностей е-Ьеаггш^ проектов. В то же время, если в каждом из этапов модели мы будем использовать данные
интересующего нас уровня Киркпатрика, то это значительно упростит ее практическую реализацию и сделает полученные результаты в большей степени ориентированными на цель оценки.
Для оценки эффекта используем 3 первых шага модели Филипса:
Шаг 1 .Сбор данных.
Шаг 2.Изолирование эффекта обучения.
Шаг З.Конвертация данных в денежную форму.
Шаг 1.Сбор данных.
В зависимости от цели оценки выделим уровни Киркпатрика, используемые в расчете. Для этого адаптируем классическую 4-уровневую модель, согласно рекомендации Ник Ван Дама, добавив нулевой уровень -Участие в программе обучения. Сбор данных осуществляется с использованием различных инструментов (исследования, опросы, интервью, работа с фокус-группами, тестирование, наблюдения, измерение производительности). Оценка производится на нескольких этапах: до, после, во время обучения и через некоторое время. Уровень 0 - Участие в программе обучения.
Одной из главных проблем е-Ьеапнпз программ является низкий коэффициент их завершения. Следовательно, прежде чем оценивать эффективность курса, следует оценить, насколько поно слушатель прослушал его. Современные МБ позволяют мониторить большое количество параметров, среди которых:
- время, проведенное слушателем при изучении курса (суммарное время пользовательских сессий);
- количество пользовательских сессий;
- перечень элементов (страниц, тем) курса, просмотренных пользователем;
- количество удовлетворительно/неудовлетворительно выпоненных тестов и заданий.
На основании этих данных можно рассчитать условный показатель завершенности учебного курса.
Сотр1у= (1 -к)*То1у; /СоЬ]ц +к*Т15в/С1з110, где (10)
Сошр1у - коэффициент завершенности -того курса _)'-тым студентом; ТоЬ]у - общее количество учебных объектов -того курса;
- общее количество тестов и заданий -того курса; СоЪ}ч - текущее количество просмотренных учебных объектов -того курса у тым студентом;
СЫц - текущее количество выпоненных тестов и заданий {-того курса _]'-тым студентом;
к - назначаемый экспертом для всего курса коэффициент (0..1) превышения важности выпонения тестов и заданий над просмотром учебных объектов, т.е. при к<0,5 важнее является просмотр всех учебных объектов, при к>0,5 важнее является выпонение тестов и заданий, при к=0,5 - они равнозначны.
Источники данных:
- служебная информация к курсу;
- ^-файлы и отчеты, генерируемые ЬМБ;
- журнал преподавателя;
- опросный лист преподавателя по студентам.
В результате сбора дожны быть получены следующие данные:
- количество зарегистрировавшихся слушателей;
- количество слушателей, завершивших учебный курс;
- количество слушателей, не завершивших учебный курс;
- процент завершения курса по каждому слушателю. Уровень 1. Реакция слушателей на программу обучения.
Экспертам, оценивающим эффективность курса, необходимо получить ответы на следующие вопросы: -Отвечает ли курс ожиданиям слушателей?
-Удовлетворены ли интелектуально и эмоционально слушатели процессом обучения?
-Уверены ли слушатели в том, что изученный ими курс был полезен им лично?
-Удовлетворены ли слушатели качеством, дизайном и стилем представления г учебных материалов, приемлемы ли все учебные задания и материалы для
слушателя?
-Насколько сложным было изучение курса? Какими трудностями сопровождася процесс обучения (нехваткой времени, отсутствие РС, ^ техническими проблемами)?
-Насколько слушатели были мотивированы преодолевать все трудности?
Оценка на данном уровне может быть использована для продвижения е-Ьеапш^ программы на рынок. Кроме того, здесь могут быть идентифицированы и исправлены проблемы, создающие у слушателей негативное впечатление от программы, изменены стиль и представление курса.
Источники данных: -опрос слушателей во время и после изучения курса (как в виде запонения специально подготовленных форм, голосований на сайте, так и в виде персональных интервью и совместных дискуссий в фокус-группе); -опрос тьютора об отношении слушателей к различным элементам обучения.
Уровень 2. Оценка знаний и опыта, полученных слушателем по программе обучения.
Оценка на данном уровне показывает, насколько хорошо слушатель освоил предлагаемый курс. Оценка на данном уровне традиционна для учебных заведений и включает в себя весь комплекс контрольно-зачетных мероприятий. Для е-Ьеагшвд программ в качестве инструмента оценки используется, как правило, тестирование, хотя возможно и написание
отчетов, проверяемых тьютором, и реакция тьютора на обсуждения и другие формы контроля.
Уровень 3. Опенка поведения на рабочем месте.
Основным объектом оценки здесь является производительность сотрудника, т.е. оценивается то, насколько слушатель программы может и в действительности применяет на практике знания и навыки, полученные в результате обучения. При этом выделяются три основных вопроса, ответ на которые предполагается получить на данном уровне:
1.Насколько возросла производительность труда в результате тренинга?
2.Применяют ли слушатели программы полученные знания в нужное время и правильным образом?
3.Какие специальные знания, опыт и отношения перенесены на рабочее место?
Методы оценки:
- наблюдение за поведением сотрудника на рабочем месте;
- сбор мнений сотрудников, задействованных в рабочем процессе (другие специалисты, напарники, непосредственные руководители, сами обучаемые). Сбор может осуществляться также с использованием ИКТ в виде запонения онлайн-форм;
- записи бизнес-процессов в т.ч.:
записи о продажах (объем продаж, новые клиенты, жалобы клиентов, новые запросы, повторные заказы);
записи о качестве (количество дефектов, возвращенные товары, количество жалоб, требования ремонта);
записи о сервисе (количество обслуженных клиентов, время ожидания клиента, удовлетворенность клиента, количество клиентских жалоб);
записи о надежности/безопасности (количество инцидентов, промежуток времени между инцидентами);
записи о производительности (соблюденные и нарушенные сроки, простои, выпуск на сотрудника или оборудование, например, станок и т.д.);
записи о сотруднике (удовлетворенность сотрудника, текучесть кадров, отсутствие на рабочем месте, незанятые вакансии, жалобы сотрудников, судебные иски).
Уровень 4. Опенка влияния программы обучения на бизнес компании.
Оценка е-Ьеапшщ программы на данном уровне более всего илюстрирует необходимость ее для организации и отвечает на следующие вопросы:
- Насколько обучение привязано к бизнес-цели компании?
- Продвинуло ли обучение компанию на пути к достижению организационной и бизнес-цели?
-Насколько существующие бизнес-процессы (их качество, эффективность,
продуктивность) улучшились в результате обучения?
- Как различные коэффициенты, такие как ROI e-Learning проекта, соотносятся с аналогичными показателями от других проектов, проводимых организацией?
Источники информации для оценки:
-показатели прибыли в динамике (доход, выручка, размер прибыли); -финансовая устойчивость (цена акции, финансовые резервы, доля рынка, уровни запасов);
-интелектуальный капитал (уровень образования персонала и т.д.); -репутация (награды, рейтинги и т.д.).
Для сбора данных по выделенным 5 уровням можно использовать следующие инструменты сбора информации в различных комбинациях: анкеты (опросные листы); тестирование; оценка обучения с применением симуляций; интервью; наблюдение за слушателями на рабочем месте; мониторинг производительности. Шаг 2.Изолирование эффекта обучения.
Собранные на первом шаге данные имеют, как правило, несистемный характер, в результате чего необходимо отобрать лишь те из них, которые имеют какое-либо отношение (прямое или косвенное) к проекту обучения. Характер используемых уровней оценки позволяет утверждать, что уровни 0-2 не требуют специальных действий по изолированию эффекта обучения, но в то же время информация, собранная на этих уровнях, слабо отражает эффективность e-Learning проекта. С другой стороны, уровни 3-4 наглядно демонстрируют увеличение/уменьшение эффективности процессов, но слабо отражают связь данных изменений с проведенным в компании обучением. Таким образом, на данном шаге необходимо логически связать данные всех вышеперечисленных уровней, что позволит впоследствии оценить эффект обучения.
Среди группы методов изолирования эффекта обучения выделим следующие: использование контрольных групп, анализ трендов, методы прогнозирования, в т.ч. методы экспертной оценки. Шаг З.Конвертация данных в денежную форму.
На данном шаге осуществляется трансформация данных, собранных и обработанных на предыдущих шагах, в единый показатель (или группу показателей), который может быть использован для расчета эффективности всего проекта обучения. Для этого различные слабо формализуемые параметры, такие как рост качества, эффективное распределение ресурсов, сокращение простоев и трудовых издержек, приводятся к денежным значениям.
Рассмотрим группу возможных прямых выгод электронного обучения. Одной из самых значительных составляющих этой группы являются сокращения прямых затрат. Данные сокращения затрат могут быть
выражены в уменьшении себестоимости произведенной единицы товара или оказанной услуги, обслуженного клиента и т.д. Это также может быть поное исключение некоторых затрат.
Следующая составляющая данной группы представлена в виде увеличения производительности персонала, т.е. увеличения выработки продукции (услуги) в единицу времени. Это особенно актуально в случае повышенного спроса на производимую продукцию. Примеры параметров оценки: созданная, проверенная, собранная единица продукции; количество проданного товара; количество запоненных и обработанных форм; количество обслуженных клиентов; снижение невыпоненных заказов; увеличение отгрузки, доставки и т.д.
Значимой составляющей данной группы является сокращение временных издержек в т.ч.: времени, требуемого на производство единицы произведенной продукции, услуги; нерабочего времени, используемого для встреч, поездок, обучения; времени, связанного с общим управлением проекта и т.д.
Необходимо отметить и улучшение качественной составляющей. выраженной в следующих показателях: уменьшение дефектов и ошибок, снижение простоев, снижение числа переделок, доработок, ремонта; снижение числа несчастных случаев, аварий.
Группа косвенных выгод включает в себя улучшение производственной составляющей в т.ч.: снижение времени на получение информации при возникновении сбоев; уменьшение абсентеизма (группа затрат, связанных с отсутствием на рабочем месте); снижение числа нарушений техники безопасности. Важной составляющей является повышение креативности персонала и внедрение инноваций, которые могут быть измерены: числом патентов проводимых исследований, внедрением новых подходов и технологий, новыми моделями бизнеса. Кроме того, необходимо принимать во внимание улучшение рабочей среды, оцениваемой в параметрах ротации кадров, жалоб сотрудников, проявлении недовольства. Также важным является и улучшение возможностей для развития карьеры. когда рост знаний и опыта персонала способствует увеличению ответственности и компетенций.
Группа неявных выгод может включать в себя такие составляющие как эмоциональная составляющая в работе персонала, которая может быть замерена различными коэффициентами удовлетворения от работы, повышением энтузиазма, увеличением лояльности к компании и ее руководству, ростом самоуверенности и самоуважении. Еще одной составляющей является рост инициативности и лидерских качеств, а также увеличение базовых бизнес-навыков, таких как: способность слушать, принимать решения, разрешать конфликты, обосновывать точку зрения, работать в команде, понимать бизнес-процессы.
После классификации выгод осуществляется последовательная работа по приведению всех предполагаемых выгод в единый формат (например, денежный). Для косвенных и неявных выгод, которые не могут ни в каком виде быть переведены в денежное значение, этот перевод может быть осуществлен экспертной оценкой с частичным применением адаптированной модели Дж.Мунена. Смысл модификации модели Мунена состоит в замене группы критериев (экономических, качества и эффективности) на соответствующие вышеперечисленные выгоды. После чего экспертам предлагается оценить вес каждой выгоды в достижении стратегических целей организации и на основании собранных на первом шаге данных выявить бальную оценку этих выгод в результате обучения. Затем одним из экспертных методов назначается финансовое значение каждого бала, после чего происходит перемножение суммарной бальной оценки на данное значение.
R = fin*^(1ИС, *wi)гДе i11)
R - приведенный финансовый результат части косвенных и неявных
Fin - определенное экспертным методом финансовое значение
Inc - бальная оценка i-той выгоды;
W - вес i-той выгоды для организации.
Филипс рекомендует использование следующих пяти этапов для конвертации всех собранных данных в денежную форму :
1 .Определение единицы измерения выгоды. В качестве такой единицы может выступать: продукт, услуга, ошибка, дефект и прочие приведенные в вышеописанной классификации выгоды.
2.Определение значения каждой единицы, например, стоимость продукта, время оказания услуги, убыток от среднестатистической ошибки.
3.Оценка разницы в выгоде, полученной в результате обучения.
4,Определение месячной (годовой) выгоды.
5.Расчет совокупного значения выгоды.
Далее полученный суммарный эффект от программы обучения соотносится с затратами на проект, что позволяет оценить эффективность всего проекта обучения в терминах ROI, IRR, срока окупаемости и т.д. В третьей главе осуществляется разработка методик принятия решений в проектах электронного обучения на основе разработанной выше методики оценки экономической эффективности. В рамках диссертационного исследования осуществлена разработка методик выбора ПО, учебных материалов, технологии и метода корпоративного электронного обучения. Для наглядности рассмотрим методику выбора ПО для электронного
обучения.
На Рис. 1 представлена последовательная реализация двух этапов:
1. Определение списка альтернативных решений для электронного обучения.
2. Выбор оптимального решения из представленного списка.
На этих этапах, представленных на Рис. 1, так или иначе дожны быть проведены следующие четыре типа анализов: внутренний анализ (анализ организации), внешний анализ (анализ ранка), анализ требований и стоимостной анализ.
Рис.1. Организация выбора программного решения для электронного обучения.
Этап 1. Определение списка альтернативных решений для электронного обучения.
На данном этапе необходимо, отчетливо представляя возможности компании и ассортимент представленных на рынке продуктов, выделить небольшой (от 3 до 5 позиций) список различных решений для последующего детального анализа на втором этапе. Виды анализа, применяемые на втором этапе, достаточно дороги и трудоемки, поэтому не имеет смысла применять его для большего количества продуктов.
Рассмотрим три типа анализа, применяемые на первом этапе. Анализ требований (предварительная часть)
Здесь рассматриваются общие вопросы е-Ьеагш^ проекта. В результате анализа получается отчет, который дает ответы на ряд ключевых вопросов.
1. Какое ПО для е-Ьеагптребуется вашей организации?
2. Какой необходим технологический уровень?
3.Каковы основные функции предполагаемой системы?
4.Каковы временные и бюджетные ограничения?
5.Каковы дальнейшие планы руководства?
6.Каковы специфические ограничения? Предварительный внутренний анализ
Этот анализ отвечает на два вопроса: что мы имеем и что мы можем. Проводится в 3 этапа.
На первом этапе анализируется гипотетическая возможность самостоятельной разработки. Основные вопросы таковы:
1. Каков штат ИТ-специалистов (проектировщиков, программистов, тестеров, разработчиков документации и т.д.)?
2. Возможно ли привлечение ИТ-специалистов для участия в разработке e-Learning проектов и целесообразно ли это с организационной точки зрения? Дело в том, что даже если такие специалисты у компании есть, возможно, они все уже задействованы в других проектах.
3. Есть ли у ИТ-специалистов компании какой-либо опыт разработки приложений подобного рода?
На втором этапе анализируется способность компании доработать или локализовать купленное решение (если это потребуется). Здесь актуальны те же три вопроса. Но учитывая, что доработка, как правило, требует меньших трудозатрат, чем разработка с нуля, возможно, такое решение окажется более подходящим.
На третьем этапе анализируется возможность установки, настройки и поддержки готового купленного решения. И если это затруднительно, то компании следует для начала укомплектовать свой ИТ-штат специалистом, который смог бы этим заняться, или выбрать вариант аутсорсинга, переложив внедрение и поддержку на стороннюю фирму. Внешний анализ (анализ рынка)
Такой анализ имеет смысл проводить только в случае поного завершения предыдущих двух. Основываясь на их результатах, группа экспертов осуществляет мониторинг российского и зарубежного рынков и, исключая неподходящие по тем или иным критериям решения, оставляет 3-5 продуктов для последующего более глубокого анализа. Иногда требуется внедрение комплексного решения, которое может включать в себя 2-3 продукта, например LMS + CMS + Средство симуляции программных продуктов. Тогда возникает необходимость выделять подгруппы в результирующем списке решений и не только сравнивать продукты одной подгруппы, но и проверять их на совместимость с решениями из других подгрупп.
Этап 2. Выбор оптимального решения из представленного списка.
Представленный по окончании первого этапа список e-Learning
решений является базой для стоимостного анализа (или анализа затрат) и
анализа требований.
Стоимостной анализ (анализ затрат)
Одним из важных критериев при выборе ПО для электронного обучения является его цена, а точнее, стоимость владения. При ее расчете целесообразно принимать во внимание следующие компоненты: цена лицензии, цена платформы, цена внедрения, поддержка и консультации производителя, стоимость процесса внедрения учебного контента, стоимость разработки учебных материалов. Анализ требований
Это наиболее важный этап в процессе выбора средства электронного обучения. Здесь фактически используется вся информация, накопленная на предыдущих этапах работы, а на выходе мы получаем аргументированный и объективный выбор решения, основанный на нуждах конкретной организации. Анализ требований проходит в четыре этапа:
1.Определение списка требований к е-Ьеагшпд решению с организационной точки зрения;
2.Нахождение параметра важности к каждому из представленных требований;
3.Определение параметра реализации каждого из требований в каждом из анализируемых решений;
4.Выбор оптимального решения с точки зрения организации. Этап 1. Определение списка требований к е-Ьеагпрешению с организационной точки зрения.
Целесообразно разделять требования по группам в зависимости от специфики работы участников проекта, выдвигающих эти требования: например, ИТ-департамент, отдел корпоративного обучения, специалисты-предметники. Можно выделить следующие шесть групп требований: 1. Требования обучающихся; 2.Требования к программно-аппаратному обеспечению; 3.Требования разработчиков курсов;4. Финансовые и временные требования; 5. Требования к поставщику е-Ьеагпрешения; б. Функциональные требования.
Этап 2. Нахождение параметра важности к каждому из представленных требований.
После составления списка требований группе экспертов, состоящей из представителей НЛ-департамента (отдела тренингов), ИТ-департамента и также специалистов в предметной области, следует определить важность каждого требования с точки зрения организации. Шкала может быть следующей: 0 - требование не имеет никакого значения (тогда его нужно вообще удалить из списка); 1 - требование практически излишне; 2 -реализация этого требования не помешала бы; 3 - требование важно; 4 -требование очень важно; 5 - реализация требования критически необходима.
Хотя допускается шкала на три значения, а в ряде случаев даже на два: 1 -требование малозначительно; 2 - реализация требования необходима.
Этап 3. Определение параметра реализации каждого из требований в каждом анализируемом решении.
Группе экспертов необходимо оценить уровень реализации выставленных требований в конкретном программном продукте. Шкала может быть следующей: 0 - требование не реализовано и не может быть реализовано в данном решении; 1 - требование не реализовано, но его можно реализовать путем сложных доработок; 2 - требование реализовано плохо; 3 -требование реализовано в минимально необходимом виде; 4 - требование реализовано хорошо; 5 - требование реализовано отлично. Здесь так же допускается шкала и на три значения.
Этап 4. Выбор оптимального решения с точки зрения организации.
Для каждого решения (или их группы) строится матрица, включающая в себя список требований, их значимость для данного проекта и уровень реализации. Затем в общем случае оценивается результатный показатель, который позволяет сравнить в единой шкале весь спектр рассматриваемых решений.
Для осуществления этого необходимо запонить представленную Таблицу 1, используя данные, полученные на трех предыдущих этапах работы.
Таблица 1. Сравнение ПО для электронного обучения.
Требование Важность аля оргакиза шш Реализация
e-Leamng решение t e-Learning решение N
Реализация Итоговый коэффициент Реализация Итоговый коэффициент
Требование 1 2 3*2=6 3 3Э9
Требование 2 R* №
Результатный показатель j=I А м Ъ* м м
Ij - важность требования J; Q - количество требований; N -количество анализируемых решений; Rjt - реализация требования j в е-
Learning решении t; J~] - результатный показатель оптимальности
e-Learning решения в данной организации.
Теоретически решение с максимальным результатным показателем и есть наилучший выбор для данной организации. Но на практике все сложнее.
Например, возможна ситуация, когда требование с наивысшей значимостью вообще не реализовано в рассматриваемом решении, но общий результатный показатель максимален. В этом случае организация дожна отказаться от данного решения или купить еще одно, специализирующееся на этом конкретном требовании.
Публикации
Основные положения диссертации опубликованы в 6 работах общим объемом 4 п.л. Список публикаций:
-Печенкин А. Организация выбора программного решения для электронного обучения//е-Learning World. - М.,2004. - №1. - С. 14-21. -Печенкин А. Покупное решение (off the shelf): прогнозируемые траты, гарантированный результат// e-Learning World. - М.,2004. - №1. - С.30-34. -Печенкин А.Оценка эффективности e-Learning проектов// e-Learning World. -М.,2004.-№2. С.16-21.
-Печенкин А.Организация выбора контента для электронного обучения// е-Learning World. - М.,2004. - №2. - С.38-44.
-Печенкин А.Сколько стоит электронное обучение?// e-Learning World. -М.,2004. - №5-6. - С.50-55.
-Печенкин А. Как оценить эффект от проекта электронного обучения// е-Learning World. - М.,2005. - №1. - С.40-47.
Лицензия Р № 020563 от 07.07.97 Подписано к печати 25.05.2005
Формат издания 60x84/16 Бум. офсетная №1 Печать офсетная Печ.л. 1,6 Уч.-изд.л. 1,5 Тираж 100 экз.
Заказ № 2861
Типография издательства МЭСИ. 119501, Москва, Нежинская ул., 7
РНБ Русский фонд
2006-4 25606
Диссертация: содержание автор диссертационного исследования: кандидат экономических наук , Печенкин, Александр Евгеньевич
Введение.
Глава 1. Электронное обучение как средство развития интелектуального потенциала компании.
1.1.Электронное обучение персонала как средство его адаптации изменениям внешней и внутренней среды.
1.2.Характеристика процессов корпоративного электронного обучения.
1.3.Роль и место оценки эффективности проекта электронного обучения.
Глава 2. Методология оценки экономической эффективности корпоративного электронного обучения.
2.1. Анализ технологий оценки экономической эффективности корпоративного электронного обучения.
2.2. Разработка методики оценки затрат проекта электронного обучения в корпорации.
2.3.Разработка методики оценки эффекта от корпоративного электронного обучения.
Глава 3. Инструктивно-методическая поддержка ключевых процессов электронного обучения.
3.1.Методика выбора программного решения для корпоративного электронного обучения.
3.2.Методика выбора учебных материалов для корпоративного электронного обучения.
3.3.Методика выбора технологии и метода корпоративного электронного обучения.
Диссертация: введение по экономике, на тему "Методологическое обеспечение оценки экономической эффективности корпоративного электронного обучения"
Если оценивать наиболее значимые изменения, произошедшие за последние десять лет в образовательной индустрии, то абсолютное большинство из них связаны с повсеместным внедрением информационно-телекоммуникационных технологий (ИКТ) в учебный процесс. Традиционное классическое обучение, веками практикуемое во всем мире, стало все менее отвечать современным потребностям общества в условиях всеобщей мобильности и глобализации. Если ранее достаточно было один раз получить хорошее образование и в дальнейшем использовать его практически всю жизнь, то в наше время во многих отраслях обновление знаний дожно происходить не реже чем раз в пять лет, а в ряде случаев и ежегодно. Но сам процесс обучения в этом случае дожен происходить без отрыва от работы, при гибком графике, по индивидуальной программе, соответствующей компетенциям конкретного специалиста.
Частично эти задачи дожно было решить заочное (дистанционное) обучение, получившее широкое распространение в XX веке. Сразу после его появления практически всеми экспертами была отмечена низкая качественная составляющая такого обучения, что делало его малоэффективным и не воспринималось, как достойная замена очному обучению. Но при всех его недостатках оно было доступно для широких слоев населения. Основным носителем знания при такой форме обучения являлась книга (учебник, методическое пособие и т.д.) и редкие встречи с преподавателем, в основном, при сдаче контрольных мероприятий. Таким образом, практически отсутствовал диалог преподаватель-обучаемый, постоянный мониторинг процесса обучения и другие элементы, присущие качественно построенному процессу обучения. Кроме того, данная форма была малоприменима для задач корпоративного обучения, потребность в котором сегодня испытывают практически все организации.
Электронное обучение уже сегодня включает в себя достоинства обеих форм обучения. С одной стороны предлагая унифицированную услугу, вне зависимости от места и времени обучения, с другой включая интерактивные формы взаимодействия слушателя - преподавателя и прогрессивные формы контроля обучения.
Объектом исследования данной работы является предприятие, использующее технологии корпоративного электронного обучения.
На сегодняшний день проекты электронного обучения, широко практикуемые в российских и зарубежных компаниях, привлекают значительное число финансовых, технических, людских ресурсов. Приведем несколько цифр, характеризующих современное развитие электронного обучения в нашей стране и мире. По прогнозам исследовательского центра IDC к концу 2004 года 90% университетов США предложат on-line курсы (на начало 2004 - 81%), а в 2006 году 5мн. американских студентов будут обучаться дистанционно, при этом бюджеты e-Learning проектов в вузах США к 2005 году достигли $12 мрд. Gartner, Inc прогнозирует к 2005 году достижение общемирового e-learning рынка показателя в $33,6 мрд.[1].
Еще более быстрыми темпами, чем университетское электронное обучение, растет корпоративный e-learning. HR службы крупных компаний уже осознали преимущества такой формы обучения. Уже к 2005 году IDC прогнозирует объем этого сектора в $18 мрд[1]. Многие российские компании также инициировали подобные проекты, среди них особенного упоминания заслуживают РУСАЛ, Вымпеком, Сибнефть, Татнефть, Вимм-Биль-Данн, Северсталь, Норильский Никель. Ассоциацией менеджеров России (www.amr.ru) в конце 2003 года был произведен опрос крупнейших российских компаний, который показал, что в 36% из них уже внедряется система электронного обучения персонала, а 38% планируют заняться этим в ближайшее будущее. [2]
Управляя организацией в целом, необходимо эффективно управлять всеми видами ее деятельности. Не являются исключением и проекты традиционного и электронного обучения персонала. Одной из задач, возникающих при управлении такими проектами, является повышение их эффективности. Однако, данная задача выпонима только в случае использования инструмента, позволяющего замерить, оценить данную эффективность.
Предмет исследования: процессы корпоративного электронного обучения.
Сегодня компаниями широко используются различные методики оценки эффективности проектов по основным видам деятельности, более того, данное направление деятельности рассматривается в контексте проектного менеджмента. Однако проект обучения связан с основными видами деятельности лишь опосредованно, поэтому исторически данные проекты практически не оценивались, и методики оценки не разрабатывались до середины 60х годов XX века. Применение других разработанных методик осложнено специфичностью затратной и доходной статей образовательных проектов. На сегодняшний день распространение получили методики Киркпатрика[3], Филипса[6], Касцио[4], Дугласа и Сгро[5]. С середины 90х годов XX века, когда в крупных транснациональных компаниях стали реализовываться первые проекты корпоративного электронного обучения, специалисты HR департаментов сводили оценку эффективности подобных проектов лишь к доказательству того факта, что затраты проекта традиционного обучения в крупной компании превышают затраты на электронное обучение, обосновывая, тем самым, необходимость их внедрения. В этой связи были разработаны методики оценки затрат проектов электронного обучения, среди них можно отметить работы Г.Рамбла [7]. Однако комплексных методик, позволяющих всесторонне оценить соотношение затрат и эффекта от подобных проектов практически не разработано, что обуславливает новизну данного диссертационного исследования. Для вузовских проектов электронного обучения такие методики уже созданы и активно применяются[8], но они сложноприменимы для корпоративного обучения по причине того, что в отличие от вузовских, корпоративные е-learning проекты не воспринимаются руководством и не являются профит-центрами, т.е. зарабатывающими проектами.
Тем не менее, HR менеджеры нуждаются в надежном и общепринятом инструменте оценки для обоснования решений в рамках проектов электронного обучения, оправдания затрат перед руководством компаний, улучшения качества подобных проектов в будущем и прогнозирования затрат и доходов по проекту, что делает данное исследование высокоактуальным и обуславливает его большую практическую значимость.
В разрешении данной проблемы возникают ряд трудностей. Среди наиболее значимых можно выделить: размытый и неявный характер доходов проектов обучения, желание HR менеджеров преувеличить результаты деятельности своих департаментов, нежелание руководителей проекта расходовать значительные трудовые и финансовые ресурсы на данные цели.
Таким образом, цель исследования состоит в повышении качества и эффективности проекта реализации корпоративного электронного обучения. Достижение данной цели представлено в виде необходимости создания методики, позволяющей HR менеджеру осуществить оценку экономической эффективности проводимого в организации e-learning проекта, и группы методик, поддерживающих принятие управленческих решений на всем этапе жизненного цикла такого проекта. При этом практическая реализация данных методик не дожна существенно удорожать и затягивать сам проект обучения, отнимая у него необходимые ресурсы. Кроме того, используемый в методиках математический аппарат дожен соответствовать уровню подготовки HR менеджера крупной компании, что дожно существенно облегчить их применение.
Для достижения поставленной цели в работе анализируется существующие и широко применяемые на сегодняшний день методики оценки эффективности проектов, осуществляется их симбиоз и адаптация к выбранной предметной области, а также разрабатываются методические рекомендации по организации принятия решений по наиболее критичным для e-learning проекта вопросам, таким, как выбор программного обеспечения, контентной составляющей и самой технологии обучения.
Работа выпонена в соответствии с паспортом специальности 08.00.05 п. 15.109, 15.115.
Работа состоит из введения, трех глав, заключения, списка используемой литературы и приложений.
В первой главе проводится анализ технологий корпоративного электронного обучения и обосновывается необходимость проведения оценки экономической эффективности e-learning проектов. Для этого подробно рассматривается роль и место проекта электронного обучения в корпорации (параграф 1.1.), осуществляется анализ методик управления подобными проектами, рассматривается их жизненный цикл, состав и компетенции участников проекта и лиц, имеющих к нему какое-либо отношение (параграф
1.2.), а также рассматриваются цели, причины и ограничения оценки эффективности корпоративных проектов электронного обучения (параграф
Во второй главе рассматриваются теоретические вопросы и разрабатывается методика оценки эффективности электронного обучения. Для этого определяется область применения существующих методик, ограниченная рамками ИТ проектов и проектов обучения, т.к. электронное обучение представляется симбиозом информационных и образовательных технологий. Далее производится анализ применяемых методик оценки эффективности ИТ и образовательных проектов (параграф 2.1.). После чего разрабатывается методика оценки затрат корпоративного e-learning проекта (параграф 2.2.) и методика оценки эффекта от подобного проекта (параграф 2.3.).
В третьей главе рассматриваются вопросы организации эффективного выбора средств реализации проекта электронного обучения, представляя HR менеджеру инструмент принятия решения по наиболее значимым вопросам, от которых зависит эффективность всего e-learning проекта. Для этого разрабатывается методика выбора программных e-learning решений (параграф 3.1), методика выбора учебных материалов для электронного обучения (параграф 3.2), и организация выбора технологии и метода обучения (параграф 3.3.).
На защиту выносятся следующие основные положения диссертационного исследования: разработанные методики оценки затрат и эффекта от внедрения проекта электронного обучения в компании, методики выбора программного обеспечения, контента, технологии и метода электронного обучения.
Большая часть источников, на которых базируется данное диссертационное исследование представляет собой издания, публикации и Интернет-ресурсы западных авторов, исследовательских центров и компаний, работающих на рынке электронного обучения. Причина малого использования российских источников заключается в крайне малой проработанности данных вопросов в России. Тем ни менее, необходимо отметить все более возрастающий интерес российских исследователей к данной предметной области, что выражено первыми появившимися публикациями по данной тематике, обусловленных интенсификацией развития проектов электронного обучения в крупнейших российских компаниях.
Диссертация: заключение по теме "Экономика и управление народным хозяйством: теория управления экономическими системами; макроэкономика; экономика, организация и управление предприятиями, отраслями, комплексами; управление инновациями; региональная экономика; логистика; экономика труда", Печенкин, Александр Евгеньевич
Выводы по параграфу
1.Систематизация работ при выборе технологии и метода обучения является критически важным шагом при реализации проекта электронного обучения. 2.0дновременное использование различных технологий и методов обучения более эффективно в связи с учетом индивидуальных особенностей слушателя. Признание данного факта привело к созданию систем смешанного (blended) обучения.
Заключение
В рамках диссертационного исследования разработаны методики, позволяющие HR менеджеру осуществить оценку экономической эффективности проводимого в организации e-learning проекта, и поддерживающих принятие управленческих решений на всем этапе жизненного цикла такого проекта. Таким образом, достигнута цель исследования, состоящая в повышении качества и эффективности проекта реализации корпоративного электронного обучения. Помимо достижения основной цели, в работе успешно решены следующие задачи:
-определена роль электронного обучения в современной организации, а так же факторы, способствующие и препятствующие его развитию и распространению;
-определены и классифицированы основные игроки на рынке электронного обучения;
-формализован типовой проект электронного обучения в организации, описан процесс его управления, определен состав его участников и их роли в проекте; -определены цели и причины оценки экономической эффективности проектов электронного обучения;
-определены факторы, препятствующие проведению оценки и общие требования к методике оценки экономической эффективности подобного проекта;
-рассмотрены использующиеся в настоящее время универсальные и специфичные методики оценки эффективности проектов и определена возможность их применения к проектам электронного обучения; -классифицирован список затрат при проведении проекта электронного обучения и разработана методика их оценки;
-разработана методика оценки эффекта проекта электронного обучения с учетом выявленных ранее требований к ней;
-разработана методика выбора программного решения для корпоративного электронного обучения;
-разработана методика выбора учебных материалов для корпоративного электронного обучения;
-разработана методика выбора технологии и метода корпоративного электронного обучения;
-произведена частичная апробация разработанных моделей на реальных российских и зарубежных проектах электронного обучения.
Фундаментальную базу исследования составили систематизированные в трудах зарубежных ученых и специалистов положения, раскрывающие сущность электронного обучения, а так же общие принципы и подходы к оценке проектов, в том числе в образовательной среде. Наибольшее влияние на исследование произвели работы Д.Киркпатрика, Д.Филипса, В.Хортона, Дж.Мунена.
В процессе подготовки диссертационной работы был написан и опубликован цикл статей, посвященный тематике исследования в т.ч.: Организация выбора программного решения для электронного обучения; Покупное решение (off-the-shelf): прогнозируемые траты, гарантированный результат; Оценка эффективности e-Learning проектов; Организация выбора контента для электронного обучения; Сколько стоит электронное обучение; Методика расчета эффекта от проекта электронного обучения и другие статьи в научных и популярных изданиях. Кроме публикаций, основные результаты были представлены на 8 крупнейших российских и международных конференциях.
Апробация результатов исследования успешно проведена автором в следующих организациях:
-ING Bank (головной офис, Амстердам), январь - июнь 2003. Апробация проводилась в части применения разработанной методики выбора программного решения для корпоративного электронного обучения. Выбранная с использованием данной методики Авторская система разработки курсов Тгатег8ой-(производитель - OutStart) закуплена и успешно используется. -ОАО ГМК Норильский никель, октябрь - декабрь 2004. Апробация проводилась в части разработки методики оценки затрат проекта электронного обучения в корпорации, а так же методики оценки эффекта от корпоративного электронного обучения. Данные методики вошли в утвержденную методику организации дистанционного обучения персонала в ОАО ГМК Норильский никель.
Кроме того, разработанная в данном исследовании методика выбора учебных материалов для корпоративного электронного обучения была применена при написании Анализа современного состояния и перспектив развития электронного контента в системе профессиональной подготовки и переподготовки сотрудников ОАО ГМК Норильский Никель. -Центр проектирования контента МЭСИ (2003-2004), где многие результаты исследования были использованы при создании курса Преподаватель в среде e-Learning.
Особая ценность разработанных методик, по мнению автора, состоит в их адаптивности к характеристикам компании и проводимого в них проекта электронного обучения. В связи с этим, наиболее значимые результаты, полученные лично автором, заключены в построении гибкой и универсальной методики, позволяющей оценить экономическую эффективность проектов электронного обучения различного масштаба, структуры и назначения. При этом цель проведения и ресурсы, затраченные на ее проведение, могут быть различны в зависимости от масштаба проекта. Кроме того, в рамках исследования удалось создать столь же гибкие и адаптивные от условий и рамок проекта методики, поддерживающие принятие решений по выбору ПО, электронного контента, а так же технологии и метода корпоративного электронного обучения.
Успешность внедрения разработанных методик позволяет рассчитывать на их востребованность и дальнейшее использование в e-learning проектах различного масштаба.
Диссертация: библиография по экономике, кандидат экономических наук , Печенкин, Александр Евгеньевич, Москва
1.Nick van Dam, The e-Learning Fieldbook, McGraw-Hill, New York, 2004, 340
2. Ассоциация Менеджеров России, Профиль электронного обучения в российских компаниях, Результаты исследования, М:2003, www.amr.ru
3. Kirkpatrick,D. Evaluating training programs. American Society for Training and Development inc., 1975.
4. Cascio, W. Costing human resources. New York: Van Nostrand Reinhold Company, 1982.
5. Doucouliagos, C., & Sgro P. Enterprise return on a training investment. Australia: National Centre for Vocational Education Research Ltd, 2000.
6. Phillips,J., Phillips,P., Duresky,L., & Gaudet,C. Evaluating the Return on Investment of E-Learning. In Rossett, A.(Eds.), The ASTD E-Learning Handbook (pp.387-396) New York: McGraw-Hill, 2001.
7. Rumbl, G. The Costs and Economics of Open and Distance Learning, London, Kogan Page, 1997.
8. Arizona Learning System, An Evaluation of Information Technology Projects for University Learning, Report dated 21 August 1998, Arizona Learning Systems and the State Board of Directors for Community Colleges of Arizona, 1998.
9. Мексон M., Альберт M., Хедоури Ф.Основы менеджмента: Пер. с англ. -М.:Дело, 2000. 704 с.
10. Kolb D.A., Osland J.S., Rubin, I.M. Organizational Behavior. An Experimental Approach. 6th .ed., Englewood Chiffs. NL: Prentice Hall, 1995.
11. П.Тапскот Д. Электронно-цифровое общество. Пер. с англ. М.:Рефл-бук, 1999.408 с.
12. Cross J., Hamilton I. Beyond eLearning A Vision of the Next Five Years. Internet Time Groups, Berkeley, California, 2002.
13. THINQ's Research Department. How e-Learning Can Increase ROI for Training, 2002.
14. Hall В. Return-on-Investment and Multimedia Training: a Research Study.Sunnyvaley, CA:, Multimedia Training Newsletter, 1995.
15. Ассоциация Менеджеров России, Современные подходы к корпоративному обучению персонала: Виртуальные корпоративные университеты, М:2002, www.amr.ru
16. Гасликова И.Р., Гохберг JI.M. Использование информационных сетей в российской экономике. Статистический сборник. М.:ГУ - ВШЭ, 2004. 77 с.
17. Мур С.-Э. e-Learning сегодня: основные факторы успеха// e-Learning World. -М.,2004. №2
18. Хол Б. Сколько стоит система дистанционного обучения? Пер. с англ. WebSoft, 2003 www.distance-learning.ru
19. Всероссийская перепись населения 2002 года www.perepis2002.ru
20. Тихомиров В.П. Слово главного редактора// e-Learning World. М.,2004. -№4.
21. ФЦП Электронная Россия, Ссыка на домен более не работает
22. ФЕДЕРАЛЬНАЯ ЦЕЛЕВАЯ ПРОГРАММА "РАЗВИТИЕ ЕДИНОЙ ОБРАЗОВАТЕЛЬНОЙ ИНФОРМАЦИОННОЙ СРЕДЫ (2001-2005 ГОДЫ) Ссыка на домен более не работаетdb/msg/169
23. Kirkpatrick,D. Evaluating training programs. American Society for Training and Development inc, 1975.
24. Popham,W. Evaluation in education. Berkley:McGutchan Publishing Corporation, 1974.
25. Shepherd C.Assessing the ROI of training. Online. Available: Ссыка на домен более не работаетtactix/Features/tngroi/tngroi.htm (downloaded: May, 2003)
26. Phillips,J., Phillips,P., Duresky,L., & Gaudet,C. Evaluating the Return on Investment of E-Learning. In Rossett, A.(Eds.), The ASTD E-Learning Handbook (pp.387-396) New York: McGraw-Hill, 2001.
27. Doucouliagos, C., & Sgro P. Enterprise return on a training investment. Australia: National Centre for Vocational Education Research Ltd, 2000.
28. Setaro J.L. Is It Worth The Cost? Calculating The ROI for Training. Online. Available: Ссыка на домен более не работаетpages/white papers pdf/Is%201t%20 Worth% 20The%20Cost.pdf (downloaded: May, 2003), 2000.
29. Cascio, W. Costing human resources. New York: Van Nostrand Reinhold Company, 1982.
30. Phillips,J. Return on investment in training and performance improvement programs. Houston: Gulf Publishing Company,1997.
31. Скрипкин К.Г. Экономическая эффективность информационных систем. -М.: ДМК Пресс, 2002. 256 е.: ил.
32. Radcliffe, R. Investment: Concepts, Analysis, Strategy.Scott Foreman, Glenview, Illinois,1982.
33. King,J. & Schrems, E. Cost Benefit Analysis in IS Development and Operation. Computing Surveys, March,19-34,1978.
34. Мунен Д. Возврат на вложенные инвестиции: упрощенный подход// е-Learning World. М.,2004. - №2.
35. Roetzheim, W. Software project cost and schedule estimating: best practices .New Jersey:Prentice Hall PTR, 1995.
36. Walkerden, F. & Jeffery, R. Software Cost Estimation:A Review of models, Procecess, and Practice. Advances in Computers, 44, 61-127, 1997.
37. Капп K.M. Как оценить время разработки курса ДО Пер. с англ. WebSoft, 2003 www.distance-learning.ru
38. Родионов А.Э. Обзор российских LMS// e-Learning World. М.,2004. - №4.
39. Дик В.В. Методология формирования решений в экономических системах и инструментальные среды их поддержки. М.:Финансы и статистика, 2000. -300 с.:ил.
40. Rosenberg,M. E-learning . strategies for delivering knowledge in the digital age (pp. 28-29). New York:McGraw-Hill, 2001.
41. Moonen, J. The Efficiency of Telelearning. Journal of Asynchronous Learning Networks, vol.1, no.2,1997.
42. Bacsich P. The Cost of Networked Learning. Sheffied Hallam University, Sheffied, United Kingdom, 1999.
43. Horton W. Evaluating E-Learning. ASTD, USA, 2001.
44. Phillips,J. Return on investment in training and performance improvement programs. Houston: Gulf Publishing Company, 1997.
45. Печенкин А.Оценка эффективности e-Learning проектов// e-Learning World. -M.,2004. №2. C.16-21.
46. Печенкин А. Как оценить эффект от проекта электронного обучения// е-Learning World. М.,2005. - №1. - С.40-47.
47. Трахтенгерц Э.А. Компьютерная поддержка принятия решений: Научно-практическое издание. Серия Информатизация России на пороге XXI века. -М.:СИНТЕГ, 1998. 376 с.
48. Печенкин А. Организация выбора программного решения для электронного o6y4eHHH//e-Learning World. M.,2004. - №1. - С.14-21.
49. Печенкин А. Покупное решение (off the shelf): прогнозируемые траты, гарантированный результат// e-Learning World. M.,2004. - №1. - С.30-34.
50. Печенкин А.Организация выбора контента для электронного обучения// е-Learning World. M.,2004. - №2. - С.38-44.
51. Печенкин А.Сколько стоит электронное обучение?// e-Learning World. -M.,2004. №5-6. - С.50-55.
52. Hall В. How to choose Off-the -shelf Web based training www.brandonhall.com, 2001.
53. Черныш Д. Обзор рынка обучающего контента// e-Learning World. M.,2004.- №3 С.8-13.
54. Smith P., Ragan Т. Instructional Design. New York: Wiley, 1999.
55. Варламова E. Электронные курсы мобильной компании // e-Learning World.- M.,2004. №3. - C.66-68.
56. Гриффин С. 1М8:четкие правила игры// e-Learning World. M.,2004. - №4. -C.32-36.
57. Жуков В.В. Разработка электронных курсов: обзор программных средств// е-Learning World. М.,2004. - №1. - С.22-29.
58. Horton W. Using e-Learning.ASTD, USA, 2002.
59. Mantyla K.Blended E-Learning: The Power is in the Mix. ASTD, USA, 2001.
Похожие диссертации
- Оценка экономической эффективности организационных форм сервисного сопровождения продукции промышленного предприятия
- Комплексная оценка экономической эффективности деятельности предприятий с позиций заинтересованных групп
- Оценка экономической эффективности информационных систем промышленных предприятий
- Оценка экономической эффективности информационной безопасности участия строительной компании в электронных торгах
- Оценка экономической эффективности затрат на разработку и внедрение системы менеджмента качества организации