Отчет о научно-исследовательской работе система критериев качества учебного процесса для дистанционного образования выполненной по научно-технической программе

Вид материала

Типы учебных материалов, используемых при дистанционном образовании
Стандартизация в области образовательных технологий
5 Критерии качества учебных материалов
6 Способы оценки показателей качества дистанционного обучения

Подобный материал:

1 2 3

ТИПЫ УЧЕБНЫХ МАТЕРИАЛОВ, ИСПОЛЬЗУЕМЫХ ПРИ ДИСТАНЦИОННОМ ОБРАЗОВАНИИ

Учебные материалы можно классифицировать по ряду признаков.

В зависимости от роли, выполняемой в процессе ДО учебные материалы подразделяются на учебники, учебные пособия, практикумы и сборники лабораторных работ, справочники, методические указания, сборники типовых заданий и упражнений, типовых вопросов и ответов на них, прикладное программное обеспечение. Основная форма названных материалов – электронная, хотя часто возможно использовать также твердые копии.

Одной из интегрированных форм учебных материалов в традиционных формах обучения является учебно-методический комплекс (УМК), объединяющий большинство из названных материалов. При ДО аналогом УМК становится электронный учебник (ЭУ). Например, М.И.Нежурина предлагает под ЭУ понимать объединение частей, показанных на рис. 2.

Однако степень интеграции в ЭУ может быть различной, в связи с чем обычно используется классификация ЭУ на несколько уровней (классов). Одна из так классификаций введена в международном стандарте АЕСМА 1000D, посвященном разработке интерактивных электронных технических руководств (ИЭТР) для авиационных отраслей промышленности.

В соответствии с этой классификацией [8] учебные материалы класса 0 относятся к обычным документам, переведенным в электронный вид (например, с помощью редактора Word) и предназначенным для архивации. Класс 1 относится к документам, части которого индексированы и доступны по ссылкам из оглавления. Документы класса 2 – файлы в коде ASCII, внутри которых применена разметка с помощью тегов, что позволяет осуществлять навигацию внутри пособия. Документы класса 3 отличаются тем, что в них применена разметка с помощью языка SGML.

Документы классов 0-3 являются линейными в том смысле, что в них, как и в обычных бумажных пособиях, материал излагается последовательно страница за страницей. В отличие от них документы класса 4 имеют не линейную, а иерархическую структуру, и предназначены для интерактивных презентаций. Развитие класса 4 в направлении увеличения степени интеллектуализации приводит к классу 5, в котором имеются средства формирования версий пособий, адаптированных к запросам и уровню подготовленности пользователя.

В технологиях ИЭТР используется также ряд других стандартов. Это стандарт ISO 8879, посвященный языку разметки SGML, стандарт ISO 10744 (HyTime – Hypermedia / Time-based Document Structuring Language), а также спецификации министнрства обороны США MIL-87268…87270. Так, документ MIL-M-87268 (Interactive Electronic Technical Manual Content) определяет общие требования к содержанию, стилю, формату и средствам диалогового общения пользователя с интерактивными электронными техническими руководствами. В спецификации MIL-D-87269 содержатся требования к базам данных для интерактивных электронных технических руководств и справочников, описаны методы представления структуры и состава промышленного изделия и его компонент на языке SGML, даны шаблоны документов на составные части технической документации, перечислены типовые элементы документов.

Рис. 2

СТАНДАРТИЗАЦИЯ В ОБЛАСТИ ОБРАЗОВАТЕЛЬНЫХ ТЕХНОЛОГИЙ

В настоящее время продолжают разрабатываться методики создания электронных учебников, в том числе по федеральным научно-техническим программам. В них справедливо уделяется внимание вопросам широкого использования мультимедийных технологий, повышения эффективности тестирующих систем, учета психологических факторов при обучении и др. Необходимо в число требований к создаваемым средствам компьютерного обучения включать требования интероперабельности учебников, компиляции версий учебных материалов, адаптированных к индивидуальным особенностям обучаемых, целесообразно уделять большее внимание снижению временных и материальных затрат на создание версий учебников. Базой для реализации этих требований должны стать международные стандарты в области информационных технологий обучения и их творческое развитие в отечественных образовательных организациях.

4.1 Причины появления и назначение стандартов в области информационных технологий обучения.

Индустрия компьютерных средств обучения развивается на протяжении уже более двадцати пяти лет. На первых порах в учебном процессе использовались различные программно-методические комплексы для освоения студентами элементов информационных технологий. Примерами таких комплексов могут служить учебно-исследовательские САПР, создававшиеся в ряде вузов страны. Одновременно получили развитие компьютерные средства контроля знаний студентов. В конце 80-х годов стали создаваться компьютерные обучающие системы (КОС) на базе электронных учебников по различным дисциплинам с текстовыми и графическими фрагментами.

Появление Web-технологий в первой половине 90-х годов стало очевидным стимулом для развития информационных технологий в обучении. Во второй половине 90-х годов началось становление дистанционного обучения, в том числе обучения на базе Internet. Появилась концепция открытого образования, как системы предоставления образовательных услуг с помощью средств, имеющихся в распределенной информационно-образовательной среде, выбираемых пользователем и адаптированных под его конкретные запросы.

Однако существовавшие к тому времени КОС не были приспособлены к реализации идей дистанционного обучения и открытого образования в силу своей уникальности, несовместимости форматов данных, структур электронных обучающих средств и т.п. Электронный учебник, созданный с помощью авторской подсистемы в одной КОС, не мог быть воспроизведен и использован в рамках другой КОС. Существующие электронные учебники не отличались гибкостью, отсутствовали технологии адаптации содержания электронных курсов к запросам конкретных обучаемых, что не позволяло в нужной степени удовлетворить требования индивидуализации обучения. Нерешенной оставалась проблема легкости сопровождения учебников, своевременного отражения в них современного состояния науки и техники.

Со всей очевидностью возникла проблема унификации архитектур обучающих систем, структур и форматов данных для представления учебных материалов, моделей обучаемых, средств управления учебным процессом и компиляции индивидуализированных версий учебных пособий, отражающих последние научно-технические достижения.

Для решения этой проблемы было создано несколько международных и национальных организаций, поставивших перед собой цель стандартизации компьютерных средств обучения на основе современных информационных технологий. Среди этих организаций выделяются:

IMS Global Learning Consortium - международный образовательный консорциум, развивающий концепцию, технологии и стандарты обучения на базе системы управления обучением IMS (Instructional Management System);

IEEE LTSC - IEEE Learning Technology Standards Committee - комитет стандартизации в области технологий обучения, созданный в IEEE (Institute of Electrical and Electronics Engineers);

AICC - Aviation Industry CBT Committee - комитет компьютерного обучения в авиационной промышленности;

ADL - Advanced Distributed Learning Initiative Network - организация распределенного обучения, основанная департаментом политики в области науки и технологий в администрации президента США (OSTP - White House Office of Science and Technology Policy) и министерством обороны США (DoD), как сеть распределенного обучения, обеспечивающая широкомасштабный доступ к образовательным ресурсам многих пользователей.

4.2 Спецификации IMS.

Консорциум IMS создан в 1997 г. ведущими промышленными компаниями в области информационных технологий, университетами и правительственными органами нескольких стран.

Система IMS включает спецификации:

IMS Content Packaging Specification - компоновка содержания учебников и учебных пособий;
IMS Learner Information Package Specification - описание данных об обучаемом;
IMS Metadata Specification - описание метаданных учебных материалов;
IMS Digital Repositories Interoperability - описание связей разных репозиториев;
IMS Question and Test Specification - описание типичных вопросов и средств тестирования;
IMS Digital Repositories - описание хранилищ цифровых данных

и ряд других.

Эти спецификации предназначены для обеспечения распределенного процесса обучения, открытости средств обучения, интероперабельности обучающих систем, обмена данными о студентах между электронными деканатами в системах открытого образования. Распространение IMS спецификаций должно способствовать созданию единой информационно-образовательной среды, развитию баз учебных материалов, в том числе благодаря объединению усилий многих авторов при создании электронных учебников и энциклопедий.

Спецификация IMS Content Packaging Specification разработана в конце 2000 г. Совместимость учебных средств и систем обеспечивается применением специального формата (IMS Content Packaging XML format), основанного на языке разметки XML. Спецификация определяет функции описания и комплексирования учебных материалов, в том числе отдельных курсов и наборов пособий, в пакеты для сети КОС, поддерживающих концепции IMS. Пакеты (дистрибутивы) снабжаются сведениями, называемыми манифестом, о структуре содержимого, типах фрагментов, размещении учебных материалов. Манифест представляет собой иерархическое описание структуры со ссылками на файлы учебного материала. Каждый учебный компонент, который может использоваться самостоятельно, имеет свой манифест. Из манифестов компонентов образуются манифесты интегрированных курсов.

Структура пакета учебника (учебных пособия) показана на рис. 3, а на рис. 4 проиллюстрированы процедуры и роли участников учебного процесса, соответствующие концепции IMS.

Рис. 3. Структура пакета по IMS

Спецификация IMS Learner Information Package посвящена созданию модели обучаемого, включающей его идентификационные (биографические) данные, сведения, характеризующие уровень образования индивида, цели, жизненные интересы, предысторию обучения, владение языками, предпочтения в использовании компьютерных платформ, пароли доступа к средствам обучения и т.п.. Эти сведения используются для определения средств и методики обучения, учитывающие индивидуальные особенности обучаемого. Они могут быть представлены в виде таблицы, иерархического дерева, объектной модели. Возможно использование рекомендаций этой спецификации для представления данных об авторах учебных материалов и преподавателях, что может быть полезно использовано в системах управления образовательным учреждением.

Рис. 4. Процедуры учебного процесса и роли участников в концепции IMS.

Назначение спецификации IMS Digital Repositories Interoperability - унифицировать интерфейс между различными наборами ресурсов - базами учебных материалов (репозиторями), используемыми в разных обучающих системах. Обращаться к репозиториям могут разработчики курсов, обучаемые, администраторы репозиториев, программные агенты. В спецификации оговорены основные функции обращений к репозиториям, инвариантные относительно структуры наборов. Это функции помещения учебного ресурса в базу, поиска материала по запросам пользователя, компиляции учебного пособия. Система управления репозиторием при этом осуществляет запоминание вводимых данных, доставку и экспозицию запрошенного материала соответственно. Репозитории могут быть ориентированы на форматы SQL, XML, Z39.50. Формат Z39.50 используют для поиска библиотечной информации, формат XQuery (XML Query) - для поиска XML-метаданных, а протокол SOAP - для передачи сообщений. Доступ к репозиториям может быть непосредственным или через промежуточный модуль.

Определены сценарии действий пользователей при записи нового материала в репозиторий, при корректировке имеющихся материалов, поиске метаданных как в одном, так и сразу во многих репозиториях и в случае посылки запроса по найденным метаданным непосредственно пользователем или программным агентом, заказе извещений на изменения в метаданных.

Описание метаданных в документе IMS Learning Resource Meta-Data Information Model базируется на соответствующем документе, разработанном в IEEE LTSC (P1484.12) [9]. Спецификация определяет элементы метаданных и их иерархическую соподчиненность. В их число входят различные элементы, характеризующие и идентифицирующие данный учебный материал. Всего в спецификации выделено 89 элементов (полей), причем ни одно из полей не является обязательным. Примерами элементов метаданных могут служить идентификатор и название материала, язык, аннотация, ключевые слова, история создания и сопровождения материала, участники (авторы и спонсоры) создания или публикации продукта, его структура, уровень агрегации, версия, технические данные – формат, размер, размещение, педагогические особенности, тип интерактивного режима, требуемые ресурсы, ориентировочное время на изучение, цена, связь с другими ресурсами, место в таксономической классификации и др. Каждый элемент описывается такими параметрами, как имя, определение, размер, упорядоченность, возможно указание типа данных, диапазона значений, пояснение с помощью примера.

Метаданные используются для правильного отбора и поиска единиц учебного материала, обмена учебными модулями между разными системами, автоматической компиляции индивидуальных учебных пособий для конкретных обучаемых.

В документе IMS Question and Test Specification описана иерархическая структура тестирующей информации (с уровнями пункт, секция, тест, банк) и даны способы представления заданий (вопросов), списка ответов, разъяснений и т.п. В спецификации приведены классификация форм заданий, рекомендации по сценариям тестирования и обработке полученных результатов.

4.3 Спецификации IEEE LTSC.

В комитете по стандартизации образовательных технологий Learning Technology Standards Committee (LTSC) в IEEE создан ряд рабочих групп с дифференциацией направлений работ. Эти группы занимаются разработкой и развитием следующих документов:

P1484.1 - модель архитектуры образовательной системы (Architecture and Reference Model);

P1484.3 - терминологический словарь (Glossary);

P1484.11 - управление обучением (Computer Managed Instruction);

P1484.12 - метаданные обучающих средств (Learning Objects Metadata);

P1484.14 - семантика и замены (Semantics and Exchange Bindings);

P1484.15 - протоколы обмена данными (Data Interchange Protocols);

P1484.18 - профили платформ и сред (Platform and Media Profiles);

P1484.20 - определение компетенции (Competency Definitions).

4.4. Модель SCORM.

SCORM (Shareable Content Object Reference Model) - промышленный стандарт для обмена учебными материалами на базе адаптированных спецификаций ADL, IEEE, IMS, Dublin Core, and vCard. Цели создания SCORM: обеспечение многократного использования учебных модулей, интероперабельности учебных курсов (их использования в средах разных КОС), легкого сопровождения и адаптации курсов, ассемблирования контента отдельных модулей в учебные пособия в соответствии с индивидуальными запросами пользователей. В SCORM достигается независимость контента от программ управления.

Первая версия объектной модели разделяемых образовательных ресурсов SCORM [10] была представлена организацией ADL Initiative в начале 2000 г. Модель SCORM стала результатом обобщения многих проводившихся работ в области стандартизации обучающих средств для Internet. Версия 1.2 появилась в октябре 2001 г.

Основой модели SCORM является модульное построение учебников и учебных пособий, близкое к концепции модульных учебников, использованной в свое время при создании отечественной обучающей системы CTS [11] и изложенной в [12]. Модули (learning objects или instructional objects) учебного материала в SCORM называются разделяемыми объектами контента (SCO - Shareable Content Objects). Как и модули в [12], SCO - автономная единица учебного материала, имеющая метаданные и содержательную часть. Совокупность модулей определенной предметной области называется в [12] прикладной энциклопедией или в SCORM библиотекой знаний (Web-репозиторием). Модули (SCO) могут в различных сочетаниях объединяться друг с другом в составе учебников и учебных пособий, для компиляции которых создается система управления модульным учебником (сервер управления контентом), наиболее часто используемое ее название - Learning Management System (LMS).

Несмотря на общность основных идей концепций [12] и SCORM, между ними имеются и определенные различия. Так, для [12] характерно наличие онтологии приложения и поддержка соответствующего тезауруса, на их базе развита система компиляции версий электронного учебника. В SCORM рекомендуется максимально возможная автономность содержания SCO, что однако не всегда соответствует характеру излагаемого материала.

В SCORM используется язык XML для представления содержимого модулей, определяются связи с программной средой и API, даны спецификации создания метаданных.

SCORM включает три части (рис. 5):

1. Введение (общая часть), в котором описываются основы концепции SCORM и перспективы ее развития;

2. Модель агрегирования модулей CAM (Content Aggregation Model) в законченные учебные пособия;

3. Описание среды исполнения (Run Time Environment), представляющей собой интерфейс между содержательной и управляющей частями и использующей Web-технологии и язык " onclick="return false">

Рис. 5. Структура SCORM

CAM включает:

Метаданные (Metadata Dictionary) с описанием назначения и типа содержимого модуля, сведениями об авторах, цене, требованиями к технической платформе и др.; эта часть САМ заимствована из спецификаций IEEE.
XML-данные (Content Structure) о структуре контента. Язык XML в SCORM используется в виде версии CSF (Course Structure Format). С помощью CSF представляется структура учебного курса, определяются все элементы и внешние ссылки, необходимые для интероперабельности в рамках концепций IMS, IEEE и AICC. CSF основан на модели AICC Content Model.
Данные (Content Packaging) о способах объединения модулей в пособия на базе спецификации IMS Content Packaging specification. При этом каждый элемент автоматически получает уникальный идентификатор.

Система управления LMS состоит из нескольких компонентов, выполняющих одноименные функции:

управление контентом (Content Management Service);
визуализация (Delivery Service);
упорядочение материала (Sequencing Service);
администрирование курсов (Course Administration Service);
тестирование (Testing/Assessment Service);
моделирование обучаемых (Leaner Profile Service);
определение траектории обучения (Tracking Service);
коммуникация с системной средой (API Adapter).

Предусмотрено тестирование SCORM материалов, заключающееся в проверке адекватности представления материала с помощью CSF.

Благодаря модульной структуре, многократному использованию модулей в разных версиях учебных пособий и адаптации пособий к особенностям обучаемых достигается уменьшение стоимости обучения на 30-60%, времени обучения на 20-40%, повышается степень усвоения материала [9].

Следует отметить еще одну версию XML, используемую в КОС. Это созданная компанией Saba Software версия Universal Learning Format (ULF) [13]. Она также основана на концепциях IMS, ADL, IEEE. Ее назначение - реализация обменов учебными материалами между различными приложениями. На ULF разработаны каталоги метаданных, профили обучаемых, библиотеки классов и т.п.

Спецификация AECMA 1000D [8] - технология представления технической документации, признанная в авиационной промышленности (AECMA - European Association of Aerospace Constructors). В основе AECMA 1000D, как и в старших классах ИЭТР, лежит декомпозиция представляемого материала на модули. Модули включают идентификационную и содержательную секции, записанные на языках SGML или HyTime с иллюстрациями в форматах CGM или JPEG, и хранятся в специальной БД - Common Source Data Base (CSDB). Предусмотрена автоматическая простановка гиперссылок (для этого имеются соответствующие программные средства).

5 КРИТЕРИИ КАЧЕСТВА УЧЕБНЫХ МАТЕРИАЛОВ

Документы, методики и процедуры, используемые в управлении качеством, называются системой управления качеством.

Показатель качества (системный элемент) – атрибут или группа атрибутов, характеризующие качество дистанционного образования (или обучения). В системе управления качеством имеется несколько групп показателей, характеризующих качество ДО.

Показатели качества можно классифицировать по ряду признаков.

Так, среди показателей качества ДО имеются показатели как числовые (типов real и integer), так и качественные (типов enumeration, string или boolean). Очевидно, что количественная оценка качества станет возможной после выбора способа перевода неколичественных показателей в количественные.

Согласно концепции информатизации образования качество образования характеризуется следующими группами показателей:

показатели качества содержания образования;
показатели качества технологий обучения;
показатели качества результатов образования.

Этому делению показателей на группы соответствует и предлагаемое группирование показателей качества по следующим аспектам и свойствам обеспечения, организации и проведения учебного процесса:

учебные планы и программы;
база учебных материалов;
техническое обеспечение;
методики и технологии проведения учебных занятий, включая тестирование обучаемых (процедуры промежуточного и итогового контроля, возможно использование результатов анкетирования обучаемых).

возможности производственной подсистемы;

кадровое обеспечение;
организационное обеспечение.

Выбор групп показателей и конкретных показателей качества должен быть подчинен следующим требованиям: нужно учитывать основные показатели, которые, во-первых, существенно влияют на качество процесса ДО, во-вторых, могут быть оперативно оценены для практического использования в системе управления качеством.

В группу "Учебные планы и программы" входят следующие показатели:

Соответствие учебных планов существующим стандартам профессионального образования;
Наличие учебных программ, их соответствие стандартам профессионального образования, современному состоянию предметной области и дидактическим требованиям.

В настоящее время разработаны примерные учебные программы по всем дисциплинам высшего образования, прилагаемые к стандартам профессионального образования. Поэтому речь должна идти о рабочих программах дисциплин.

В группу "База учебных материалов" входят следующие элементы качества электронных учебников:

Соответствие содержания учебника утвержденной учебной программе;
Соответствие объема материала установленным нормам;
Соответствие содержания учебника и его формы;
Полнота состава (комплектация) учебника;
Современность учебного материала;
Принятый в учебнике способ самотестирования обучаемых.

Поскольку не все свойства учебника охватывает приведенный перечень показателей, можно список показателей расширить, введя в него экспертные оценки методического, содержательного и технологического уровней учебного материала.

Более подробно эти показатели рассматриваются далее.

Показатели группы "Техническое обеспечение ДО":

Достаточность в количественном отношении компьютерного оснащения учебных классов, степень его соответствия требованиям, предъявляемым к ПК для систем ДО.
Пропускная способность каналов передачи данных.

В группу "Методики и технологии проведения учебных занятий в системе ДО" входят элементы качества, характеризующие технологии общения преподаватель-студент, студент-студент и проведения контрольных мероприятий:

Степень доступности преподавателей;

Удобство формы общения преподаватель-студент и студент-студент;
Объективность и полнота экспертизы подготовки обучаемых при проведении контрольных мероприятий (экзаменационных и зачетных сессий, защит проектов);

Обеспеченность цикла лабораторных работ и курсового проектирования необходимыми программными средствами.

Наряду с технологиями, предусматривающими работу студентов под постоянным контролем и руководством со стороны людей-преподавателей, находят применение технологии обучения под руководством виртуальных преподавателей, в качестве которых выступают интеллектуальные обучающие системы. В этом случае на первый план выходят показатели качества сетевых учебников, характеризующих их роль, как "виртуальных преподавателей".

Показатели группы "Возможности производственной подсистемы":

характеристики инструментальных средств для разработки электронных (сетевых) учебников и учебных пособий;
наличие и производительность оборудования для изготовления твердых копий, видеокурсов, компакт-дисков.

Показатели группы "Кадровое обеспечение":

процентное соотношение преподавателей с учеными степенями доктора и кандидата наук и без степени,
наличие научных и/или методических публикаций у преподавателей, авторство в курсах ДО, рекомендованных к тиражированию.

Показатели группы "Организационное обеспечение":

наличие автоматизированной системы управления документами, часто именуемой электронным деканатом,
наличие системы управления качеством обучения.

Система управления качеством в соответствии со стандартами ISO 9000 является документальной системой, включающей описание политики учебного заведения в области обеспечения качества, различные документы по регламентации обязанностей и полномочий лиц, связанных с обеспечением качества, требования к используемым ресурсам ДО и к показателям качества учебных материалов и процедур учебного процесса, планы действий по обеспечению этих требований и т.п.

6 СПОСОБЫ ОЦЕНКИ ПОКАЗАТЕЛЕЙ КАЧЕСТВА ДИСТАНЦИОННОГО ОБУЧЕНИЯ

6.1 Основные положения

В данном разделе представлены возможные способы оценки показателей качества дистанционного образования. Для решения вопросов достаточности имеющегося уровня качества требуется определение значений показателей качества. Показатели качества могут быть количественными или неколичественными величинами, причем большинство показателей имеет неколичественный характер. Перевод значений этих величин в оценки качества производят с помощью двузначных (да - нет) или многозначных шкал. Для выбора шкал применяют экспертные методы, т.е. собственно перевод значений показателей (предметных переменных) в числовые или булевы значения шкалы возлагается на экспертов, проводящих контроль качества.

Выбор шкалы относится к компетенции контролера, т.е. организации, в интересах которой проводится контроль качества дистанционного образования. В частности, в внутривузовской системе управления качеством шкалы могут устанавливаться самим образовательным учреждением, т.е. контролером может быть руководство учебного заведения. Однако для целей лицензирования и аттестации учебных заведений, для сравнительной оценки качества, обеспечиваемого в разных вузах, целесообразно использовать единообразный подход к выбору шкал по каждому показателю.

Процедура назначения экспертов определяется целями экспертизы и должна регламентироваться соответствующими документами, например, стандартами, посвященными лицензированию и аттестации учреждений дистанционного образования.

Форма представления результатов оценки качества дистанционного образования также зависит от целей и задач экспертизы. В случае задач ранжирования систем дистанционного образования может быть рассчитан комплексный показатель качества Z, являющийся взвешенной суммой частных показателей y_j, j  [1:n]:

n

Z =  y_j

j=1

В случае задач аттестации образовательного учреждения возможны как комплексная, так и поэлементные оценки качества с использованием двузначных шкал. Поэлементные оценки служат также для управления качеством ДО, указывая на те стороны и компоненты ДО, которые требуют улучшения, при этом использование многозначных шкал выглядит предпочтительнее.

Для задач ранжирования наряду с оценкой качества ДО по комплексу элементов качества целесообразно использовать в качестве дополнительной оценку, основанную на результатах тестирования - выполнения студентами контрольных заданий.

Поскольку показатели качества характеризуют степень соответствия компонентов системы дистанционного образования предъявляемым требованиям, а среди требований к системе имеются требования, претерпевающие значительные изменения за время действия стандарта вследствие развития информационных технологий и изучаемых предметных областей, то большинство показателей качества относится к нестабильным. Нестабильность обусловливается также разнообразием региональных и ведомственных условий и задач подготовки специалистов. Неоднозначность оценок показателей качества из-за их нестабильности наиболее заметна в случае использования многозначных шкал и при определении значений весовых коэффициентов в комплексных показателях. В связи с этим выбор многозначных шкал оценок и весовых коэффициентов в комплексном показателе качества не является предметом унификации, а производится контролером или по решению контролера относится к компетенции назначенных экспертов.

6.2 Классификация учебных материалов, включаемых в БУМ

По назначению учебные материалы БУМ целесообразно подразделять на следующие группы:

сетевые энциклопедии:
сетевые учебники, соответствующие принятым учебным программам профессионального образования;
сетевые учебные пособия, частично соответствующие принятым учебным программам профессионального образования;
лабораторные практикумы;
прикладное программное обеспечение для циклов лабораторных работ, курсового и дипломного проектирования;
методические указания по изучению дисциплины;
сборники задач и упражнений для самотестирования;
учебные программы дисциплин.

По форме представления различают:

традиционный материал, переведенный в электронное представление без переработки содержания;
статический гипертекстовый материал;
мультимедийный материал (с аудио- и/или видео- фрагментами);
материал с интерактивными фрагментами и с элементами искусственного интеллекта.

Ниже оценка качества рассматривается применительно к сетевым учебникам и их компонентам.

6.3. Оценка качества базы учебных материалов

Показатели качества БУМ оцениваются раздельно по каждой дисциплине, включенной в учебные планы.

Известно, что полнота содержания и качество проработки материала в электронном учебнике или пособии существенно зависят от объема финансирования, выделенного на его разработку. При оценке электронных учебников и пособий нужно учитывать это обстоятельство и не закрывать дорогу разработкам, которые по полноте содержания и технологическому уровню не в полной мере соответствуют строгим требованиям, но в то же время могут быть полезными при отсутствии более высококачественных альтернатив. Тем более, что в стандарте по ГОСТ 15467-79 качество продукта обратно пропорционально его цене. Положительные заключения по учебным материалам, не в полной мере отвечающим жестким требованиям, достигается использованием многозначных шкал.

Ниже в таблице 1 приведен предлагаемый вариант оценки показателей качества электронных учебников в четырехбалльных шкалах.

Соответствие содержания учебника утвержденной учебной программе - один из важнейших показателей его содержания. Очевидно, что для высшего образования такими программами являются примерные учебные программы дисциплин, разработанные учебно-методическими советами по направлениям подготовки в соответствии со стандартами высшего профессионального образования. Соответствие устанавливается уполномоченным экспертом. При положительном решении эксперта учебник по этому показателю должен быть отнесен к уровню 1 и в соответствии с табл. 1 показатель качества оценивается в 3 балла.

Таблица 1

№	Показатель	Число баллов при уровне:
№	Показатель	1	2	3	4
1	Соответствие содержания учебной программе	3	-	-	0
2	Соответствие объема имеющимся нормам	-	-	1	0
3	Соответствие содержания и формы	3	2	1	0
4	Комплектация (состав учебника)	3	2	1	0
5	Современность материала	3	2	1	0
6	Способ тестирования	3	2	1	0

При оценке соответствия объема учебника имеющимся нормам не следует думать, что чем больше объем, тем лучше учебник. Можно ориентироваться на нормы, используемые при издании учебников по традиционным технологиям (например, один печатный лист соответствует четырем часам лекционных занятий), т.е. для положительной оценки показателя нужно не иметь существенных отличий числа символов в тексте электронного учебника от значения К

К = (число часов лекций) *10⁴.

По форме представления учебники и учебные пособия целесообразно подразделять на следующие классы:

класс 4: традиционный материал, переведенный в электронное представление без переработки содержания;

класс 3: статический гипертекстовый материал;

класс 2: как в классе 3, но с добавлением мультимедийного материала (с аудио- и/или видео- фрагментами);

класс 1: как в классе 2, но с добавлением интерактивных возможностей с элементами искусственного интеллекта (при тестировании пользователя, составлении для него адаптированной версии, контроле усвоения материала и т.п.).

Для многих дисциплин включение в учебник мультимедийных фрагментов позволяет существенно повысить его дидактические свойства. Например, это относится к показу с помощью видео или мультипликации протекания физических или технологических процессов. Для таких дисциплин приведенные номера уровня и класса совпадают. В то же время для ряда других дисциплин, например, по математике, вычислительной технике, мультимедийные фрагменты неактуальны. Поэтому здесь уровню 2 может соответствовать класс 3.

При наличии всех компонентов, указанных на рис. , электронный учебник по показателю комплектации должен быть отнесен к уровню 1. Отсутствие какого-либо компонента снижает оценку на балл, отсутствие двух показателей - на два балла. Следует, однако, отметить, что в данном случае оценивается не состав отдельного учебника, а обеспеченность учебной дисциплины компонентами БУМ. Поэтому учебник конкретного автора может не содержать, например, лабораторного практикума, но если в БУМ такой практикум есть, оценка не будет снижена.

Современность характеризуется датами разработки и последнего обновления материала учебника. Характер и даты обновления должны быть указаны в атрибутах учебника. Качество учебника устанавливается по времени Т, прошедшему с момента его разработки, причем свои значения Т устанавливаются для каждой предметной области. Наличие обновления несколько снижает первоначальное значение Т.

По способу тестирования целесообразно использовать следующие уровни качества учебников:

уровень 4: отсутствие самотестирования;

уровень 3: самотестирование выполняется по способу "заданы вопросы и меню ответов (или вопросы, требующие числовых ответов");

уровень 2: как в уровне 3, но с помощью вопросов и меню ответов предлагаются задачи, требующие многошаговых процедур принятия решений;

уровень 1: самотестирование с элементами интеллектуальности (например, автоматическое распознавание системой ответов, представленных на ограниченном естественном языке, автоматический анализ ошибок обучаемого и т.п.).

Указанные в табл. 1 показатели оценивают лишь часть свойств учебных материалов. Поэтому целесообразно использовать дополнительные экспертные оценки методического, содержательного и технологического уровней учебных материалов.

В число факторов (субпоказателей), учитываемых экспертом при оценке показателя "Методический уровень учебных материалов", входят:

наличие или отсутствие рекомендации учебно-методического совета по соответствующему направлению (специальности) подготовки или другого уполномоченного органа Минобразования РФ к использованию оцениваемого учебника или учебного пособия в ДО;
соответствие характера, стиля изложения и представления изучаемого материала требованиям, предъявляемым виртуальным университетом к уровню предварительной подготовки обучаемых;
наличие методических указаний по изучению дисциплины;.
наличие средств адаптации имеющихся материалов к индивидуальным особенностям обучаемых.

В число факторов, учитываемых экспертом при оценке показателя "Содержательный уровень учебных материалов", входят:

Наличие рецензии (при отсутствии рекомендации Минобразования или учебно-методического объединения вузов к применению учебника). В рецензии характеризуются полнота, достоверность и актуальность содержания. При этом полнота оценивается с позиций требований, установленных стандартом высшего профессионального образования для соответствующего направления подготовки. Актуальность характеризуется соответствием содержания современному уровню науки, при оценке принимается во внимание частота корректировки содержания учебника и дата последнего внесения изменений.

Наличие вспомогательных учебных материалов. Как минимум, в базе учебных материалов должны быть дополнительные к указанным в электронном учебнике примеры заданий на самостоятельную работу, в том числе на курсовое и дипломное проектирование, примеры выполнения типовых заданий. В базу включают также учебные пособия (или их фрагменты), дополняющие содержание сетевого учебника.

В число факторов, учитываемых экспертом при оценке показателя "Технологический уровень учебных материалов", входят:

разумность компромисса между эффективностью, стоимостью и изобразительностью (последнее характеризуется объемом используемых видео- и аудиофрагментов);
соблюдение рекомендаций специалистов относительно использования типов и размера шрифтов, адекватного употребления цвета, взаимодополнения и синхронизации звука и изображения и т.п.;
согласованность со схемами интерфейса, принятыми в современных операционных системах;
возможность печати учебных текстов, изображений, упражнений, результатов расчетов и др.;
фиксация и сохранение результатов тестирования и выполнения упражнений;
фиксация и сохранение персональных заметок.

По названным дополнительным показателям эксперт выставляет свои оценки в четырехбалльной шкале.

Совокупная оценка качества учебных материалов по конкретной дисциплине определяется как среднеарифметическая величина оценок по частным показателям.

6.4. Оценка других показателей качества

В случае показателей "Соответствие учебных планов существующим стандартам профессионального образования" и "Наличие учебных программ, их соответствие стандартам профессионального образования и современному состоянию предметной области" положительная оценка ("да") имеет место, если в учебном плане ДО присутствуют все дисциплины федеральных компонентов из соответствующего стандарта общего профессионального образования. Соответствие по содержанию дисциплин в учебных планах стандарта и учебного заведения ДО устанавливается экспертом по представленным учебным программам. Также на эксперта возлагается определение достаточности объема дисциплины, изучаемой дистанционно

Показатель "Достаточность в количественном и качественном отношениях компьютерного оснащения учебных классов" отражает требования к компьютерному оснащению, которые устанавливаются по характеристикам используемого прикладного программного обеспечения. Для формулирования этих требований составляется список прикладного программного обеспечения (ПО) с указанием следующих данных:

- название программы, производитель, версия;

- требуемое общесистемное ПО;

- мультимедийность;

- минимально необходимые объемы памяти;

-поддерживаемые дисциплины, по каждой дисциплине подсчитывается коэффициент использования, равный произведению А₁А₂, где А₁– число студентов, изучающих дисциплину, А₂– усредненное число часов работы студента с данным ПО.

По этим данным определяются требования к конфигурации, производительности и емкости памяти компьютеров. Возможна градация требуемого компьютерного оснащения на ряд групп с разными значениями указанных характеристик. Положительная оценка имеет место при наличии групп компьютеров, удовлетворяющих сформулированным требованиям, и при достаточности количества компьютеров в группах, что в случае стационара устанавливается в зависимости от коэффициентов использования и режимов работы ПО ("клиент/сервер" или одноранговая сеть).

Положительная оценка показателя "Пропускная способность каналов передачи данных" для стационара имеет место, если V > M, где V - пропускная способность каналов "последней мили" стационара, M – норма, зависящая от числа обучаемых студентов, интенсивности использования Internet-источников, обмена данными Центр-стационар и стационар-терминалы и определяемая опытным путем. В случае удаленного терминала должен быть установлен порог пропускной способности, ниже которого ДО не допускается.

Показатель "Степень доступности преподавателей" оценивается частотой и продолжительностью сеансов связи, посвященных консультациям студентов. Положительная оценка имеет место при наличии ежедневных сеансов (не менее шести дней в неделю) в течение рабочего дня. При этом по каждой конкретной дисциплине число сеансов связи должно быть не менее N раз в неделю, где N - значение, устанавливаемое контролером.

Показатель "Удобство формы общения преподаватель-студент и студент-студент" определяется используемой телекоммуникационной технологией и оценивается оперативностью ответов на запросы, зависящей от расписания консультаций и режима конференц-связи. Наличие электронной почты является необходимым условием для положительной оценки. При многозначных шкалах более высокие значения оценок соответствуют использованию телеконференций, аудиоконференций, видеоконференций. Положительная оценка имеет место, если используется режим on-line или если в режиме off-line задержки ответов преподавателя на вопросы студентов имеют математическое ожидание не более К₁ часов (суток), а максимально допустимая задержка – не более К₂.

Положительная оценка показателя "Объективность и полнота экспертизы знаний обучаемых при проведении контрольных мероприятий" имеет место, если содержание контрольных заданий соответствует утвержденным учебным программам дисциплин. И если созданы условия, исключающие искажающее вмешательство в процедуры выявления знаний посторонних лиц (т.е. проведение экзаменов, зачетов, защит проектов происходит перед экзаменатором или экзаменационной комиссией в Центре или дистанционно в филиале под контролем уполномоченных лиц).

Положительная оценка показателя "Обеспеченность цикла лабораторных работ и курсового проектирования необходимыми программными средствами" имеет место, если предусмотрено выполнение лабораторных работ в виртуальной или удаленной лаборатории и все лабораторные работы обеспечены соответствующими программными средствами. Современность используемого прикладного ПО устанавливается экспертом.

Положительная оценка показателя "Характеристики инструментальных средств для разработки сетевых учебников и учебных пособий" соответствует наличию инструментальных средств, выполняющих необходимые функции для оформления сетевых учебников (редактирование текстовых и графических материалов, создание аудио- и видеофрагментов, конвертирование популярных форматов данных и т.п.). Более дифференцированный подход к оценке качества программных инструментальных средств рассматривается ниже.

Кадровые показатели ("Процентное соотношение д.т.н./к.т.н./без степени" и "Наличие научных и/или методических публикаций у преподавателей, авторство в сетевых курсах, рекомендованных к тиражированию") представлены отношением К числа преподавателей с ученой степенью к общему числу преподавателей, а также данными по каждому преподавателю, включающими стаж преподавательской работы, наличие научных трудов по тематике преподаваемого курса, стажу работы в системе ДО. При низких значениях этих показателей (например, К <0,5, усредненный по преподавательским штатам стаж работы менее 5 лет) для положительного заключения по этому системному элементу нужна положительная экспертная оценка результатов собеседования эксперта (экспертов) с соответствующими кандидатами на роль преподавателей в системе ДО.

Оценка показателей "Наличие автоматизированной системы управления документами" и "Наличие системы управления качеством обучения" выполняется по двузначной шкале. Следует однако отметить, что эти оценки, особенно в отношении последнего из указанных показателей, целесообразно считать факультативными.

Blog