Отчет о научно-исследовательской работе система критериев качества учебного процесса для дистанционного образования выполненной по научно-технической программе
| Вид материала | Отчет |
- Положение о научно-исследовательской работе студентов, 45.37kb.
- Отчёт онаучно-исследовательской работе гу нии но ур за 2010 год, 997.69kb.
- Реферат отчет о научно-исследовательской работе состоит, 61.67kb.
- Отчет о научно-исследовательской работе структура и правила оформления, 316.66kb.
- Отчет о научно-исследовательской работе структура и правила оформления, 314.47kb.
- Отчет о научно-исследовательской работе структура и правила оформления, 341.61kb.
- Отчет о научно-исследовательской работе структура и правила оформления, 305.72kb.
- Отчет о научно-исследовательской работе структура и правила оформления, 295.39kb.
- Отчёт о научно-исследовательской работе за 2009 год, 851.3kb.
- Отчёт о научно-исследовательской работе за 2011 год, 1208.93kb.
ОТЧЕТ
О НАУЧНО-ИССЛЕДОВАТЕЛЬСКОЙ РАБОТЕ
Система критериев качества учебного процесса для дистанционного образования
выполненной по научно-технической программе
“Создание системы открытого образования”
Подпрограмма: Научное, научно-методическое и информационное обеспечение создания системы открытого образования
Код 02.01.002
(заключительный)
Руководитель проекта ________И.П.Норенков
Москва 2002
СПИСОК ИСПОЛНИТЕЛЕЙ
Руководитель темы
д-р техн.наук _____________И.П.Норенков (введение,разделы 1,2,4,заключение)
Ответственный исполнитель
к-т.техн.наук, доцент _________В.А.Трудоношин (раздел 3)
Исполнители темы
инженер ___________М.Ю.Уваров (раздел 5)
к-т.техн.наук, доцент ___________В.Г.Федорук (раздел 6)
к-т.техн.наук, доцент ___________Т.М.Волосатова (раздел 7)
ассистент ___________В.В.Белоус ( раздел 7)
Нормоконтролер ___________С.С.Агафонова
Реферат
отчет 75с., 1 ч., 5 рис., 1 табл., 50 источников.
ДИСТАНЦИОННОЕ ОБРАЗОВАНИЕ, УПРАВЛЕНИЕ КАЧЕСТВОМ, КРИТЕРИИ КАЧЕСТВА
Объектом исследования является система показателей качества дистанционного образования.
Цель работы – разработка и обоснование системы показателей качества Оценка качества дистанционного образования во многих отношениях должна быть близкой к оценке качества обычного очного или заочного образования. Так, качество образования, как комплекса знаний и умений, должно отвечать одним и тем же требованиям, вне зависимости от формы обучения. Однако оценка качества по показателям организации процесса обучения будет зависеть от формы обучения.
Проблема качества обучения включает задачи контроля и оценки качества обучения и задачи управления качеством обучения, т.е. задача контроля и оценки качества входит в задачу управления качеством, как составная часть.
СОДЕРЖАНИЕ
НОРМАТИВНЫЕ ССЫЛКИ *
ВВЕДЕНИЕ *
1 МОДЕЛИ УПРАВЛЕНИЯ КАЧЕСТВОМ *
2 ФАКТОРЫ, ОПРЕДЕЛЯЮЩИЕ КАЧЕСТВО ОБРАЗОВАНИЯ *
3 ТИПЫ УЧЕБНЫХ МАТЕРИАЛОВ, ИСПОЛЬЗУЕМЫХ ПРИ ДИСТАНЦИОННОМ ОБРАЗОВАНИИ *
4 СТАНДАРТИЗАЦИЯ В ОБЛАСТИ ОБРАЗОВАТЕЛЬНЫХ ТЕХНОЛОГИЙ *
4.1 Причины появления и назначение стандартов в области информационных технологий обучения. *
4.2 Спецификации IMS. *
4.3 Спецификации IEEE LTSC. *
4.4. Модель SCORM. *
5 КРИТЕРИИ КАЧЕСТВА УЧЕБНЫХ МАТЕРИАЛОВ *
6 СПОСОБЫ ОЦЕНКИ ПОКАЗАТЕЛЕЙ КАЧЕСТВА ДИСТАНЦИОННОГО ОБУЧЕНИЯ 39
6.1 Основные положения 39
6.2 Классификация учебных материалов, включаемых в БУМ 41
6.3. Оценка качества базы учебных материалов 42
6.4. Оценка других показателей качества *
7 КАЧЕСТВО УЧЕБНОГО ПРИКЛАДНОГО ПО 52
7.1 Общие подходы к оценке качества программных продуктов и баз данных 52
7.2. Обзор универсальных программных комплексов, пригодных для построения виртуальных лабораторий 62
ЗАКЛЮЧЕНИЕ 71
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 72
Приложение А: Список лабораторных работ на основе комплекса ПА9 для курса “Основы автоматизированного проектирования” 75
НОРМАТИВНЫЕ ССЫЛКИ
В настоящем отчете о НИР использованы ссылки на следующие стандарты.
ISO 9000 - основные понятия, руководство по применению ISO 9001;
ISO 9001 - модель качества, достигаемого при проектировании, производстве, обслуживании;
ISO 9002 - сокращенная по сравнению с ISO 9001 модель (без процессов проектирования);
ISO 9003 - модель качества при финальном тестировании продукции.
ISO 9004 - элементы систем управления качеством.
ISO 9000:2000 Fundamentals and vocabulary (Основы и терминология);
ISO 9001:2000 Requirements (Требования);
ISO 9004:2000 Guidelines for performance improvement (Руководство по развитию).
Российские аналоги стандартов ISO 9000:
ГОСТ Р ИСО 9001-96 "Системы качества. Модель обеспечения качества при проектировании, разработке, производстве, монтаже и обслуживании";
ГОСТ Р ИСО 9002-96 "Системы качества. Модель обеспечения качества при производстве, монтаже и обслуживании";
ГОСТ Р ИСО 9003-96 "Системы качества. Модель обеспечения качества при окончательном контроле и испытаниях".
ОБОЗНАЧЕНИЯ И СОКРАЩЕНИЯ
ADL - Advanced Distributed Learning Initiative Network - сеть распределенного обучения, создаваемая с целью широкомасштабного доступа к образовательным ресурсам многих пользователей. Обеспечивается динамичный процесс обучения с предоставлением учебных материалов, адаптированных к запросам конкретных обучаемых. ADL Initiative основана OSTP и министерством обороны США (DoD) в 1997 г.
AICC - Aviation Industry CBT Committee - комитет компьютерного обучения в авиационной промышленности (одна из организаций, занимающаяся вопросами организации учебного процесса на базе автоматизированных систем обучения).
ARIADNE - Alliance of Remote Instructional Authoring and Distribution Networks for Europe - объединение европейских сетей дистанционного обучения.
CAM - Content Aggregation Model - модель агрегирования учебных материалов (модулей).
CBT - Computer-Based Training (другое название CAI - computer-assisted instruction) - автоматизированная система обучения.
CMI - computer-managed instruction - обучение под управлением компьютера.
DRI - Digital Repositories Interoperability.
IMS - Instructional Management System - система управления обучением.
IMS Global Learning Consortium - международный консорциум, развивающий концепцию, технологии и стандарты обучения IMS.
IMS LIP - IMS Learner Information Package - пакет данных об обучаемом.
LMS - Learning Management System - система управления в обучающих системах.
LOM - Learning Objects Metadata. - метаданные об объектах в системе обучения.
LTSA - learning technology systems architecture - архитектура системы обучения.
LTSC - Learning Technology Standards Committee (in IEEE) - комитет стандартизации в области технологий обучения, созданный в IEEE.
SCORM - Shareable Content Object Reference Model (ранее назывался Shareable Courseware Object Reference Model Initiative) - объектная модель модульного обучения.
ULF - Universal Learning Format - универсальный формат учебных материалов
XQuery (XML Query) - XML-подобный формат для поиска IMS метаданных, развиваемый W3C рабочей группой.
Z39.50 - формат для поиска библиотечной информации.
ВВЕДЕНИЕ
В работе, посвященной вопросам обеспечения качества образования при дистанционных технологиях обучения, прежде всего необходимо определить, что будет пониматься под качеством образования и дистанционным обучением.
В международном стандарте ISO 8402 дается следующее определение качества: " Качество - совокупность характеристик продукта, относящихся к его способности удовлетворять установленные или предполагаемые потребности".
По ГОСТ 15467-79 "качество продукции - это совокупность свойств продукции, обусловливающих ее пригодность удовлетворять определенные потребности в соответствии с ее назначением", а интегральным показателем качества названо "отношение суммарного полезного эффекта от эксплуатации или потребления продукции к суммарным затратам на ее создание и эксплуатацию".
В БСЭ [1] дано определение качества продукции, как совокупности свойств, определяющих степень пригодности продукции для использования по назначению. Не противоречит этим определениям и попытка лаконичной, но более расплывчатой формулировки, например, в [2], где "качество - это то, что удовлетворяет потребителя".
Имеются предложения по корректировке этих определений. Так, автор работы [3] предлагает относить понятие качества только к уже потребленным продуктам, а в работе [4] понятие качества связывается не с любыми свойствами, а с конкурентоспособностью продукции. В работе [5] подчеркивается, что качество - не абсолютная категория, а зависит от конкретных условий, а именно "качество - это совокупность потребительских свойств продукции, определяющих степень ее соответствия заданной конкретной потребности в фиксированных условиях потребления".
Дискуссионным является также вопрос учета стоимости продукции или услуг в определении качества. Например, К.Исикава [6] отделяет качество от цены, замечая, что даже "при высоком качестве продукция не может удовлетворить заказчика, если на нее установлена слишком высокая цена". В то же время А.Фейгенбаум [7] включает в совокупность свойств, определяющих качество, общую "совокупность технических, технологических и эксплуатационных характеристик, посредством которых изделия или услуги будут отвечать требованиям потребителя при их эксплуатации".
Необходимо договориться о понимании часто используемых терминов “дистанционное образование” и “дистанционное обучение”. Однозначное толкование этих терминов особенно важно при рассмотрении вопросов контроля и оценки качества в образовательной сфере.
Далее под дистанционным обучением (ДО) понимается учебный процесс, при котором все или часть учебных занятий осуществляется с использованием современных информационных и телекоммуникационных технологий при территориальной разобщенности преподавателя и студентов.
Термин "образование" в настоящее время имеет две различные интерпретации. В соответствии с БСЭ [1] "образование - это совокупность знаний и связанных с ними навыков и умений, необходимых для практической деятельности". С другой стороны, мы во многих ситуациях понимаем под образованием отрасль общественной деятельности. Применительно к дистанционному образованию обычно придерживаются второй интерпретации, т.е. дистанционное образование – это образовательная система, обеспечивающая получение комплекса знаний, умений и навыков с помощью дистанционных технологий обучения. Это понятие включает в себя кадровый состав администрации и технических специалистов, профессорско-преподавательский состав, учебные материалы и продукты, методики обучения и средства доставки знаний обучающимся (соответствующие одному или нескольким видам дистанционных технологий обучения), объединенные организационно, методически и технически с целью проведения дистанционного обучения.
Двоякое толкование термина "образование" имеет следствием двоякое определение термина "качество образования". Во-первых, это степень соответствия знаний, навыков и умений выпускника учебного заведения заранее согласованным требованиям. Во-вторых, это качество образовательной системы, т.е. согласно ГОСТ 15467-79 это совокупность свойств системы, обусловливающих ее пригодность удовлетворять определенные потребности в соответствии с ее назначением. Именно вторая формулировка оказывается близкой к формулировке понятия качества дистанционного обучения, как качества учебного процесса, осуществляемого по технологии ДО.
В дальнейшем под качеством дистанционного образования будем понимать совокупность свойств образовательной системы, обеспечивающих получение обучаемыми знаний, навыков и умений, соответствующих заранее согласованным требованиям. В частности, при полномасштабном дистанционном образовании такими требованиями должны быть требования, зафиксированные в государственных стандартах профессионального образования.
Таким образом, при первой формулировке понятия "образование" непосредственный контроль качества образования - это контроль знаний и умений обучаемых, например, в процессе экзаменов и зачетов, а оценка показателей организации, обеспечения и проведения учебного процесса - это вспомогательные процедуры. Если принимается вторая формулировка понятия образования, то главным в контроле качества образования становится контроль показателей организации, обеспечения и проведения учебного процесса. Другими словами, основными положениями модели качества дистанционного обучения становятся положения стандартов серии ISO 9000. В то же время не отрицается полезность учета результатов тестирования обучаемых в показателях качества дистанционного образования или обучения.
Оценка качества ДО во многих отношениях должна быть близкой к оценке качества обычного очного или заочного образования. Так, качество образования, как комплекса знаний и умений, должно отвечать одним и тем же требованиям, вне зависимости от формы обучения. Однако оценка качества по показателям организации процесса обучения будет зависеть от формы обучения.
Проблема качества обучения включает задачи контроля и оценки качества обучения и задачи управления качеством обучения, т.е. задача контроля и оценки качества входит в задачу управления качеством, как составная часть.
- МОДЕЛИ УПРАВЛЕНИЯ КАЧЕСТВОМ
В сфере образования под качеством обучения, т.е. под удовлетворением требований заказчика, подразумевается соответствие знаний и умений выпускников учебного заведения требованиям, предъявляемым со стороны промышленности (если речь идет об инженерном образовании). Общество через спрос на выпускников на рынке труда доводит до высшей школы свои потребности и контролирует уровень подготовки специалистов. Престиж университета зависит от того, как котируются на рынке труда и куда устраиваются на работу его выпускники. Однако задержка во времени между получением знаний и умений в вузе и их оценкой в производственных условиях составляет несколько лет. Следовательно, практическая оценка качества обучения со стороны отраслей, использующих специалистов, является лишь вспомогательной и не может играть основную роль в управлении качеством обучения, поскольку она излишне инерционна.
С точки зрения подходов к оценке и контролю качества остаются две модели управления качеством. Первая модель основана на непосредственном контроле знаний обучаемых. Во второй модели методической основой для управления качеством являются международные стандарты серии ISO 9000.
Тестирование знаний путем проведения контрольных мероприятий является важным и необходимым элементом учебного процесса, однако в системе управления качеством результаты тестирования играют лишь вспомогательную роль. Действительно, тестирование непосредственно не указывает на причины и источники появления изъянов, оно является выборочным в отношении изучаемого материала и направлено преимущественно на оценку знаний и в меньшей мере на выявление умений обучаемых. Кроме того, на экзаменах и зачетах выявляется итоговый уровень полученных знаний и, если он недостаточен, то для соответствующих индивидов этот уровень оказывается окончательным, исправление возможно уже только по отношению к последующим поколениям студентов.
Поэтому интерес представляет вторая модель управления качеством образования на основе контроля не только знаний обучаемых, но и процессов обучения, их организации и применяемых средств. Другими словами, положения стандартов ISO 9000 при соответствующей интерпретации могут быть полезно использованы и в сфере образования. Поэтому в основу управления качеством в образовании целесообразно положить вторую модель.
Стандарты ISO 9000 разработаны для управления качеством продукции или услуг в промышленности. Они определяют и регламентируют инвариантные вопросы создания, развития, применения и сертификации систем качества на промышленных предприятиях. В них устанавливается форма требований к системе качества в целях демонстрации поставщиком своих возможностей и оценки этих возможностей внешними сторонами.
В стандартах ISO 9000 используется определение качества из стандарта ISO 8402. Вводится понятие системы качества (QS - Quality System), под которой понимают документальную систему с руководствами и описаниями процедур достижения качества, Другими словами, система качества есть совокупность организационной структуры, ответственности, процедур, процессов и ресурсов, обеспечивающая осуществление общего руководства качеством.
Система качества обычно представляет собой совокупность трех слоев документов. Слои содержат: 1) описание политики управления для каждого системного элемента (организация, ответственные, контроль); 2) описание процедур управления качеством (что, где, кем и когда должно быть сделано); 3) тесты, планы, инструкции и т.п.
Сертификация предприятий по стандартам ISO 9001-9003 выполняется некоторой уполномоченной внешней организацией. Наличие сертификата качества - одно из важных условий для успеха коммерческой деятельности предприятий.
Стандарты серии ISO 9000 управления качеством промышленной продукции делятся на первичные, вторичные и поддерживающие.
В свою очередь, первичные стандарты делятся на внешние и внутренние. Внешние стандарты инвариантны к приложениям, они описывают требования, соблюдение которых гарантирует качество при выполнении контрактов с внешними заказчиками. Внутренние стандарты предназначены для внутреннего использования, они описывают мероприятия по управлению качеством внутри компании.
ISO предлагает следующие внешние стандарты:
ISO 9001 - модель качества, достигаемого при проектировании, производстве, обслуживании;
ISO 9002 - сокращенная по сравнению с ISO 9001 модель (без процессов проектирования);
ISO 9003 - модель качества при финальном тестировании продукции.
Вторичные стандарты включают в себя:
ISO 9000 - основные понятия, руководство по применению ISO 9001;
ISO 9004 - элементы систем управления качеством.
В стандарте ISO 9004 содержатся 20 основных требований к качеству, называемых системными элементами. Системные элементы разделены на группы, относящиеся к производству, транспортировке и постпроизводственным операциям, документации продукции, маркетингу. Например, при производстве контролируются планирование, процедуры, программы и инструкции для управления и улучшения производственных процессов. При маркетинге контролируются такие системные элементы, как функциональное описание продукции, организация обратной связи с заказчиками (отслеживание и анализ рекламаций).
ГОСТ Р ИСО 9001-96 "Системы качества. Модель обеспечения качества при проектировании, разработке, производстве, монтаже и обслуживании";
ГОСТ Р ИСО 9002-96 "Системы качества. Модель обеспечения качества при производстве, монтаже и обслуживании";
ГОСТ Р ИСО 9003-96 "Системы качества. Модель обеспечения качества при окончательном контроле и испытаниях".
В настоящее время разработана новая версия стандартов серии ISO 9000 под названием ISO 9000:2000 Quality management systems (Системы управления качеством), в которую включены документы:
ISO 9000:2000 Fundamentals and vocabulary (Основы и терминология);
ISO 9001:2000 Requirements (Требования);
ISO 9004:2000 Guidelines for performance improvement (Руководство по развитию).
Главные отличия новой версии от предыдущей обусловлены стремлением упростить практическое использование стандартов, направлены на их лучшую гармонизацию и заключаются в следующем.
В стандарте ISO 9001 минимизируется объем требований к системе качества. Стандарты ISO 9002-9003 из новой версии исключаются. Расширяется круг контролируемых ресурсов, в их число включены такие элементы, как информация, коммуникации, инфраструктура. 20 элементов качества из стандарта ISO 9004 сворачиваются в 4 группы:
распределение ответственности (management responsibility);
управление ресурсами (resource management)
реализация продукции и услуг (product and/or service realization);
измерения и анализ (measurement, analysis, and improvement).
Как отмечено выше, в сфере образования также возможно управление качеством обучения на основе как оценки знаний и умений выпускников путем тестирования, так и оценки показателей организации, процесса и средств обучения. Необходимо выявить те факторы (системные элементы), управляя которыми можно обеспечить требуемое качество образования.
- ФАКТОРЫ, ОПРЕДЕЛЯЮЩИЕ КАЧЕСТВО ОБРАЗОВАНИЯ
Для выявления факторов, определяющих качество образования, целесообразно рассмотреть компоненты процесса обучения. Качество зависит от особенностей каждого компонента.
На рис. 1 приведена архитектура образовательной системы, введенная в международном стандарте IEEE P1484.1. Компонентами системы являются обучаемый, преподаватель (инструктор), учебные материалы (репозиторий), система доставки материалов обучаемому, система оценивания результатов учебы, модель обучаемого (его профиль). Взаимосвязи в архитектуре отображают потоки данных, которыми обмениваются участники процесса обучения. Инструктор (им может быть преподаватель или компьютерная система) управляет выбором учебных материалов из репозитория на основе информации о профиле обучаемого, результатах оценивания поведения обучаемого и метаданных репозитория. Выбранные учебные материалы передаются обучаемому, а сведения о тестирующей части доставляются также компоненту "оценивание" через компонент "доставка ". Обучаемый выполняет учебные процедуры, воздействуя на компонент "оценивание", который, в свою очередь, может изменять данные в профиле обучаемого. В процессе изучения материала обучаемый может обмениваться информацией непосредственно с инструктором.
Фактором, влияющим на качество образования, от компонента “обучаемый” является качество предварительной подготовки абитуриента, его способности. Этот фактор в системе управления качеством может быть использован частично при организации работы приемной комиссии в вузе, организации колледжей при вузе и различных форм довузовской подготовки.
Фактор от компонента “инструктор” - квалификация преподавателей. При ДО имеется несколько категорий преподавателей - это авторы учебных материалов, преподаватели-консультанты, преподаватели-тьюторы. Влияние авторов учебных материалов на качество обучения может быть учтено через контроль качества учебных материалов. Для контроля качества остальных представителей преподавательского корпуса можно использовать традиционные подходы, основанные на контроле наличия ученых степеней и званий, участия преподавателей в научных исследованиях и т.п.
Контроль качества средств доставки сводится к контролю количественных и качественных характеристик материально-технического обеспечения учебного процесса. В случае ДО это характеристики компьютеров и сетевого оборудования.
Рис. 1
Компонент “оценивание” определяет эффективность контроля знаний студента и обратной связи “студент-преподаватель”. При оценке качества ДО эффективность связана с показателями качества тестирующих систем.
Наконец, качество образования во-многом зависит от качества учебных материалов, находящихся в репозитории. Исследование влияния качества учебных материалов на качество ДО является главной задачей настоящей работы.