Секция 4 Качество образования и методы его измерения
| Вид материала | Документы |
- Секция 5 Качество образования и методы его измерения, 4057.3kb.
- Лекция Экспериментальные методы измерения равновесной адсорбции, 296.24kb.
- Секция: Химия, 115.98kb.
- Доклад «Мониторинг учебной деятельности», 68.13kb.
- Методы измерения пэмин: cравнительный анализ, 113.37kb.
- Правила записи результатов измерений. Оценка погрешностей косвенных измерений, 33.24kb.
- Системный подход как основа качества профессионального образования, 59.36kb.
- Xix всероссийская конференция, 249.97kb.
- Гост 24846-81 "Грунты. Методы измерения деформаций оснований зданий и сооружений", 380.07kb.
- Государственный стандарт СССР гост 26824-86 "Здания и сооружения. Методы измерения, 205.34kb.
Часть 2(В) содержит восемь заданий разного уровня сложности. В этой части собраны задания с краткой формой ответа (КО), подразумевающие самостоятельное формулирование и ввод ответа в виде последовательности символов. Задания выполняются на специальном бланке.
Часть 3(С) содержит пять заданий, одно из которых базового уровня сложности, два задания повышенного уровня сложности и два задания высокого уровня сложности. Задания этой части подразумевают запись в произвольной форме развернутого ответа (РО). Возможность проверить работоспособность программ на компьютере подразумевалась в первоначальной стадии подготовки КИМ, но по разным причинам осуществить такую возможность на практике в этом году не представляется возможным.
Спецификой курса информатики является принципиальное отличие практической части предметного содержания, зависящего от средств обучения. Значительная часть практических навыков прямо определяется используемыми техническими средствами (компьютерами и программным обеспечением), которые, во-первых, сильно различаются между собой, во-вторых, изменяются настолько быстро, что устаревают прежде, чем учащийся закончит обучение и начнет применять их в практической деятельности.
С другой стороны, в информатике есть такая часть, которая с момента введения предмета в школу, почти не претерпела изменений, и усвоение которой, очень важно для будущей профессиональной деятельности. Это знание основ алгоритмизации. Практические навыки конструирования алгоритмов различных типов важнее знания прикладных сред, поскольку учащийся, владеющий основами алгоритмизации, легко освоит любую прикладную программу.
Поэтому в контрольно-измерительные материалы ЕГЭ по информатике включены как теоретические задания, выясняющие степень понимания основ алгоритмизации (часть 1) так и практические задания на конструирование различных алгоритмов (части 2 и 3), позволяющие отобрать наиболее талантливых учащихся и предоставить больше возможностей для поступления в вуз по профилю.
Тестирование указанных элементов содержания информатики может выполняться как в бумажном, так и в компьютерном виде (для предоставления равных условий при поступлении), но при этом необходимо создать такую программную среду, которая будет обеспечивать это равенство, то есть отличаться от сред программирования, изучавшихся в школе. Такая среда, адекватная задачам ЕГЭ, устойчивая к помехам и обеспечивающая необходимое качество тестирования, пока не создана. Именно поэтому экзамен по информатике, так же как и другие экзамены, проводится в бланковой форме, без использования компьютеров.
Задания с развернутым ответом являются наиболее привычными для российской системы проверки знаний. Они являются традиционными на вступительных экзаменах в вузы. Использование заданий с развернутым ответом позволяет получить более полную информацию об индивидуальном уровне подготовки каждого учащегося. При проверке ответа учащегося можно оценить уровень его алгоритмической и программисткой подготовки при решении задач, эффективность и корректность решения. Анализ ошибочных решений позволяет определить место ошибки, её значимость.
Ограничением в использовании заданий с развернутым ответом является значительно большее время, требующееся экзаменуемому для ответа на задание. Поэтому для проверки усвоения конкретным учеником большего числа элементов знаний и умений и оценки, глубины их усвоения, необходимо находить баланс между числом заданий разных типов, а также располагать задания с развернутым ответом в конце тестовой работы.
Для обеспечения надежности и объективности выставляемых экспертами баллов за выполнение заданий с развёрнутым ответом, к этим заданиям предъявляются следующие требования:
1. Задания с развернутым ответом должны проверять важные стороны общеобразо-вательной подготовки выпускников средней (полной) школы, которые не могут быть проверены заданиями других типов.
2. В заданиях с развернутым ответом, проверяющих учебные достижения (предметные знания и умения), от учащихся не должно требоваться написание длинного текста.
3. Формулировка задания должна быть такой, чтобы испытуемый, после прочтения задания, понял, какую задачу ему предстоит выполнить, и с какой полнотой он должен дать ответ для получения максимального балла. Нужно ли писать программу с пояснениями или ограничиться фрагментом программы или словесным описанием алгоритма, требуется ли приводить графическую схему решения.
В экзаменационной работе 2005 года содержится 5 заданий, требующих развернутого ответа. Они представляют собой задания на проверку умения находить ошибки в готовых программах на том языке программирования, который изучался в образовательном учреждении, дописывать фрагменты программ, самостоятельно составлять программы разной сложности к задачам на обработку массива с различными типами данных, а также подбирать выигрышную стратегию игры и описывать её любым способом. Это задания разного уровня сложности, поэтому их выполнение оценивается от 2 до 4 баллов.
Недостаток заданий с развернутым ответом связан с процедурой их проверки. В этом году, по объективным причинам, для проверки работоспособности программ не используются автоматизированные тестирующие системы, поэтому при проверке таких заданий необходимо участие специалистов - экспертов.
При проведении вступительных экзаменов в вузы члены приёмных комиссий, проверяя работы, отбирают абитуриентов для конкретного вуза. Поэтому они исходят из своих критериев, зачастую несовпадающих с критериями экзаменатора другого вуза. ЕГЭ позволяет унифицировать подход к оцениванию за счет:
• четкого описания единых критериев оценки ответа на конкретное задание для всех экспертов;
• обеспечения стандартизованной процедуры проверки экзаменационных работ.
Для обеспечения надёжности и объективности, выставляемых экспертами баллов за выполнение заданий с развернутым ответом, к этим заданиям предъявляются следующие требования:
1. Задания с развернутыми ответами сопровождаются системой оценивания его выполнения, которая должна включать критерии оценивания и варианты правильных ответов (решения).
2. Система оценивания должна четко соотноситься с формулировкой задания и не допускать рассогласования между правильным ходом решения задачи и критериями её оценивания.
3. Разработанная для данного задания система оценивания должна давать согласованные экспертные оценки, не менее 85-90% соответствия поставленных оценок независимыми экспертами.
4. Время, затраченное на проверку задания с открытым, развернутым ответом, должно быть соизмеримо со значимостью информации, полученной на основе выполнения данного задания.
Однако, как следует из п. 3, добиться абсолютного согласования оценок невозможно. Для случаев расхождения экспертных оценок предусмотрена следующая процедура:
- при расхождении оценок двух экспертов в 1 балл ученику выставляется оценка с учетом рейтинга экспертов;
- при расхождении оценок двух экспертов в 2 балла выставляется среднее арифметическое этих оценок;
- при расхождении оценок двух экспертов более чем в 2 балла назначается третий эксперт с наиболее высоким рейтингом.
В процессе эксперимента 2005 года предполагается решить ряд вопросов, относящихся к содержанию заданий третьей части контрольно-измерительных материалов по информа-тике, к выбору языков программирования, формы представления и оценивания, и только после этого решать вопрос об использовании тестирующей системы для проверки заданий с развернутыми ответами.
Литература
1. Крылов С.С., Лещинер В.Р., Супрун П.Г., Якушкин П.А. Учебно-тренировочные материалы для подготовки к единому государственному экзамену. Информатика/ Под ред. Лещинера В.Р. — М.: Интеллект-Центр, 2005 —136 с.
2 Самылкина Н.Н. Методические рекомендации по оцениванию заданий с развернутыми ответами. Информатика. ЕГЭ 2005. - М.: "Уникум-Центр", 2005.
3 Лещинер В.Р., Самылкина Н.Н. Обсуждаем ЕГЭ по информатике. № 9, стр. 16-22, № 10, стр. 11-18, газета «Информатика», Издательский дом «Первое сентября».
THE EFFICIENCY OF APPLICATION OF THE TOOL PROGRAM COMPLEX FOR CONSTRUCTION OF INTELLECTUAL TESTING SYSTEMS
Sergushicheva A., Schvetcov A., Sergushicheva M. (avt@vstu.edu.ru )
Vologda State Technical University
Abstract
The results of researches in the developing of intellectual testing and training systems are discussed. The experimental data convincingly show expediency and efficiency of intellectualization.
ЭФФЕКТИВНОСТЬ ПРИМЕНЕНИЯ ИНСТРУМЕНТАЛЬНОГО ПРОГРАММНОГО КОМПЛЕКСА ДЛЯ ПОСТРОЕНИЯ ИНТЕЛЛЕКТУАЛЬНЫХ ТЕСТИРУЮЩИХ СИСТЕМ
Сергушичева А.П., Швецов А.Н., Сергушичева М.А. (avt@vstu.edu.ru )
Вологодский государственный технический университет (ВоГТУ)
В современных условиях наряду с традиционным обучением широко используется электронное. Существует большое количество разнообразных компьютерных средств обучения (КСО). Основной способ контроля знаний в КСО – тестирование. Тесты используются не только для измерения учебных достижений, но и для обучения, тренировки, повышения мотивации обучения и т.п. Тестирующие системы (ТС) входят в состав КСО и используются автономно. Модель традиционной ТС может быть представлена структурой тестирующей системы, множеством сценариев тестирования, реализованных в ТС, и множеством данных, необходимых для работы системы и генерируемых системой. Основными недостатками указанной модели являются отсутствие механизма автоматического создания тестовых заданий, «жесткая» база заданий, ограниченное число тестовых вопросов, что влечет за собой сложность индивидуализации обучения и адаптации к испытуемому. Один из путей решения этой задачи авторы данной работы видят в интеллектуализации тестирующих систем [1]. Интеллектуальными называют системы, ядром которых являются базы знаний или модель предметной области, описанные на языке представления знаний, приближенного к естественному. Применяются интеллектуальные системы для решения сложных задач, где основная сложность решения связана с использованием слабо формализованных знаний специалистов-практиков и логическая (или символьная) обработка превалирует над вычислительной. Именно в состав этой группы задач входит задача автоматической генерации тестовых заданий. В ряде работ (в т.ч. [2]) излагаются модели КСО, включающие генерацию ТЗ, но механизмы генерации при этом не рассматриваются.
На кафедре Автоматики и вычислительной техники Вологодского государственного технического университета (ВоГТУ) в течение ряда лет проводятся работы по программной реализации систем тестирования и их апробации на студенческой среде. Основными принципами построения интеллектуальных тестирующих систем ИТС являются:
- автоматическая генерация на основе предложенного авторами метода (наиболее подробно изложен в [3]) произвольных множеств тестовых заданий в соответствии с заданной моделью обучения;
- точная формализация порождаемых множеств вопросов путем описания их соответствующими формальными грамматиками;
- автоматическое предъявление в динамике сгенерированных вопросов в соответствии с моделью тестирования.
Выделение инструментального интеллектуального программного комплекса (ИИПК) в самостоятельный модуль позволило использовать его и автономно и как компонент другой системы (тестирующей или обучающей, в том числе сетевых и Интернет версий). Обязательными элементами структуры ИИПК являются редактор грамматик, формирователь структуры теста, блок генерации вопросов по грамматикам и генератор теста. Редактор грамматик предназначен для создания и редактирования файлов с контекстно-свободными грамматиками (КСГ), добавления и удаления КСГ, пополнения списка дисциплин и т.п. Формирователь структуры теста предназначен для определения типов и количества заданий каждого типа включаемых в конкретный тест. При определении типов заданий указываются также имена файлов, в которых записаны сформированные ранее КСГ. Блок генерации тестовых заданий решает проблему преобразования КСГ в тестовое задание и записи этого задания в выходной файл. Выходная информация может выводиться как в текстовый файл (для бланкового тестирования), так и в ТС (в этом случае тестовые задания генерируются и предъявляются в динамическом режиме).
Для количественной оценки эффективности применения ИИПК, использующей метод генерации тестовых заданий, был проведен ряд экспериментов по хронометрированию процессов тестирования. Для выяснения процентного соотношения между работами 1) по созданию теста и 2) собственно тестированию и оцениванию было составлено 360 заданий (18 вариантов по 20 вопросов) по дисциплине «Информационные технологии» представляющих собой вопросы с выбором ответа «одного из многих» или «с открытой формой ответа» и простые вычислительные задачи. Тесты выполнялись группой студентов среднетехнического факультета. Форма тестирования – бланковое Время тестирования в два раза превышает выполнение варианта теста экспертом. Качество теста удовлетворительное. Полученные результаты показывают, что затраты на подготовку тестовых заданий и формирование вариантов теста превышает 90 от общей трудоемкости (уже при составлении всего двух параллельных форм). Эксперименты по созданию заданий с помощью ИИПК (по дисциплинам «Интеллектуальные системы управления», «Метрология» и некоторым другим) подтвердили гарантированное снижение трудоемкости подготовительного этапа на 10% уже при составлении 5 параллельных вариантов тестов.
Таким образом, проведенные исследования убедительно доказывают целесообразность и эффективность интеллектуализации тестирующих и обучающих систем.
Литература
1. А.П.Сергушичева, А.Н.Швецов Модель Интеллектуальной тестирующей системы, использующей автоматическую генерацию тестовых заданий // Материалы ХI международной конференции Современные технологии обучения «СТО-2005» 20 апреля 2005 г. СПб.,2005. – Т.1, С.91–92
2. Башмаков А.И., Башмаков И.А.Разработка компьютерных учебников и обучающих систем.–М.: Информационно-издательский дом "Филин", 2003. –616 с.
3. Сергушичева А.П., Швецов А.Н Синтез интеллектуальных тестов средствами формальной продукционой системы / Математика, Компьютер, Образование: Сборник научных трудов. Выпуск 10. Часть1/ Под ред. Г.Ю.Ризниченко. – Москва-Ижевск, R&C Dynamics, 2003. – С.310-320
Personal zierunq education in the open educational school. The use of the packet of the mathematies proqramme Mathcad. The criteria of quality of mathematical education
Filichewa N.P.
The open educational school № 3 (for difficult teenaqers) (O. ed. sch. № 3) town Ryazan
Abstract
Personal zierunq education in the open educational school. The use of the packet of the mathematies proqramme Mathcad. The criteria of quality of mathematical education.
Персонализированное образование в открытой школе. Использование пакета математической программы Mathcad. Критерии качества математического образования
Филичева Н.П.
Открытая (сменная) общеобразовательная школа № 3 (О (с) ош №3) город Рязань
Современное образование представляет собой единство обучения и воспитания, которые реализуют основные принципы смены его парадигмы с информационной на развивающую самостоятельную познавательную активность ученика. В последние годы достигнуты новые успехи в разработке теории личности. Новый теоретический подход к пониманию личности – теория персонализации – разработан А.В. Петровским и В.А. Петровским. Персонализация – процесс, в результате которого субъект получает идеальную представленность в жизнедеятельности других людей и может выступать в общественной жизни как личность. Используя современную психологическую концепцию персонализации, теорию развития личности А.Г. Солонина построила дидактическую теорию персонализированного обучения в высшей школе. Персонализированным обучением названо такое обучение, в котором созданы условия для реализации потребности каждого участника педагогического процесса быть личностью, для персонализации обучаемых и обучающих как в общности обучаемых, так и в общности обучающих, взаимно обогащающей эти общности и людей, их образующих. Разработать теорию персонализированного обучения в открытой школе только предстоит. В открытой (сменной) общеобразовательной школе обучаются дети с трудностями в обучении и воспитании, проявляющие крайнюю невосприимчивость к традиционным педагогическим воздействиям. Причины проблем «трудных» детей разнообразны: нервно-психические отклонения, неблагоприятное сочетание факторов и условий личностного развития, педагогическая запущенность. Данная общность учащихся нуждается во взаимообогащающем развитии их личности, более детальном руководстве их деятельностью. У них существует и интерес, и стремление к освоению различных видов деятельности. Основная цель персонализированного обучения в школе – обогащающаяся, обогащаемая и обогащающая личность ученика. Существует возможность такой организации самостоятельной деятельности учащихся, которая будет способствовать взаимообогащающей персонализации. Персонализированная учебно-исследовательская деятельность учащихся выступает условием для реализации персонализированного образования. Учащиеся делают выбор ориентаций по формированию содержания индивидуального и совместного исследования. Например, такие: использование различных источников информации; критический анализ изложения темы в различных источниках информации; содержание методической составляющей исследования; содержание математической составляющей исследования (собственный вариант теории, связь с современной математикой); гуманитарное значение (развитие вопроса в прошлом) и др. Приведем пример персонализированного учебного исследования по теме «Логарифмы». Учащиеся выбрали несколько источников информации (авторы учебников – А.Г.Мордкович, Г.Д. Глейзер). В разных учебниках существуют неравносильные определения логарифма. В учебнике (Глейзер Г.Д.,1989) недостаточно информации о логарифмах. В процессе исследования ученики решают проблему использования компьютера; ставят для себя цели исследования: «Создание варианта определения логарифма отрицательного числа», «Построение графиков и решение логарифмических уравнений в системе Mathcad», «Построение графиков функций на логарифмической и полулогарифмической бумаге». Фирма MathSoft постоянно совершенствует свой продукт – систему MathCAD. Она интегрирует различные редакторы: формульный, текстовый, графический. В процессе изучения алгебры могут быть использованы различные встроенные в MathCAD операторы: сложение, вычитание, умножение чисел, векторов, извлечение корня из чисел и др. Значительно облегчают изучение алгебры встроенные в MathCAD функции. MathCAD содержит пакет математических программ, который позволяет эффективно находить решения различных классов алгебраических задач. Ученик, достигая высокого локального уровня изучения и исследования отдельного вопроса, может вызвать неподдельный интерес у учителей, что является условием восходящей персонализации. Таким образом, создаются условия для реализации редко встречающейся в традиционной системе обучения математике персонализации учащихся в общности учителей. Индивидуальные и совместные исследования учащихся могут быть критериально ориентированы учителем. Рассмотрим вариант такой ориентации, состоящей из следующих критериев-ориентаций: использование школьных учебников; применение справочников, энциклопедий, словарей; исследовательских работ учащихся; наличие целей совместных и индивидуальных исследований и их достижение; указание используемых методов и следование им; логичность изложения; наличие различных вариантов изложения; использование компьютера; критический анализ математической составляющей исследуемого вопроса; развитие вопроса в прошлом; нахождение междисциплинарных связей; предложения по совершенствованию школьного математического образования; создание собственного варианта математической теории. Выделено три существенных фактора как три обобщенных критерия оценивания результатов учебно-познавательной деятельности учащихся в процессе персонализированного обучения математике: репродуктивно-адаптивный, критически-лабильный, креативно-интегративный.
ОБ ОДНОЙ МОДЕЛИ ОЦЕНКИ УРОВНЯ ЗНАНИЙ И ЕЕ ПРИЛОЖЕНИЯХ
Цискаридзе К.Ш. (gemaco@geo.net.ge)
НИИ Прикладной математики Тбилисского государственного университета, Центр учебно-развивающих технологий «Шрошани», Тбилиси, Грузия
Развитие информационных технологий обостряет проблему формализации используемых в образовательном процессе понятий. Представляется крайне заманчивым придать точный количественный смысл расплывчатым выражениям типа «эта группа сильнее той», «этот экзаменатор строже других», «этот метод обучения более эффективен, чем применявшийся ранее» и т.п. Помимо чисто академического интереса, адекватное оценивание уровня знаний обучаемых позволит усовершенствовать рабочий инструментарий для полноценного контроля качества усвоения материала и тем самым, в числе прочего, повысить эффективность разрабатываемых технологий обучения.
В настоящей работе рассматривается простейшая модель оценки уровня знаний, приводящая, тем не менее, к неочевидным результатам. Первое (и наиболее уязвимое) допущение заключается в том, что мы предполагаем, что понятие «уровень знаний испытуемого» действительно отражает некую объективную реальность, а сам «уровень» представляет собой скалярную величину и, после выбора точки отсчета и единицы измерения, может быть выражен действительным числом (наподобие веса или роста). Далее, предполагается, что экзамен дает некоторое представление об этой величине. При моделировании соответствующего механизма мы ограничимся рассмотрением стандартного для нас экзамена по пятибалльной (точнее, четырехбалльной) системе: «отлично» (5), «хорошо» (4), «удовлетворительно» (3) и «неудовлетворительно» (2). Неотъемлемой частью экзамена является экзаменатор — человек или группа людей (возможно, устройств), которые выставляют оценку. При этом предполагается, что экзаменатор наделен (сверхъестественной?) способностью определять уровень знаний испытуемого и при выставлении оценок руководствуется (возможно, даже подсознательно) некими тремя пороговыми величинами a < b < c. Если уровень ниже а, он ставит 2, если выше или равен c — ставит 5, в остальных случаях ставит 3 или 4 в зависимости от того, соответственно, меньше или не меньше порога b уровень экзаменуемого.
Изложенная схема представляет собой некоторую гипотезу, которая нуждается в опытной проверке. С этой целью были использованы материалы приемных экзаменов в ТГУ. Приемная комиссия по каждому предмету экзаменует в течение нескольких дней большой контингент абитуриентов, что обеспечивает достаточно надежную статистическую базу. С другой стороны, на разные специальности поступают молодые люди с различной подготовкой по одному и тому же предмету, что создает необходимое разнообразие. Как же можно убедиться в жизнепособности предложенной модели?
Предположим сначала, что экзаменатор экзаменовал группу, в которой уровень знаний есть случайная величина, распределенная по некоторому известному нам закону. Тогда по результатам экзамена можно оценить пороговые величины a, b и c. Если теперь рассмотреть другую группу (возможно, с другим законом распределения, но с тем же экзаменатором), то оценка величин a, b и c по результатам экзамена в этой группе не должна сильно отличаться от предыдущей.
В нашем случае закон распределения неизвестен, однако по аналогии с другими скалярными характеристиками индивидуума, такими, как, например, вес или рост, можно предположить, что уровень знаний абитуриентов также распределен по нормальному закону. Подобрав соответствующим образом начальную точку отсчета и масштаб, мы можем получить стандартное распределение с нулевым средним и единичной дисперсией. Рассчитанные для этого распределения значения пороговых величин a, b и c мы будем называть относительными. Заметим, что для их вычисления требуется только знать количество поставленных на экзамене оценок каждого типа. Исходное нормальное распределение получается из стандартного изменением начальной точки и масштаба, т.е. некоторым афинным преобразованием координат. Очевидно, соответствующие реальные значения пороговых величин ar, br и cr получаются из относительных с помощью того же афинного преобразования.
Для другой группы относительные пороговые величины могут быть другими, однако если привести их к реальной системе отсчета, они должны совпасть со значениями ar, br и cr для первой группы. В действительности никакой выделенной (привилегированной) системы отсчета в нашей задаче не существует. Тем не менее, остается в силе вывод о том, что относительные пороговые значения для любых двух групп испытуемых должны быть связаны некоторым (для каждой пары своим) афинным преобразованием. Такое совпадение служило бы весомым аргументом в пользу того, что предлагаемая модель правильно улавливает специфику явления. В нашем случае, очевидно, требуемые афинные преобразования существуют тогда и только тогда, когда отношение (c-b)/(b-a) не меняется от группы к группе. Это обстоятельство существенно облегчает опытную проверку модели. При обработке материалов приемных экзаменов был получен неожиданный результат: указанное отношение оказалось не только постоянным, но и близким к единице, даже для таких непохожих предметов, как математика и родной язык. Объяснение этому феномену дать можно, но это выходит за пределы настоящего доклада.