Секция 4 Методики контроля знаний обучаемых

Вид материала

Содержание

Creating logical-semantic model of discipline contents of the compiling tests
Построение логико-семантической модели структуры содержания дисциплины при формировании теста
Временные затраты на изучение.
Kochnev A.M., Averko-Antonovich I.J.
Рейтинговая система оценки знаний студентов
Лист «График».
Цыпленкова Е.В. (root@edudep.yar.ru), Швецова С.В.

Подобный материал:

1 2 3 4 5 6 7 8 9 ... 14

5. Требуется разработка иерархии компетенций, которая может включать ключевые (универсальные по своему характеру и степени применимости), общие для циклов предметов и предметные компетенции (по информатике и ИКТ). При этом требует обсуждения (исследования) соотношение «академических» знаний и компетентностей.

Уважаемые коллеги, в наших интересах обсудить и грамотно решить обозначенные проблемы, высказывайте свои соображения на конференциях, семинарах и круглых столах, страницах профессиональных изданий. Конкурс на разработку заданий для единого государственного экзамена по информатике объявлен на сайте www.ege.edu. ru, ждем ваши предложения.

CREATING LOGICAL-SEMANTIC MODEL OF DISCIPLINE CONTENTS OF THE COMPILING TESTS

Sysoeva L. (Leda@rsuh.ru)

Russian State University for the Humanities (RSUH), Moscow

Abstract

In the department of the education distance technology of RSUH is putting in the practice the object-criterion method of the compiling tests. These methods have foreseen calculation such parameters like the level of importance, volume of the learning materials in the units of course and time of learning.

ПОСТРОЕНИЕ ЛОГИКО-СЕМАНТИЧЕСКОЙ МОДЕЛИ СТРУКТУРЫ СОДЕРЖАНИЯ ДИСЦИПЛИНЫ ПРИ ФОРМИРОВАНИИ ТЕСТА

Сысоева Л.А. (Leda@rsuh.ru)

Российский государственный гуманитарный университет (РГГУ)

При формировании теста одна из основных задач – это оптимальное отображение содержания учебной дисциплины в системе тестовых заданий.

Р

ис. 1. Основные этапы при формировании содержания теста

Оптимальность отображения может быть определена с помощью специальных методик отбора содержания учебной дисциплины в содержание теста.

Такие методики должны учитывать параметры: целеполагания; планирования; оценки качества содержания теста (рис. 1).

От целеполагания зависит качество содержания теста.

На данном этапе решается несколько задач.

1. Что будет измеряться разрабатываемым тестом (необходима четкая формулировка системы знаний, умений и навыков, которые должны быть приобретены учащимися в ходе образовательного процесса).

2. Какие разделы дисциплины связаны и отражают измеряемые параметры (определение соотношения между содержанием дисциплины и измеряемыми знаниями, умениями и навыками).

Структура содержания дисциплины.

Каждая дисциплина имеет свою структуру. С точки зрения логико-семантического подхода содержание дисциплины может быть разбито на темы, при этом следует учитывать:

- последовательность изучения тем;

- семантическую зависимость (вложенность) тем;

- важность тем;

- временные затраты на изучение;

- объем изучаемого материала – объем темы.

П

оследовательность изучения тем

Модель 1. Последовательная.

Специфика. Строго последовательное изучение тем в заданном порядке, т.е. для успешного освоения последующей темы необходимы знания предыдущей темы.

Модель 2. Последовательно-п

араллельная.

Специфика. Для ряда тем (Т2, Т3) не важен порядок изучения, т.е. можно строить учебный процесс в последовательности изучения Т2, Т3 либо в последовательности Т3, Т2.

Порядок изучения тем может влиять на порядок заданий в тесте и при организации текущего и адаптивного тестирования, когда требуется определять допустимый уровень знаний для перехода к следующей теме.

Семантическая зависимость (вложенность) тем.

Семантическая зависимость тем необходима для определения важности каждой темы.

Пусть n – количество изучаемых тем.

k1, k2, … kn-1 - коэффициенты зависимости текущей темы Ti от предыдущих тем. Значения ki принимает от 0 до 1.

Коэффициент семантической зависимости темы определяется по формуле:

, где

Важность тем.

В каждой дисциплине есть ключевые моменты, особенно важные темы, без знания которых невозможно усвоение другого материала в процессе учебы или которые будут необходимы в работе по специальности. При автоматизированном тестировании можно учесть важность каких-либо разделов курса, увеличив долю вопросов по этим разделам в общем количестве вопросов. Но это не всегда выполнимо, т.к. количество вопросов в тесте, как правило, ограничено. Кроме того, важность и значимость раздела курса не всегда пропорциональна объему изучаемого материала, другими словами - тема небольшая и количество вопросов по ней может быть составлено немного, но знания этого раздела будут значительно влиять на успешность дальнейшего освоения материала.

Степень важности каждой темы Si учитывается при выведении итоговой оценки или определении количества баллов за задание.

При определении степени важности учитываются параметры:

- априорная степень важности Sai, которая определяется преподавателем

- коэффициент семантической зависимости темы Zi.

Коэффициент важности темы определяется по формуле:

Для распределения степени важности должна быть разработана шкала важности, например, 1 – базовый уровень, 2 – средний, 3 – высокий, 4 – сверхвысокий.

Коэффициент важности	Степень важности, Si
	базовая	средняя	высокая	сверхвысокая
	1	2	3	4
начальное значение	0
конечное значение

Временные затраты на изучение. Временные затраты включают строго фиксированное время (лекции, лабораторные, практические и др.), которое запланировано на изучение данной темы в соответствии с планом, программой или стандартом и измеряются в учебных часах.

Объем изучаемого материала (объем темы)

Для расчета объема темы Vi необходимо учитывать следующие параметры:

- фиксированное время (Тfi);

-

вариативное время (Тvi), т.е. время, которое предположительно каждый учащийся затратит при самостоятельной подготовке по теме (знакомство с источниками и литературой, выполнение самостоятельных заданий, просмотр мультимедийных материалов и т.д.).

Vi=Tfi+Tvi

Общий объем изучаемого материала по дисциплине составит:

Затем определяются доля каждой темы от общего объема учебного материала. Это и будет показателями объема изучаемого материала по каждой теме.

Выводы. Логико-семантическая модель описания дисциплины включает все вышеперечисленные параметры и может быть представлена в табличной и графовой форме.

Табличная форма представления содержания дисциплины

Параметры	Темы
Параметры	Т1	Т2	. . .	Tn
Семантическая зависимость (Zi)	Z1	Z2	. . .	Zn
Априорная степень важности (Sai)	Sa1	Sa2	. . .	San
Важность (Si)	S1	S2	. . .	Sn
Время (фиксированное) (Tfi)	Tf1	Tf2	. . .	Tfn
Время (вариативное) (Tvi)	Tv1	Tv2	. . .	Tvn
Объем (Vi)	V1	V2	. . .	Vn

рафовая форма представления содержания дисциплины

Итак, рассмотрен один из этапов целеполагания – описание структуры содержания дисциплины. Для обоснованного отображения содержания дисциплины в системе тестовых заданий необходима разработка методик описания структуры содержания дисциплины.

Литература

Кларин М.В. Инновационные модели обучения в зарубежных педагогических поисках. М., 1994.
Челышкова М.Б. Разработка педагогических тестов на основе современных математических моделей. М.: МИСИС, 1995.
Челышкова М.Б., Хлебников В.А. Основные подходы к оценке качества подготовки обучаемых// Проблемы качества, его нормирования и стандартов в образовании: Сб. науч. ст. М.: ИЦ, 1999.

rating system of a student’s knowledges

Kharitonova N.E. (Natali@kstu.ru), Kharitonov E.A. (umc-e@kstu.ru),

Kochnev A.M., Averko-Antonovich I.J.

Kazan State Technological University, Kazan

Abstract

A new discipline rating system of a student’s knowledges is proposed.

The discipline rating of a student's knowledges is evaluated as an average geometrical integral estimate from a number of the fulfilled operations.

A computer program in the environment "Excel" is designed for implementation of this system.

РЕЙТИНГОВАЯ СИСТЕМА ОЦЕНКИ ЗНАНИЙ СТУДЕНТОВ

Харитонова Н.Е. (Natali@kstu.ru), Харитонов E.A. (umc-e@kstu.ru)
Кочнев A.M., Аверко-Антонович И.Ю.

Казанский государственный технологический университет

В Казанском государственном технологическом университете введена и широко используется рейтинговая система оценки знаний студентов (РСОЗ), которая является обобщающим показателем академической успеваемости студентов в течение семестра и итогов экзаменационной сессии.

В работе предложена компьютерная программа РСОЗ в среде Excel, предназначенная для повышения объективности и достоверности оценки текущей работы и теоретической подготовки студентов.

Предлагаемый нами метод оценки знаний студентов основан на объективном количественном подходе и включает следующие допущения:

все виды учебной деятельности (контрольные работы, лабораторно-практические занятия, индивидуальные домашние задания, рефераты, зачет, экзамен и т.д.) считаются равнозначными;.
каждый вид учебной деятельности заканчивается контрольной точкой;
общее число контрольных точек должно быть одинаковым для всех студентов, изучающих дисциплину;
итоговый рейтинг (рейтинг по дисциплине) является интегральной оценкой, вычисляемой по результатам всех видов учебной деятельности.

Особенности предлагаемой РЗОС:

не требуется предварительная подготовка дисциплины для ведения РСОЗ, как это рекомендуется в литературе;
итоговый рейтинг по дисциплине и текущий рейтинг изменяются в одних и тех же пределах балльной шкалы (6-100);
качественные оценки шкалы одинаковы для итогового и текущего рейтинга;
знания студентов можно оценивать как в пятибалльной системе (при этом можно использовать дробные оценки, например, 4,7), так и в 100-балльной рейтинговой системе или совместно использовать две указанные системы;
допускается многократная оценка каждой контрольной точки (мультипликация), например, если оценивается контрольная работа по математике, то можно оценить каждую задачу отдельно. Мультипликация увеличивает надежность, как итоговой рейтинговой оценки за контрольную точку, так и надежность рейтинговой оценки по дисциплине.

Пятибалльная оценка автоматически пересчитывается в 100-балльный рейтинг (и, наоборот) в соответствии со стандартной шкалой:

100 - 81 – отлично (5);

80 - 63 – хорошо (4);

62 - 38 – удовлетворительно (3);

37 - 6 – неудовлетворительно (2);

Такая шкала широко используется в научных и технических исследованиях, многократно апробирована и ее рациональность и оптимальность научно доказаны.

Рейтинг знаний студента по дисциплине (Rдис) вычисляется как среднегеометрическая интегральная оценка по формуле:

, (1)

где n – текущее число контрольных точек, по которым студент должен отчитаться;

m - число контрольных точек, по которым студент отчитался (m Ј n);

ri – рейтинг за i –тую контрольную точку;

Коэффициент перед корнем изменяется от 0 (студент не сдал ни одной работы) до 1 (студент сдал все запланированные виды работ).

Особенность среднегеометрической оценки в том, что она серьезно “наказывает” тех студентов, у которых оценки “пляшут”, т.е. среднегеометрическая оценка существенно меньше среднеарифметической, если оценки имеют сильный разброс по величине. Если оценки ровные, среднегеометрическая оценка не отличается или чуть ниже среднеарифметической.

Рейтинг (даже отличный) не освобождает студента от экзамена или зачета, если он предусмотрен учебным планом. Зачет и экзамен рассматриваются как вид учебной деятельности и являются определяющими контрольными точками по дисциплине.

Таким образом, стимулируется важнейший компонент каждой изучаемой дисциплины - зачет и экзамен. Не освобождение от сдачи экзамена или зачета (как это часто рекомендуется в различных работах по рейтингу), а наоборот, только сдача экзамена или зачета могут существенно увеличить рейтинг студента. В тоже время, в случае “провала” на экзамене или зачете получение низкого итогового рейтинга по дисциплине становится маловероятным при наличии хороших текущих результатов.

Студент, набравший за период изучения дисциплины (семестр) меньше 37 баллов (“неудовлетворительно”), может быть отчислен за неуспеваемость.

Рейтинговая система реализована в виде компьютерной программы в среде Microsoft Excel. Программа состоит из нескольких взаимосвязанных листов:

Обложка;
Ведомость;
График;
Зачет.

Лист «Обложка». В этот лист заносится вспомогательная информация: наименование дисциплины, номер студенческой группы и т.д.

Лист «Ведомость» - это основной рабочий лист преподавателя.

Лист «Ведомость» позволяет работать с группой из 40 студентов. Максимальное число контрольных точек - 45.

Лист «График». В виде столбиковой диаграммы изображен рейтинг каждого студента.

Лист «Зачет». В этом листе концентрируются все сведения о проделанной студентами работе к концу семестра

Простота подготовки системы к работе, удобство использования как обычной пятибалльной, так и рейтинговой оценки, возможность осуществления на компьютерах любого класса, наглядность и другие достоинства позволяют рекомендовать ее для оценки знаний обучаемых не только в вузах, но и в средних учебных заведениях.

Мониторинг учебного процесса с использованием различных форм оценивания в структуре автоматизированной системы информационного обеспечения управления образовательным процессом (АСИОУ)

Цыпленкова Е.В. (root@edudep.yar.ru), Швецова С.В.

Городской центр развития образования, г.Ярославль

В последние годы, наряду с существующей традиционной системой текущего внутришкольного контроля результатов обучения, когда уровень знаний оценивается в общепринятой пятибалльной системе, в школах начинает складываться новая эффективная система, основанная на использовании тестовых технологий оценки. Объективность тестового контроля обуславливает первоочередность включения результатов измерения уровня обученности учащихся с использованием тестовых технологий в каналы обратной связи в системе управления образовательным процессом в школе.

Наряду с тестовой и традиционной «пятибалльной» формами оценивания, в школах также успешно практикуется «промежуточная» форма оценивания уровня усвоения учащимися учебного материала, которую можно условно назвать «параметризированной». Устный ответ, сочинение, диктант, контрольная работа могут быть оценены по ряду фиксированных параметров, определенных учителем-предметником или методистом.

Соотношение различных форм оценивания учебных достижений учащихся можно проиллюстрировать следующей таблицей:

ОЦЕНКА	Аналитическая (параметризированная)	Синтетическая (непараметризированная)
Объективная	Результаты тестирования	Показатели справляемости с тестом
Субъективная	Параметризированная оценка	Традиционная 5-балльная оценка

Объективные и субъективные, параметризированные и не параметризированные оценки могут служить информационной базой проведения мониторинга учебного процесса с целью управления образовательным процессом со стороны школьной администрации.

В результате многолетнего сотрудничества разработчиков программных систем отдела информатизации Городского центра развития образования города Ярославля с администрациями различных школ было создано программное обеспечение, предназначенное для проведения мониторинга учебного процесса с использованием различных форм оценивания (см. схему на рис.1).

Разработанное программное обеспечение мониторинга учебного процесса входит в качестве прикладных подсистем в интегрированную автоматизированную систему информационного обеспечения управления образовательным процессом в учреждениях различного типа, разработанную по заказу Управления образования мэрии города Ярославля.

Рис. 1. Различные формы оценивания в структуре мониторинга учебного процесса

Рис.2. Структура автоматизированной системы информационного обеспечения управления образовательным процессом

Подсистема «Тестовый мониторинг» предназначена для информационно-аналитического обеспечения технологий, основанных на применении тестовых методик, в которых предполагается получение суммарного балла и допускается использование как закрытых заданий с единственным верным ответом, так и открытых заданий. Таких технологий в подсистеме предусмотрено три: внутришкольный тестовый мониторинг (ВШТМ), анализ результатов ЕГЭ (ЕГЭ), уровневая дифференциация (УД) и другие суммативные тесты.

В подсистеме «Авторский мониторинг» обеспечена возможность обработки данных оценивания контрольных работ по набору параметров, определяемых тем, кто этот анализ проводит (именно этот факт и определил присутствие слова «авторский» в названии подсистемы). В ней также предусмотрена обработка методик оценивания техники чтения и устного счета.

По нашему глубокому убеждению, тестовая и параметризированные оценки не могут заменить школьную отметку, так как они являются оценкой обученности учащихся, а школьная отметка – оценкой успеваемости учащегося. Обученность касается только уровня усвоения учащимся материала, а успеваемость отражает и обеспечивает и другие аспекты процесса обучения и воспитания учащегося. Следовательно, у этих оценок разные функции, которые не заменяют, но дополняют друг друга. Поэтому оценка успеваемости учащихся является важнейшей составляющей информационного обеспечения мониторинга учебного процесса. Для проведения мониторинга успеваемости в АСИОУ включена подсистема «Итоговая успеваемость».

Для того, чтобы прикладные подсистемы, обеспечивающие мониторинг учебного процесса, могли функционировать, базы данных основных подсис-тем АСИОУ («Классы», «Контингент», «Кадры» и «Учебный процесс») должны обновляться и поддерживаться в актуальном состоянии.

Использование компьютерных технологий позволяет автоматизировать почти все этапы мониторинга учебного процесса: от подготовки бланков до представления полученных данных в виде таблиц, диаграмм и графиков. Способы обработки исходных данных и форма представления результатов зависит от задач анализа состояния учебного процесса, который может про-водиться по различным основаниям и уровням обобщения: по предметам, по классам, по параллелям, по педагогам, по отдельным учащимся, а также по произвольным выборкам учащихся.

Литература

Аванесов В.С. Композиция тестовых заданий. Книга для преподава-те-лей ВУЗов, техникумов, училищ, учителей школ, гимназий, лицеев, для студентов и аспирантов педагогических ВУЗов. М.: АДЕПТ, 1998.
Бадоев Т.Л., Майорова Н.Л.Педагогическое тестирование – эффек-тивная форма контроля знаний // Ярославский психологический вестник. Вып.5, Москва – Ярославль, 2001.
Беспалько В. Мониторинг качества обучения - средство управления образованием. /Мир образования N2, 1996.
Майорова Н.Л. Некоторые результаты практической реализации ре-формы педагогического измерения знаний. Труды Всероссийского научного семинара преподавателей математики педагогических вузов. М.: МГПУ. «Интеллект – центр», 2000.
Майорова Н.Л.К вопросу о математическом моделировании в педа-гогических исследованиях // Тезисы научной конференции « Актуальные проблемы естественных и гуманитарных наук на пороге XXI века». Яро-славль. ЯрГУ, 2000.
Медвецкая Е.Ф., Дороднова Н.С., Кукова Г.Г., Морозова Т.С. Тех-нология внутришкольного тестового контроля учебного процесса. Педагоги-ческий вестник. ЯГПУ им.К.Д.Ушинского, №№ 1-2, Ярославль, 2002.
Швецова С.В. Об автоматизации муниципальных систем управления образованием. Педагогический вестник. ЯГПУ им.К.Д.Ушинского, №№ 1-2, Ярославль, 2002.

Blog

Секция 4 Методики контроля знаний обучаемых

Содержание