“Методология и концепция компьютерного тестирования”. Методическое обеспечение – аст-центр тестирования профессионального образования. Обучение прошли 17 человек, представлявшие 11 кафедр всех 4-х факультетов филиала. В итоге было подготовлено

Вид материала

Подобный материал:

Опыт тестирования в Санкт-Петербургском филиале Государственного университета - Высшей школы экономики: результаты, проблемы и перспективы

Васильева Ю.С., Гордин В.Э.

С 2006 года в филиале ведется систематическая работа по внедрению метода тестирования с целью контроля остаточных знаний студентов. Поскольку тестирование до сих пор относят к инновационным методам, и у многих преподавателей научных знаний о методологии и технологии тестирования было недостаточно, мы начали работу с подготовки преподавателей. В 2007 году учебно-методический отдел организовал обучение преподавателей кафедр по теме “Методология и концепция компьютерного тестирования”. Методическое обеспечение – АСТ-центр тестирования профессионального образования. Обучение прошли 17 человек, представлявшие 11 кафедр всех 4-х факультетов филиала. В итоге было подготовлено:

- 3 эксперта тестовых материалов. Эксперты оценивают качество тестовых материалов на предмет соответствия требованиям тестологии;

- 2 технолога тестовых испытаний, которые обеспечивают квалифицированную техническую поддержку процедуры тестирования ;

- 12 тестологов-разработчиков тестов, то есть преподавателей, которые и стали пионерами в области разработки и внедрения тестовых материалов в образовательный процесс.

Следующим этапом стало распространение опыта, пропаганда метода, обеспечение кафедр соответствующими методическими материалами. Этот этап условно можно назвать внутрифирменным обучением, которое проходило в виде семинаров на кафедрах, индивидуальных консультаций, организованных обученными экспертами тестовых материалов и тестологами-разработчиками.

Одновременно с обучением преподавателей шла разработка методического обеспечения тестирования и были разработаны “Методические рекомендации по составлению тестов и внедрению тестирования в образовательный процесс”. В методических рекомендациях изложены базовые требования к тестам, их структуре и содержанию, к формам тестовых заданий, к технологии создания и внедрения теста в образовательный процесс, приведены формы анализа и оценки результатов тестирования. Хотя документ носит рекомендательный характер, он фактически стал внутренним стандартом филиала. Это позволило унифицировать тестовые материалы и технологию тестирования.

В результате к концу 2007 года преподавателями филиала были созданы тестовые материалы по 22 дисциплинам 10 специальностей и направлений. Безусловно, первый опыт создания тестов и внедрения тестирования нельзя назвать полностью удачным. Были серьезные замечания к разработчикам, касающихся соответствия теста учебной программе дисциплины, физических характеристик теста, форм тестовых заданий. Но на том этапе была выполнена основная задача – преодолено негативное отношение к тестированию как методу контроля знаний и был запущен творческий процесс разработки тестовых материалов.

Поскольку метод тестирования пропагандировался нами как способ объективизации контроля, а с этой целью необходимо соотнесение не только внутренних оценок, но и внешних, в тоже самое время филиал стал принимать участие в Федеральном интернет-экзамене.

В 2007-08 учебном году филиал проходил процедуру комплексной оценки. Составной частью самообследования является контроль остаточных знаний. С целью контроля нами были использованы материалы разработанные преподавателями филиала, также были закуплены банки сертифицированных тестовых заданий в АСТ-центре. Кроме того, опыт участия в ФЭПО позволил нам использовать результаты и этого экзамена для анализа уровня остаточных знаний студентов. Уже через год после начала внедрения тестирования в учебный процесс был проведен контроль остаточных знаний по 45 дисциплинам 16 направлений и специальностей, причем разными инструментами.

В 2009 году филиалом было организовано обучение “второго потока” преподавателей – разработчиков тестовых материалов. Всего прошли обучение 28 слушателей по программе “Подготовка и использование тестирования в учебном процессе”. Итоговым контролем для слушателей была защита индивидуального или группового проекта “Тестовые материалы по преподаваемой дисциплине”. В результате работы над проектами созданы тестовые материалы по 25 учебным дисциплинам, из них для контроля остаточных знаний – 9.

В текущем учебном году отдел методического сопровождения учебного процесса Высшей школы экономики взял на себя функцию планирования тестирования и организационную поддержку по проведению тестирования тестовыми материалами АСТ-центра. Четкое планирование, определение этапов, сроков, отчетность по унифицированным формам, с нашей точки зрения, позволяют оптимизировать процесс тестирования, более логично распределить этапы тестирования в течение учебного года. Особенно важным является то, что появилась возможность своевременного получения информации о результатах тестирования других подразделений Высшей школы экономики. Это позволяет сравнивать свои результаты с результатами факультетов университета и его филиалов и определять некие эталонные показатели, полученные другими, с тем, чтобы проанализировать свой собственный результат и найти пути достижения того высокого результата, который условно воспринимается как внутренний университетский эталон. Кроме того, наш филиал отдал свои банки сертифицированных материалов АСТ-центра в общий банк университета, таким образом, для всех заинтересованных сторон значительно расширились возможности выбора дисциплин для тестирования.

Важным в процедуре контроля является не только получение более или менее объективных результатов, но и детальный их анализ с целью принятия соответствующих управленческих решений, которые будут способствовать повышению качества образования. По результатам контроля остаточных знаний в филиале:

- корректируются учебные программы дисциплин с целью поиска резервов времени на изучение тех разделов и тем, которые не освоены студентами или освоены на низком уровне;

- анализируется качественный состав преподавателей, читающих дисциплины по которым студенты показали недостаточный уровень знаний, с каждым из них ведется индивидуальная работа;

- подбираются образовательные технологии и средства обучения, а также пересматривается методическое обеспечение дисциплины с целью повышения качества подготовки.

Таким образом,

В филиале сложилась система контроля остаточных знаний, в основе которой лежит принцип сочетания внутреннего и внешнего контроля.
В тестировании участвуют студенты всех направлений и специальностей.
Накоплен достаточный материал, позволяющий анализировать уровень подготовки в динамике по направлениям, циклам дисциплин, отдельным дисциплинам, дисциплинам, закрепленным за кафедрой, группам обучающихся у одного преподавателя и т.п.
Многолетний опыт участия в процедурах внешнего тестирования позволяет в настоящий момент не испытывать никаких организационных затруднений. К этим процедурам привыкли студенты, преподаватели, организаторы учебного процесса. Процесс тестирования планируем и управляем, организовано его методическое и техническое сопровождение.
Создан коллектив разработчиков тестовых материалов, в который входят представители практически всех кафедр филиала.

Вот кратко о том положительном опыте, который филиал наработал.

Теперь несколько слов о проблемах, с которыми сталкивается филиал, возможно, наши выводы будут полезны коллегам.

В Санкт-Петербургском филиале право выбора дисциплин для контроля остаточных знаний студентов и ответственность за него лежит на факультетах и кафедрах. То есть заявки на участие в тестировании подают именно они. Именно они отвечают за подготовку по направлению и по конкретной дисциплине, значит, в первую очередь заинтересованы в объективных результатах о качестве подготовки. Но организаторы образовательного процесса столкнулись с тем, что из цикла, скажем, ЕН по инициативе факультета выбрана одна дисциплина для контроля. Возможно ли в этом случае делать вывод об освоении цикла в целом? Очевидно, нет. Значит, на этапе планировании тестирования необходимо расширить перечень дисциплин, чтобы тестирование проходило не менее чем по трем дисциплинам цикла.

Второе. При определении дисциплин для контроля остаточных знаний стоит организовать внешнее и внутреннее тестирование по одной и той же дисциплине, чтобы получить максимально объективные результаты. Здесь есть определенные трудности. Методы анализа результатов тестирования материалами ФЭПО отличаются от методов, используемых АСТ и внутренним тестированием. ФЭПО анализирует степень освоения дидактических единиц, то есть результат определяется долей студентов, освоивших все ДЕ. При анализе собственных тестов нас интересует, как распределяются ответы в диапазоне шкалы оценки, то есть, сколько отличных, хороших и т.д. результатов. Иными словами, идея ФЭПО – оценить деятельность вуза по подготовке студента, идея АСТ и внутренних тестов – оценить достижения каждого конкретного студента. Соотносить результаты, полученные разными инструментами нужно с поправкой на эти разные концептуальные основания.

Еще одна проблема, с которой сталкивается филиал, это недостаточность мотивирующих преподавателей – разработчиков тестовых материалов факторов. В этом плане филиалом проделана некоторая работа. Было разработано “Положение о стимулирующих выплатах ППС за интенсивность и высокие результаты работы”, в расчет выплат был внесен такой параметр как разработка тестов по курсу. К сожалению, в 2010 году это положение перестало действовать, и на сегодняшний момент нет никаких механизмов поощрения этого вида деятельности преподавателей. Нам кажется необходимым на университетском уровне продумать механизмы стимулирования работы преподавателей по созданию тестовых материалов. Разработка тестовых материалов не разовое мероприятие. Тест требует постоянной корректировки и доработки, пополнения заданиями. Это огромный интеллектуальный труд, который должен вознаграждаться.

Еще одна проблема заключается в том, что в университете нет единого утвержденного регламента внедрения тестовых материалов в учебный процесс. Это приводит к тому, что преподавателем или кафедрой самостоятельно, без соответствующих экспертиз, согласований и т.п. тесты используются в учебном процессе, а их результаты, объективность которых можно поставить под сомнение, используются для оценки знаний студентов, деятельности преподавателей и т.п.

Представляется целесообразным организовать обмен банками тестов между головным вузом и филиалами с целью их расширения и более качественной апробации тестов. Необходимо наладить сотрудничество между подразделениями университета с целью оптимизации работы по обобщению и расширению имеющихся банков и созданию новых. Стоит перераспределить интеллектуальные и физические ресурсы между подразделениями Высшей школы экономики и его филиалами, определить перечни дисциплин и распределить ответственность за разработку тестов по ним с учетом уже наработанных подразделениями материалов. В том же ключе целесообразно подходить к разработке внутреннего стандарта тестирования Высшей школы экономики и регламентов, регулирующих этот процесс.

Все положительное, что наработано на сегодняшний момент и определенные на будущее задачи находятся в рамках действующей образовательной модели, ограниченной стандартами второго поколения. Говорить о перспективах развития метода тестирования в университете необходимо, ориентируясь на компетентностную модель образования, которая базируется на индивидуализации обучения, предполагает нелинейное освоение содержания. Индивидуальные учебные планы, большое количество дисциплин по выбору и маленькая наполняемость групп затрудняют использование существующего вида тестовых материалов по отдельным дисциплинам для контроля знаний студентов. Во-первых, потому что всегда будет небольшим количество участвующих в тестировании, что делает невозможной математическую обработку результатов. Во-вторых, тестирование студентов одного направления по разным дисциплинам выборного блока не позволит однозначно сопоставить результаты. В-третьих, когда целью становиться не знание, а компетенция, как определить долю знаний по конкретной дисциплине и ее роль в формировании компетенции? У каждого студента это будет происходить по-разному, и необходимый набор знаний может быть получен их разных предметов и даже разных предметных областей. С этой точки зрения тестовые материалы по отдельным дисциплинам не помогут оценить уровень подготовки по направлению. Особенно эта проблема актуальна для студентов магистратуры, которые на сегодняшний день никак не задействованы в процедурах тестирования на федеральном уровне. Нам видится, что нужно искать новые подходы в рамках тестового метода. Речь может идти о создании интегрированных тестов, которые позволят оценить уровень подготовки по направлению в целом или отдельно по циклам направления. Качественных тестов такого типа пока не существует. То, что предлагается сейчас, например ФЭПО, это междисциплинарные тесты. Разница очевидна. В создании интегрированных тестов можно было бы, например, ориентироваться на методологию и практику профессиональных тестов, разработанных объединениями работодателей. В любом случае, с нашей точки зрения, необходимо в самое ближайшее время организовать группу по научному обоснованию, разработке и апробации подобного рода тестовых материалов.

Blog