Логистика массовой оценки учебных достижений учащихся (на примере Единого государственного экзамена и Государственной итоговой аттестации выпускников основной школы в новой форме) 13. 00. 01 общая педагогика, история педагогики и образования

Вид материала

Диссертация

Содержание 2. Нужное количество. 3. Нужное качество. 4. Нужное место. 6. Нужный потребитель. 7. Наименьшие затраты (издержки). Техническое задание (ТЗ) По теме диссертации соискателем опубликовано 12 работ, в том числе

Подобный материал:

• Методическое письмо Об использовании результатов государственной (итоговой) аттестации, 252.86kb.
• Методические рекомендации об использовании результатов государственной (итоговой) аттестации, 346.4kb.
• Методические рекомендации об использовании результатов экзамена по литературе в рамках, 315.82kb.
• Оценки достижений планируемых результатов освоения основной образовательной программы, 132.78kb.
• Оценки достижений планируемых результатов освоения основной образовательной программы, 86.18kb.
• Система оценки достижений планируемых результатов освоения основной образовательной, 146.19kb.
• Система оценки достижений планируемых результатов освоения основной образовательной, 326.7kb.
• Система оценки достижений планируемых результатов освоения основной образовательной, 145.53kb.
• Методические рекомендации Система оценки достижений планируемых результатов освоения, 130.99kb.
• Итоги егэ и государственной (итоговой) аттестации в новой форме за курс основной школы, 508.82kb.

Интегративность. Наличие интегративных качеств ЕГЭ как логистической системы показывает тот факт, что свойства этой системы хотя и зависят от свойств её элементов, но система экзамена не сводится к простой совокупности деятельности элементов, т.к. анализируя только её отдельные элементы (как, например, при экспертизе/инспектировании проведения процедуры ЕГЭ в одном пункте проведения экзамена, в региональном центре обработки информации на отдельном этапе), не представляется возможным оценить эффективность проведения ЕГЭ в целом.

Эффективность. С самого начала эксперимента по введению ЕГЭ (2001 г.) и до перехода экзамена в штатный режим проведения (2009 г.), данная логистическая система в условиях достаточно сложных производственных возможностей, разных и неоднородных схемах участия регионов (особенно в начале экспремента), апробации нескольких (иногда сложно совмещающихся) организационно-технологических схем проведения и др. факторов, была способна решить поставленные цели и задачи, обеспечив участникам ЕГЭ равные условия участия в экзамене и своевременное предоставление его результатов.

Гибкость. В системе Единого государственного экзамена изначально были предусмотрены определенные механизмы, дающие возможность прогнозировать тенденции изменения системы и вырабатывать адекватные им действия.

Превентивность как предупреждение возникновения проблем, которые могут привести к неэффективному проведению Единого государственного экзамена. В документах, регламентирующих его проведение, предусмотрено множество условий, отражающих большой спектр отклонений от процедуры по ряду причин (болезнь участника, распределение по аудиториям участников и организаторов, удаление с экзамена, незавершения экзамена по уважительной причине, разные аспекты процедуры рассмотрения апелляции, случаи с забытыми документами, обязательными для прохождения экзамена и многие др.) и четкое описание действий лиц, обеспечивающих проведение экзамена.

Адаптивность. Организация экзамена на всей территории страны по единому расписанию нуждается в постоянной и тщательной диспетчеризации всех потоков, непрерывном отслеживании перемещения и изменения каждого объекта потока и оперативной корректировке его движения, а так же в выявлении деталей всех операций материально-технического обеспечения и транспортировки.

Приведенное описание характеристик, к закреплению которых стремится логистическая система массовой оценки учебных достижений учащихся, позволяет дать ей определение как понятию. По аналогии с бизнес-логистикой она выступает как адаптивная система с обратной связью, выполняющая логистические функции организации и управления сервисными потоками, координации и интеграции логистических операций планирования, анализа, регулирования и контроля, состоящая из ряда подсистем и обеспечивающая развитие связи с внешней средой.

Деятельность логистической системы массовой оценки учебных достижений учащихся подчиняется правилу семи «Н», представленному нами в виде соответствующих принципов.

1. Нужный продукт. Под ним при реализации процедуры оценки понимаются измерительные и сопутствующие измерению материалы (анкеты, опросники и др.).

2. Нужное количество. В данном принципе необходимо принимать во внимание все количественные показатели, имеющие значение для реализации процедуры оценки: количество испытуемых, организаторов, пунктов проведения процедуры, измерительных материалов, соответствующего аппаратно-технического парка и прочие показатели.

3. Нужное качество. При реализации данного принципа необходимо под «качеством» понимать не только полиграфическое качество, но и качественно подготовленный персонал, обеспечивающий проведение и проверку результатов оценочной процедуры, качественно выстроенный механизм доставки, наличие настроенной и работоспособной техники и др.

4. Нужное место. Под «местом» понимается пространство проведения оценочной процедуры, обработки и проверки её результатов, места складирования и др.

5. Нужное время. При реализации данного принципа необходимо обратить внимание на целесообразность указания конкретных временных сроков для выполнения каждой логистической активности (от времени, затрачиваемого на изготовление измерительных материалов до времени, необходимого для проверки результатов оценивания и срока их выдачи конкретным пользователям информации).

6. Нужный потребитель. В данном правиле под «нужным потребителем» предлагается рассматривать как непосредственного потребителя оценки (участника или испытуемого), так и пользователей получаемой информации, которые так же являются потребителями в более широком понимании.

7. Наименьшие затраты (издержки). Под издержками в реализации данного пункта понимаются не только финансово-экономические, но и психологические, политические, социальные и правовые затраты.

Продукт каждой из входящих в состав логистической системы сервисной деятельности объективируется в специфической информации. Акцентируя внимание на главных направлениях образовательных услуг, отметим, что поток научно-методического сервиса воплощается в экзаменационных материалах, а также заказах на их разработку; инструктивно-методическая деятельность объективируется в разного рода правилах, инструкциях; законотворческие услуги сопровождаются соответствующими нормативными документами; информационно-аналитический сервис подразумевает различные формы отчётности и т.д.

Рассмотрим каждый из обозначенных выше основных информационных потоков.

Как уже отмечалось, нормативные документы и акты, обеспечивающие проведение массовой оценки учебных достижений учащихся, составляют суть законотворческой информации. Так, в современных условиях для проведения ЕГЭ применяются следующие нормативные правовые акты:

Закон Российской Федерации об образовании; Положение о формах и порядке проведения государственной (итоговой) аттестации обучающихся, освоивших основные общеобразовательные программы среднего (полного) общего образования, утвержденное Министерством образования и науки Российской Федерации;

Порядок приема граждан в имеющие государственную аккредитацию образовательные учреждения высшего профессионального образования, утвержденный Министерством образования и науки Российской Федерации;

Порядок проведения единого государственного экзамена, утвержденный Министерством образования и науки Российской Федерации.

Полномочия Российской Федерации и субъектов Российской Федерации отражены в ст.28 и 29 Закона об образовании РФ. Частью 3 статьи 3 и п.2 части 1 статьи 29 установлено, что органы исполнительной власти субъектов Российской Федерации, осуществляющие полномочия в сфере образования и науки, могут принимать в области образования собственные нормативно-правовые акты, не противоречащие федеральным законам в области образования и не ограничивающие права физических и юридических лиц.

Законотворческая информация дополняется инструктивно-методической. Так, для обеспечения проведения ЕГЭ в субъекте Российской Федерации в дополнение к основному документу, регламентирующему проведение экзамена (Порядок проведения ЕГЭ, утверждённый Минобрнауки РФ) разрабатывается значительный пакет инструктивной документации, регламентирующей все процедурные моменты проведения ЕГЭ в регионе.

Каждый процесс, обеспечивающий организацию и проведение процедуры массовой оценки, имеет «выходную информацию», отражаемую в специально предусмотренных отчетных формах, составляющих ядро информационно-аналитической информации. Разработка отчетных форм под каждый процесс проведения процедуры экзамена дает возможность осуществления контроля за корректным выполнением организаторами своих функций и значительно облегчает задачу решения конфликтных ситуаций, связанных с любым аспектом проведения экзамена.

Вместе с тем, безусловно ведущим информационным потоком в логистической системе массовой оценки учебных достижений учащихся выступает поток научно-методической (технологической) информации, представленный экзаменационными материалами, используемыми программными средствами. Учитывая его масштабность, при оформлении такого рода информации активно используются компьютерные технологии.

Помимо перечисленного в состав научно-методической информации входят и технические задания на разработку, что в логистике соответствует такой её функциональной области, как управление заказами на производство.

Техническое задание (ТЗ) – исходный документ, определяющий порядок и условия проведения работ по созданию технологии процедуры оценивания, содержащий цель, задачи, принципы выполнения, ожидаемые результаты и сроки выполнения работ.

ТЗ содержит основные технические требования, предъявляемые к выполняемым работам, изделию или услуге и исходные данные для разработки; в ТЗ указываются назначение изделия (услуги), область его применения, стадии разработки конструкторской (проектной, технологической, программной и т.п.) документации, её состав, сроки исполнения и т.д., а также особые требования, обусловленные спецификой самого изделия (услуги), либо условиями эксплуатации.

Логистическая система массовой оценки учебных достижений учащихся складывалась постепенно. Так, переходу ЕГЭ в штатный режим предшествовал всесторонний анализ процедуры Всероссийского централизованного тестирования – как технологической базы единого государственного экзамена, а также многолетний эксперимент по введению ЕГЭ в России, сопровождавшийся управленческими процедурами анализа и внесения необходимых корректив. Например, результаты выполнения обозначенных управленческих действий Центром тестирования Министерства образования России в 2002 году были следующими.

В целях усиления режима секретности и повышения объективности результатов ЕГЭ, Центр тестирования Минобразования России внес предложения об использовании при проведении ЕГЭ в 2002 г. бланков ответов, содержащих штрих-код. Данное предложение было одобрено Министерством образования России, в результате чего, по сравнению с 2001 годом, кардинально изменилась технология проведения ЕГЭ, начиная с тиражирования и упаковки экзаменационных материалов и кончая обработкой результатов.

Параллельно были разработаны и утверждены все инструктивные материалы для регионов. Центр тестирования обеспечил участвующие в эксперименте регионы всеми необходимыми материалами до начала первого экзамена. В регионы были высланы: комплект инструктивных материалов, пропуска ЕГЭ, калькуляторы, информационные плакаты, бланки протоколов экспертов, дополнительные бланки черновиков, сопроводительные бланки.

Были организованы учебные семинары системных администраторов региональных центров обработки информации и выездные семинары для организаторов ЕГЭ в регионах России.

Центром тестирования были подготовлены оригинал-макеты всех вариантов КИМов, затем они были растиражированы в зависимости от заявок регионов. На все бланки ответов нанесены уникальные штрих-коды.

Все эти трудоемкие и объемные мероприятия проводились в условиях сохранения информационной безопасности.

Таким образом, уже в начале эксперимента были приняты предложения, направленные на обеспечение таких критериев качества сервисных образовательных потоков, как:

– осязаемость (наличие необходимого оборудования);

– надежность (поставка инструктивных материалов в ранние сроки);

– ответственность (точное следование инструкциям по проведению экзамена);

– законченность (обеспечение должной квалификации персонала);

– безопасность (использование уникальных персонифицированных штрих-кодов для бланков ответов учащихся).

Кроме того, была увеличена доля участия в логистической системе массовой оценки учебных достижений учащихся такой логистической активности как информационно-компьютерная поддержка экзаменационных процедур. В это же время в зоне внимания управленцев продолжали оставаться такие функциональные логистические области как дистрибьюция (распределение) экзаменационных материалов и поддержание стандартов обслуживания.

Экспериментальная управленческая деятельность по формированию логистической системы массовой оценки учебных достижений учащихся продолжилась вплоть до 2008 года. Это заключительный год перехода к штатному режиму проведения единого государственного экзамена.

Были приняты все возможные меры по усилению информационной безопасности на этапе проведения ЕГЭ в субъектах Российской Федерации, разработаны и реализованы следующие меры:

• усилен контроль на федеральном и региональных уровнях за использованием спецпакетов с экзаменационными материалами;
  
• проведена выборочная проверка условий хранения, передачи и использования экзаменационных материалов в ряде субъектов РФ;
  
• направлены запросы во все субъекты РФ об использовании контрольно-измерительных материалов и о количестве остатков неиспользованных КИМов по всем предметам; на основании представленной информации была произведена выборочная проверка в ряде субъектов Российской Федерации.
  

Анализ проведения ЕГЭ в 2007 году показал необходимость пересмотра ряда технологических решений, модернизации технологических моделей проведения ЕГЭ и совершенствования его нормативного правового регулирования.

В целях усиления информационной безопасности при проведении ЕГЭ в 2008 году были внесены предложения по совершенствованию организационно-технологического обеспечения. Данные предложения были обсуждены и поддержаны на заседаниях рабочей комиссии при Рособрнадзоре.

Таким образом, к завершению управленческого эксперимента логистическая система оценки учебных достижений учащихся дополнилась до целого таким звеном как функциональная область управления заказами, что воплотилось во включении в систему автоматизированной линии тиражирования и комплектации экзаменационных материалов. Помимо этого, потребовалось продолжение усилий по обеспечению таких критериев оценки качества управления сервисными потоками, как:

– информационная безопасность (усиление контроля, проверка условий хранения, передачи и использования экзаменационных материалов, учет остатков неиспользованных контрольно-измерительных пакетов);

– доступность по времени и месту (заблаговременный сбор региональных баз данных и заявок на экзаменационные материалы, развитие технологии проведения экзамена в труднодоступных и удаленных местностях);

– ответственность (введение персональной административной ответственности для лиц, привлекаемых к цепочке экзаменационных процедур).

Так к моменту перехода ЕГЭ в штатный режим логистическая система массовой оценки учебных достижений учащихся сложилась структурно (с включением в её состав всех логистических активностей) и обладала основами ведущих критериев оценки эффективности её деятельности по управлению сервисными образовательными потоками.

В заключении диссертации подводятся итоги исследования, предъявлены выводы, подтверждающие правильность выдвинутой гипотезы, намечены перспективы исследования. Полученные результаты позволили сформулировать следующие выводы:

1. По результатам анализа организационно-технологических аспектов и проблем управления массовой оценкой учебных достижений учащихся установлена сложная организованность управляемого объекта, что подтверждается наличием в нем совокупности основных и обеспечивающих процессов, этапностью осуществления процедур оценки, необходимостью задействования нескольких уровней управления (от федерального до уровня образовательного учреждения), влиянием групп внешних и внутренних факторов, необходимостью соответствия системе требований к организационному, временному, кадровому, инструктивно-методическому и психолого-педагогическому сопровождению.

2. Разработана теоретическая модель логистики массовой оценки учебных достижений учащихся как адекватного управленческого средства. В ней обоснованно представлены объект управления (внутренние дискретные и детерминированные сервисные образовательные потоки, как продукты обслуживающих процесс оценки деятельностей – научно- и инструктивно-методической, законотворческой, экономической, информационно-аналитической, консалтинговой и др.), цель логистики (минимизация совокупных издержек, включая не только финансово-экономические, но и психологические, социальные, политические и правовые затраты), структурные элементы (логистические активности – управление заказами на производство, дистрибьюция, поддержание стандартов обслуживания и информационно-компьютерная поддержка), оперативные логистические функции (контроль, анализ, планирование, регулирование, координация и интеграция управленческих структур с поставщиками и потребителями предоставляемых образовательных услуг).

3. В логистической системе массовой оценки учебных достижений учащихся выделены и обоснованы: системообразующий фактор (направленность всех подсистем на получение достоверного результата в условиях единства требований, преемственности ступеней образования и стандартизации оценочных процедур), необходимые для ее устойчивости общие (структурированность, целостность и иерархичность) и специфические характеристики (координируемость, управляемость, надежность, вариантность, интегративность, гибкость, превентивность, адаптивность и, как следствие, эффективность), а так же принципы обеспечения нужного продукта, нужного качества, в нужном количестве, для нужного места, в нужное время, для нужного потребителя, с минимизацией всех затрат.

4. Разработано структурно-функциональное наполнение и произведена классификация информационных потоков, сопровождающих поток образовательного сервиса и функционирующих внутри логистической системы массовой оценки учебных достижений учащихся. Классы информационных потоков выделены в соответствии с характером производящей их сервисной деятельности. Ведущие информационные потоки классифицированы на научно-методические (технологические), представленные экзаменационными материалами, заказами на их разработку, созданием и ведением баз данных, обработкой и проверкой результатов; инструктивно-методические – в виде инструкций и регламентов; законотворческие – отражающие нормативные акты и документы; информационно-аналитические – предъявляющие стандартизированные формы отчетности.

5. В ходе апробации и анализа экспериментальной практики формирования логистической системы массовой оценки учебных достижений учащихся установлена эффективность управленческой деятельности, что подтверждается фактом структурного и критериального дооформления простраиваемой системы к периоду завершения эксперимента. Эффективная управленческая стратегия носила характер изначальной закладки основных критериев эффективности образовательного сервиса и постепенного структурного оформления логистической системы с постоянной обратной связью.

Данное исследование стоит в ряду первых, открывающих закономерности использования логистики в образовании как гуманитарной общественной практике. Перспективы здесь весьма значительны и состоят в конкретизации логистического подхода к различным областям управления образовательной сферой.


По теме диссертации соискателем опубликовано 12 работ, в том числе:

Статьи в журналах из перечня, рекомендованного ВАК Минобрнауки РФ:

1. Решетникова О.А. Развивающая и обучающая функции педагогического тестирования // Журнал «Вестник МГОУ». – 2011. - № 1. – С. 45-48.

2. Решетникова О.А. Использование результатов тестирования как механизма отражения результатов профилирования старшей школы // Журнал «Профильная школа». – 2011. - № 2(47). – С. 55-56.

3. Решетникова О.А. Логистика массовой оценки учебных достижений учащихся // Журнал «Инновации в образовании». – 2011. – № 7. – С. 33-45.

4. Решетникова О.А. Анализ возможности применения логистического подхода к организации массовой оценки образовательных достижений обучающихся в рамках построения системы оценки качества образования // Журнал «Стандарты и мониторинг». – 2011. - № 4. – С. 8 – 12.

Публикации в других изданиях:

5. Решетникова О.А. Технология проведения ЕГЭ в 2002 г. И задачи по её совершенствованию в 2003. // Сборник тезисов докладов Всероссийской конференции «Развитие тестовых технологий в России». – 2002. – С 55-57.

6. Решетникова О.А., В.А. Абрамова, Ю.Б. Михалев. Обратная связь – залог качества централизованного тестирования. // Журнал «Вопросы тестирования в образовании». – 2003. - № 5. – С 114-125.

7. Решетникова О.А. К вопросу о надёжности и достоверности результатов централизованного тестирования. // Сборник тезисов докладов VII Всероссийской конференции «Развитие тестовых технологий в России». – 2005. – С. 104-106.

8. Кузнецова С.В., Решетникова О.А. Контроль результатов широкомасштабного тестирования. // Сборник тезисов докладов VIII Всероссийской конференции «Развитие тестовых технологий в России». – 2006. – С. 73-75.

9. Решетникова О.А., Бычков А.В. Развивающая результативность тестового оценивания качества образования». // Сборник тезисов докладов VIII Всероссийской конференции «Развитие тестовых технологий в России». – 2006. – С. 85-88.

10. Решетникова О.А., Скопинцев И.В. Анализ организации единого государственного экзамена в 2007 году и особенности технологии проведения ЕГЭ в 2008 году. // Журнал «Вопросы тестирования в образовании». – 2007. - № 3 (19). – С. 31-39.

11. Михалева Т. Г., Решетникова О.А. Стандартизация системы ЕГЭ – основа эффективности ОСОКО. // Сборник тезисов докладов IX Всероссийской конференции «Развитие тестовых технологий в России». – 2007. – С. 35-38.

12. Решетникова О.А. Методы контроля над процедурой проведения широкомасштабных тестирований. // Сборник тезисов докладов IX Всероссийской конференции «Развитие тестовых технологий в России». – 2007. – С. 38-40.