Рекомендации для органов управления образованием субъектов Российской Федерации по использованию типовых моделей общероссийской системы оценки качества образования

Вид материала

8.1. Методы оценки качества начального профессионального и среднего профессионального образования в части оценки уровня индивиду
8.2. Структура комплекта диагностических средств
Методика создания тестовых заданий
Методика наблюдения за поведением тестируемого на рабочем месте (практический экзамен)
Методика формирования портфолио
Методика разработки и применения проектов
Методика создания диагностических средств для оценки качества профессионального образования
А доминантой является внешняя практическая деятельность, для диагностики которой наиболее эффективны методы наблюдения и практич

Подобный материал:

1 ... 15 16 17 18 19 20 21 22 23

Глава 8. Методика создания диагностических средств для оценки качества начального профессионального и среднего профессионального образования

8.1. Методы оценки качества начального профессионального и среднего профессионального образования в части оценки уровня индивидуальных образовательных достижений

Преобразования, осуществляемые в системе профессионального образования, не могут быть реализованы без изменения системы оценки учебных достижений обучающихся и качества образования в целом. Вектором современного подхода к обучению можно считать практическую направленность, ориентацию не столько на усвоение знаний, сколько на способность их применения, и как следствие этой тенденции, появление новых способов оценивания результатов обучения.

Профессиональные компетенции имеют сложную структуру, т.к. профессиональные задачи обычно разбиваются на подзадачи, так же как деятельность на действия. Поэтому каждая компетенция характеризуется определенным набором умений, овладение которыми позволяют освоить этот вид деятельности. Умения следует рассматривать «как сложные структурные образования, включающие чувственные, интеллектуальные, волевые, творческие, эмоциональные качества личности^⁵³».

Авторы данной работы пришли к пониманию необходимости применения нового механизма оценивания степени сформированности умений и оценки профессиональных компетенций выпускников системы НПО-СПО, основанного на компетентностном подходе и позволяющего с большой степенью точности делать заключение о соответствии как государственному образовательному стандарту, так и профессиональному стандарту. Введение подобного механизма подразумевает применение современных методов оценки и разработку соответствующим этим методам новых оценочных материалов.

Для определения достижения обучающимися результатов обучения существуют различные методы, зависящие от объектов оценки.

Объектами оценки могут выступать:

Продукт практической деятельности. Оценка и соответствующие критерии при этом основываются на эталонном качестве продукта.
Процесс практической деятельности. При этом оценивается соответствие усвоенных алгоритмов деятельности заданному стандартному эталону деятельности. Критерии оценки основываются на поэтапном контроле процесса выполнения задания.
Объем профессионально значимой информации в ходе письменного или устного опроса. Применяется в тех случаях, когда важно установить, что обучающийся владеет достаточным количеством информации, необходимой для формирования определенной компетенции.

При оценивании квалификаций, относящихся к различным видам деятельности и различным уровням сложности целесообразно руководствоваться следующим алгоритмом действий:

Принять решение относительно результатов обучения,
Выбрать соответствующий/ие метод/ы их оценивания
Разработать критерии оценки.

Критерии оценки основываются непосредственно на результате обучения и содержат дидактический эталон умений, формируемый в рамках результата обучения. Другими словами, они устанавливают критерии качества выполняемой работы и должны содержать либо описание способа выполнения деятельности, либо продукта деятельности, получаемого в итоге. Иногда критерии формулируются в поведенческих терминах – по каким признакам поведения обучающегося можно судить, что результат достигнут.

При создании аттестационных технологий и разработке аттестационных материалов наиболее широко используется схема определения уровней познания, разработанная Б.Блумом. В общем случае таксономия педагогических целей, созданная Б.Блумом (США) в 1956 году, охватывает когнитивную, аффективную (эмоциональную) и психомоторную области.

Таксономия (или систематизация и классификация) целей обучения Б.Блума позволяет определить выборку из нескольких познавательных категорий, обычно измеряемых при независимой аттестации. Они, в иерархическом порядке от простого к сложному включают:

Знание
Понимание
Применение
Анализ
Синтез
Оценку

К сожалению, структура разрабатываемых аттестационных материалов относится, как правило, к первым двум уровням познания - «знание» и «понимание», т.е. аттестационные материалы проверяют способность обучаемого запомнить и воспроизвести полученные знания. Для оценки компетенций, относящихся к более сложным уровням должны применяться иные методы оценки, т.к., преследуя цель проверить выпускника на соответствие квалификации, необходимо проверять еще и способность его применить полученные знания на практике и анализировать реальные ситуации с помощью полученных знаний. Как утверждают эксперты в области тестологии, для первых двух уровней, по Б.Блуму, достаточно применения метода тестирования в его самом распространенном варианте – тестах закрытого типа. Для оценки квалификаций, соответствующих более сложным уровням познания, целесообразно применять иные оценочные технологии – метод «портфолио», собеседование, наблюдение за испытуемым, что не всегда объективно и независимо, требует разработки более сложных процедур и имеет более низкие результаты по показателям «валидность» и «надежность».

Аргументом в пользу применения разнообразных методов оценки уровня квалификации работника служит следующее утверждение: «Стержневым показателем уровня квалификации работника является его профессиональная компетентность». Из этого утверждения следуют выводы:

Оценка уровня подготовки специалиста сводится к проверке соответствия приобретенных практических навыков квалификационным требованиям;
Чем выше уровень квалификации работника, тем большее количество характеристик он должен иметь.

Наиболее типичные из них:

Широкий охват и глубина знаний;
Сложность и трудность выполненной работы;
Способность контролировать других;
Самостоятельность/ответственность

И, соответственно, тем большее количество оценочных методов следует применять для оценивания уровня квалификации на соответствие квалификационным требованиям.

Среди методов оценки практических навыков на соответствия квалификационным требованиям, которые применяются в международной практике, проведение квалификационных экзаменов, и которые могут быть рекомендованы для применения, или уже применяются в нашей стране для итоговой аттестации выпускников НПО – СПО, можно выделить следующие:

Тестирование
Метод наблюдения за действиями аттестуемого
Метод оценки документов (свидетельств индивидуальных достижений), собранных в портфолио, или метод портфолио
Метод проектов
Устное собеседование

Выбор метода или методов для оценки на соответствие практических навыков выпускника квалификационным требованиям полностью зависит от вида профессиональной функции, практические навыки которой проверяется при аттестации, и от квалификационного уровня, задающегося параметрами «самостоятельность и ответственность».

8.2. Структура комплекта диагностических средств

В комплект диагностических средств для оценки качества начального профессионального и среднего профессионального образования в соответствии с требованиями государственных образовательных стандартов профессионального образования входят методические материалы, предназначенные для решения задачи соответствия, т.е. для установления в ходе аттестационных испытаний выпускников, завершивших освоение основной образовательной программы по определенной профессии НПО или специальности СПО, факта соответствия (или несоответствия) уровня их подготовки требованиям соответствующего ФГОС.

Комплект включает:

для итогового экзамена:

программу итогового экзамена;

комплект оценочных материалов (заданий), предназначенных для предъявления выпускнику на экзамене и критерии их оценки;

инструктивные материалы для экзаменаторов, экспертов и экзаменуемых, регламентирующие процедуру проведения экзамена;

2) для выпускной квалификационной работы:

методические материалы, определяющие процедуру и критерии оценки соответствия уровня подготовки выпускника требованиям ФГОС НПО, СПО на базе подготовки, выполнения и защиты им выпускной квалификационной работы.

Методика создания тестовых заданий

«Тест – это стандартизированные задания, по результатам выполнения которых судят о знаниях, умениях и навыках испытуемого»^⁵⁴.

«Тест состоит из заданий, правил их применения, оценок за выполнение каждого задания и рекомендаций по интерпретации тестовых результатов^⁵⁵».

«Тест – это инструмент, состоящий из квалиметрически выверенной системы тестовых заданий, стандартизированной процедуры проведения и заранее спроектированной технологии обработки и анализа результатов, предназначенный для измерения качеств и свойств личности, измерение которых возможно в процессе систематического обучения²³».

Учитывая современное состояние теории тестирования, процесс итоговой аттестации выпускников учебных заведений можно разделить на две части:

Качественную оценку уровня учебных достижений студентов с целью установления соответствия их степени обученности требованиям Государственных образовательных стандартов;
Количественную оценку учебных достижений выпускников с целью мониторинга усвоения ими Федеральной составляющей образовательных стандартов и, как следствие, определения рейтинга обученности выпускников по различным профессиям НПО, специальностям СПО.

Современные методы тестирования, основанные на применении теории вероятности и статистических моделях обработки результатов, позволяют с большой степенью точности оценивать относительно простые компетенции: формальный уровень интеллекта, психологические факторы – эмоциональную устойчивость, коммуникабельность. В то же время они плохо измеряют более сложные компетенции – лидерство, умение работать в команде, ориентацию на результат. Поэтому тестирование чаще всего применяется для оценки соответствия выпускников учебных заведений квалификациям низкого уровня, а также для аттестации персонала на низших позициях, требований к которым немного и они просто формализуются.

Этапы конструирования дидактического теста

Создание высококачественного теста – процесс трудоемкий. На подготовку итогового теста профессиональные разработчики тратят 1,5 – 2 года. Как правило, такие тесты создаются творческими коллективами преподавателей вузов под руководством ведущих научно-исследовательских центров, профессионально занимающихся вопросами оценки качества подготовки специалистов, имеющих определенный опыт в этом направлении, а также финансовую поддержку. Мастерство разработчиков современных тестов базируется на наличии у разработчиков достаточно глубоких специальных знаний, понимании и владении теорией конструирования тестовых материалов, наличии технического и программного обеспечения, опыте практической деятельности, навыков апробации и параметризации тестов, использовании итерационных этапов совершенствования теста.

Качественные показатели тест имеет благодаря научной обоснованности процедур конструирования теста, а не использованию своеобразной формы заданий. Существует определенный порядок их проведения – своеобразный алгоритм, соблюдение которого не только методологически обосновано, но эффективность доказана экспериментально.

Описание этапов конструирования теста в методической литературе сильно разнится. Так В.С. Аванесов^⁵⁶ укладывает это описание в формулу: задание в тестовой форме – тестовое задание – тест. При этом тщательно анализирует требования к перечисленным разработкам. А.Анастази советует выделять в разработке дидактических тестов три этапа: 1) планирование, 2) написание заданий и 3) анализ заданий.

Принято считать, что разработка теста начинается с этапа целеполагания. Тесты – не универсальный инструмент измерения, он пригоден для определенных условий и целей диагностики. Разнообразные варианты этапов тестирования даны в работе А.Н. Майорова^⁵⁷: рекомендации Голландского института CITO, экзаменационного синдиката Кембриджского университета, апробированный авторский вариант. При сопоставлении с алгоритмом, предложенным М.Б. Челышковой^⁵⁸, обнаружены содержательные совпадения, что позволило описать процесс конструирования в виде следующих этапов. Приведены не только перечни основных видов работ, но и их конкретное содержание.

1. Определение цели тестирования, выбор программ обучения, целевой группы, вида теста и подходов к его созданию. Исходя из ресурсных возможностей, выбирается способ предъявления: тестовые тетради, бланки, компьютерный, практический, аппаратный.

2. Анализ оцениваемого содержания, его логическое структурирование, конкретизация целей тестирования. Разработка кодификатора контролируемой предметной области знаний. Выбор и утверждение методик конструирования, проведения тестирования, технологий интерпретации полученных результатов. Утверждение плана работы, варианта определения норм. Назначение исполнителей.

3. Разработка спецификации теста. Определение структуры теста, ориентационной меры трудности, длины теста. Отбор оцениваемого материала для теста – содержание контроля. Конструирование технологической матрицы. Экспертное оценивание, соответствие матрицы целям, генеральной выборки испытуемых, запланированной длине. Оценка содержательной полноты плана.

4. Сбор идей, черновых материалов. Составление заданий по модели теста, их должно быть в два-три раза больше запланированного числа.

5. Апробация для проверки формулировок открытых вопросов на выборке в 30-50 человек разного уровня подготовки. По ответам необходимо определить конкретность вопросов, их понятность испытуемым. Также необходимо провести апробацию для выявления ошибок, опечаток в текстах всех заданий. Параллельно может идти определение времени, необходимого для выполнения отдельных заданий и теста целиком.

6. Внесение изменений в задания, выбраковка, конструирование теста из числа оставшихся согласно структуре и стратегии предъявления, отображенной в спецификации. Предлагается создавать тесты с большим числом заданий, чем отражено в спецификации или несколько вариантов одного.

7. Проведение экспертизы заданий в тестовой форме, исправление ошибок, коррекция спецификации, повторная экспертиза.

8. Разработка методики апробационного тестирования: построение выборки, разработка инструкций для проведения тестирования.

9. Апробация, по результатам которой необходимо провести математико-статистическую обработку данных: выявить меры центральной тенденции, приближенность результатов к нормальному распределению, что особенно важно при нормативно-ориентированном тестировании. Из показателей, характеризующих качества заданий наиболее важно определение трудности, дифференцирующей силы заданий. Проведение дистракторного, корреляционного и факторного анализа.

10. Чистка теста: удаление неинформативных заданий: с низкой дискриминативностью, заданий, с которыми все справились, либо никто не выполнил. Корректировка заданий, теста, замена дистракторов. Переработка плана, возможно спецификации. Выбор оптимальной длины и времени тестирования. Переработка инструкций и создание методического оснащения теста.

11. Апробация исправленного варианта теста. Анализ и интерпретация результатов с целью определения качественных показателей нового варианта. При получении достаточно удовлетворительных оценок переходят к следующему этапу. В противном случае придется повторить этапы, направленные на улучшение системообразующих свойств теста.

12. Определение качественных показателей теста: надежности и валидности. Для апробации важна репрезентативность выборки. Она должна быть тщательно выверена и сбалансирована по всем возможным стратам.

13. Стандартизация в аспекте получения норм или валидизации критериального балла. Цель апробации предъявляет высокие требования к выборке, она должна максимально соответствовать по составу генеральной совокупности обучающихся, быть репрезентативной.

Перечисленные этапы составляют полный алгоритм разработки стандартизированного теста.

Методическое оснащение – составная часть теста, которая состоит из комплекта сведений, инструкций и рекомендаций, которые в комплексе обеспечивают всем испытуемым равные условия на всех этапах использования теста. Включает в себя несколько частей:

правила и требования предъявления теста испытуемым;
правила обработки результатов;
рекомендации по интерпретации полученных данных.

Подбор оснащения зависит от назначения тестов, от их вида и количества участников, он будет отличаться в зависимости от того, какой способ предъявления теста выбран – индивидуальные тесты, тестовые тетради, бланочное или компьютерное тестирование. Полное методическое оснащение готовится на последнем этапе создания теста, когда после неоднократных апробаций выявлены оптимальные условия использования. Для апробационной экспертизы необходимы инструкции для испытуемых, ведущего, формы бланков регистрации и ответов (если проводится бланочное тестирование).

При написании инструкции следует учитывать возможное отсутствие опыта заполнения бланков у тестируемых. Целесообразно провести тренировочное тестирование, отработать навыки выполнения заданий разного типа, исправления ошибок. Можно рекомендовать написание в инструкциях образцов заполнения бланков ответа на задания разных типов. Требования к составлению сценария тестирования, инструкций для ведущего, наблюдателей, испытуемых и их образцы даны в^⁵⁹. Инструкции для ведущего и испытуемого входят в состав всех стандартизированных тестов и определяют его объективный характер. Инструкция для ведущего приводится, как правило, в руководстве, а инструкция для испытуемого – в тестовой тетради (возможно, на лицевой странице регистрационного бланка).

4.1.1.1.1.1.1Состав инструкции для ведущего

условия проведения теста;
материалы и приборы, требуемые при проведении (карандаши, резинки, приборы, черновики, бланки для ответов, отношение к использованию калькуляторов), порядок их размещения и предъявления;
временные ограничения;
полный текст инструкции для испытуемых;
что необходимо, что можно и что запрещено делать ведущему;
описание ответов на возможные типичные вопросы, на которые ведущему отвечать запрещено;
необходимая квалификация для лиц, которые проводят тестирование, проверяют правильность выполнения, анализируют результаты;
вопросы конфеденциальности и доступа к получаемой в результате тестирования информации;
инструкция по проверке результатов.

4.1.1.1.1.1.2Состав инструкции для испытуемого

описание назначения теста;
правила заполнения бланков для ответов;
образцы решения задач каждого типа, представленных в тесте;
образцы исправления неверно выполненного задания и образцы исправления исправленного.
правила поведения для учащегося и санкции за нарушения этих правил;
последовательность выполнения работы;
указания по обязательности заполнения всех граф бланка, возможность пропуска в ответах;
использование черновиков.

Как правило, в методические материалы к тестам прилагаются образцы бланков. Соблюдение точности бланка необходимо, так как для ряда методик незначительные изменения внешнего вида бланка могут существенно изменить результаты его работы. Бланк составляют так, чтобы обеспечить наибольшее удобство при его заполнении и обработке.

4.1.1.1.1.1.3Правила разработки бланков занесения ответов

Составляются таким образом, чтобы свести к минимуму непродуктивную работу испытуемого по отыскиванию места для проставления ответа.
Предпочтительно по возможности свести ответ к обведению кружком.
Бланк не должен быть перегружен цифрами, делениями, строками и др. обозначениями.
Ответы по отдельным сериям (субтестам) должны выделяться на бланке отдельно. Если групп заданий нет, но их количество велико – графы для ответов должны разделяться на отдельные блоки по 10-25 заданий.
На бланке должны быть предусмотрены места для проставления необходимых паспортных данных, а также номера регистрации обследования и даты проведения.
Иногда целесообразно дважды поместить инструкцию для испытуемого на бланке и в тетради с заданиями.
При переходе к ответам на новую группу заданий необходимо поместить примеры заполнения граф.
Задания в тестах расположены, как правило, в порядке возрастания сложности. Перед задачами должна быть инструкция испытуемому по выполнению теста с примерами. На примерах обучающийся знакомится с типом и формой задач, с правилами ответа на вопросы, осуществляются первые попытки решения задач подобного типа.

Методика наблюдения за поведением тестируемого на рабочем месте (практический экзамен)

При компетентностном подходе к профессиональному обучению практические навыки обучающегося должны быть проверены в ситуации, максимально приближенной к реальной рабочей обстановке.

Суть данного метода:

Кандидаты на получение профессиональной квалификации должны представить экзаменатору соответствующие доказательства своей компетентности. Определенное подтверждение может быть получено в реальной производственной обстановке методом наблюдений или через воссоздание рабочей обстановки. В обоих случаях методом устного опроса проверяются знания, сопутствующие практическим навыкам.

Оценка осуществляется экзаменатором, обладающим соответствующими навыками и компетентностью в данной профессиональной сфере.

Выбор стратегии при применении способа наблюдений

Объектами оценки могут служить

продукт деятельности
процесс
продукт деятельности и процесс одновременно

Продукт деятельности оценивается:

когда значение продукта для принятия решения о присвоении квалификации более весомо, чем технологический процесс изготовления продукта;
когда при изготовлении продукта применяется несколько технологических процессов;
сложно обеспечить процедуру наблюдения за ходом протекания процесса.

Процесс оценивается:

когда необходимо проверить и оценить правильность применения обучающимися инструментов, оборудования и т.д.;
когда временной фактор учитывается при определении критерия оценки, т.е. процесс хронометрируется;
когда оценивается соблюдение правил техники безопасности;
когда нельзя оценить качество изготовления конечного продукта, не разрушая его.

Выбор инструментария для оценки практических навыков

на рабочем месте

Если объектом оценки является конечный продукт, то экзаменатор пользуется специально разработанной диагностической картой, которая дает возможность экзаменатору сравнить параметры конечного продукта деятельности экзаменуемого с эталонными.

Если объектом оценки является процесс, экзаменаторы пользуется картой наблюдения за действиями обучающегося в рамках данного процесса.

Карта наблюдений должна включать следующую информацию:

Ф.И.О. студента

Дату наблюдения

Название практического навыка

Инструкции по порядку заполнения карты наблюдения

Перечень трудовых действий, подлежащих проверке

Колонки Да/Нет для регистрации навыка

Условия применения данного метода

Наблюдение проводится в реальной рабочей установке (в мастерской, в офисе, лаборатории и т.д.), либо в специально оборудованном помещении, имитирующем условия рабочей среды;
Целью данного метода служит получение доказательств профессиональной компетентности аттестуемого, т.е. наблюдатель должен быть уверен в том, что кандидат на получение сертификата выполняет трудовые действия на высоком уровне, определенном образовательным (или профессиональным) стандартом;
Процедура проведения данного испытания должна быть определена четкими инструкциями, регламентирующими соблюдение обязательных условий:
- где будет проведено наблюдение: в учебном заведении, реальной рабочей обстановке и т.д.

Если по каким-либо причинам (материально-техническим) наблюдение за аттестуемым не может быть проведено в реальной производственной среде, следует определить обязательные элементы моделируемой рабочей среды, т.е. назвать необходимое оборудование, условия его применения, определить расстановку мебели в офисе и т.д.

как долго длится наблюдение: 2 часа, 1 рабочий день, 1 неделя (для квалификации высокого уровня);
кто может выступать в качестве наблюдателя (требования к статусу наблюдателя, его квалификации);
какие документы, свидетельствующие о наличии у аттестуемого иных, более простых компетенций, следует учитывать при принятии решения о присвоении квалификации – для того чтобы не проверять повторно ранее проверенные практические навыки;

При разработке критериев для оценки практических навыков следует принимать во внимание обязательность комплексной оценки по основанию «результат», а не оценивать отдельные трудовые действия.

Если испытание проводится в несколько этапов (при применении модульного подхода к обучению) (в случае аттестации на квалификацию высокого уровня) наблюдатель делает заключение отдельно для каждого этапа наблюдения.

Как правило, квалифицированные заключения о соответствии заявленному квалификационному уровню дается после серии наблюдений, проводимых в течение определенного периода времени.

Если наблюдатель не удовлетворен результатами наблюдения, т.е. навык выполнения действия не соответствует требованиям по заданному критерию, отрицательный результат фиксируется в карте наблюдений, и заполняется графа «рекомендации».

Диагностика качества НПО-СПО методом наблюдения может являться частью комплексного испытания, и сопровождаться устным собеседованием, или предваряться письменным тестированием.

Методика формирования портфолио

Идея использования портфолио в системе образования в последнее время получает широкое распространение и может быть использована для оценки квалификации выпускника профессионального учебного заведения в силу того, что является одной из форм наиболее реалистичного оценивания, ориентированного на результат учебной деятельности и включающего самооценивание.

В настоящее время в системе профессионального образования в постановке целей образования компетентностно-ориентированный подход не позволяет отождествить оценку образовательных результатов с привычной системой диагностики результатов учебного процесса.

Переориентация профессиональной школы на формирование компетенций (общих, ключевых, специальных) должна сопровождаться изменением и метода оценки образовательных результатов выпускников.

Учебные портфолио позволяют объединить цели учебного процесса и знания, навыки, мотивацию обучающихся и их продвижение в учебе.

В портфолио могут включаться такие материалы как, например, чертежи, фотографии, рукописные или иные рабочие материалы, копии учебных тестов. Более того, в портфолио могут быть включены отзывы людей, с которыми обучающиеся общаются в процессе обучения.

Оценка способом портфолио является педагогической стратегией и систематической организацией подобного рода данных.

Создание обучающимися их собственной папки работ может способствовать достижению нескольких целей, в т.ч.

формированию самооценки и внешней оценки
развитию различных профессиональных навыков
углубленному подходу к обучению
служить основанием для оценки определенных компетенций для установления соответствия результатов образовательной программы квалификационным требованиям.

Преимущества портфолио:

портфолио может быть рассмотрен как модель оценки, поскольку считается, что портфолио положительно влияет на развитие навыков критического мышления и обучения у обучающихся;
портфолио обеспечивает высокий уровень документированности процесса обучения и развития. Портфолио позволяет проводить оценку всего учебного процесса от самого его начала, т.к. оно пополняется периодически в течение всего процесса обучения, т.е. этот способ позволяет сконцентрировать внимание обучающихся на результатах обучения;
позволяет преподавателю индивидуально подходить к каждому студенту;
предоставляет основу для последовательного анализа и планирования индивидуальной образовательной траектории;
позволяет самим обучающимся стать активным участником процесса оценки;
расширяет возможности традиционных методов оценки;
охватывает широкий спектр знания и информации из разнообразных источников.

Недостатки портфолио:

метод может быть сочтен менее надежным и эффективным по сравнение с традиционной балльной оценкой и количественными методами диагностиками результатов обучения методом тестирования;
сложным может показаться определение критериев оценки;
если цели и критерии оценки не определены достаточно четко, метод портфолио может стать всего лишь беспорядочным собранием работ обучающихся, не отражающим динамики его развития и всей полноты учебных достижений.

Диапазон портфолио постоянно расширяется. Портфолио начинают использовать на всех уровнях образования – от начальной до высшей школы. Общей тенденцией стало появление новых форм портфолио, в том числе паспорта компетенций или паспорта квалификаций.

При всем многообразии моделей портфолио, различии образовательных и профессиональных сфер, в которых они функционируют, возникают попытки построить определенную типологию.

Основные типы портфолио

Опыт использования различных моделей портфолио, накопленный в эксперименте по предпрофильной подготовке и профильному обучению, позволяет сделать следующие рекомендации^⁶⁰^,^⁶¹^.

При разработке портфолио целесообразно ориентироваться на три основных его типа:

а) «Портфолио документов» - портфель сертифицированных (документированных) индивидуальных образовательных достижений. Подобная модель предполагает возможность как качественной, так и количественной оценки материалов портфолио. Информация о различных мероприятиях и их результатах заносится в индивидуальную книжку обучающегося. Документы или их копии могут быть помещены в приложении к портфолио.

Таблица 2

Портфолио документов

Материалы, включенные в данный вариант	Преимущества данного варианта	Ограничения данного варианта
Диплом Грамота Свидетельство и другие документы, подтверждающие достижения обучающегося	Итоговая балльная оценка делает портфолио этого типа действенным механизмом определения образовательного рейтинга обучающегося, так как может стать значимой составляющей этого рейтинга (наряду с оценками, полученными при итоговой аттестации)	Портфолио этого типа дает представление о результатах, но не описывает процесса индивидуального развития обучающегося, разнообразия его творческой активности, его учебного стиля, интересов и т.п.

Примерная схема структуры «портфолио документов» и оценки его материалов представлена в таблице 3.

Таблица 3

Примерная схема структуры портфолио документов

Мероприятия	Тип мероприятия	Вид документа	Результат (баллы)
Олимпиады (учебные, профессиональные)	Городская	Диплом победителя Диплом участника	5 4
	Районная	Диплом победителя Диплом участника	3 2
	Учебного заведения	Диплом победителя Диплом участника	2 1
Конкурсы (профессиональные, творческие)	Городские Районные Учебного заведения	Дипломы Грамоты Сертификаты	1-5
Тестирование Курсы на получение дополнительной квалификации	Проводятся в учебном заведении, других учреждениях	Сертификаты Удостоверения	1-5

б) «Портфолио работ» - представляет собой собрание различных творческих, проектных, исследовательских работ обучающегося, а также описание основных форм и направлений его учебной, творческой и профессиональной деятельности: участие в научных конференциях, конкурсах, прохождение элективных курсов, различного рода практик, спортивных и художественных достижений и др.

Данный вариант портфолио предполагает качественную оценку, например, по параметрам полноты, разнообразия и убедительности материалов, качества представленных работ, ориентированности на выбранный профиль обучения и др.

Количественная оценка требует разработки четкой критериальной базы и принятия ее на уровне муниципальной (либо региональной) образовательной сети.

Текущим документом является индивидуальная книжка обучающегося с приложением его работ, представленных в виде текстов, электронных версий, фотографий, видеозаписей.

Таблица 4

Портфолио работ

Материалы, включенные в данный вариант	Преимущества данного варианта	Ограничения данного варианта
Ведомость или зачетная книжка о прохождении курсов по выбору Творческая книжка с приложением работ Электронные документы Видеозаписи - Модели, проекты, исследовательские работы - Отчеты о практиках	Портфолио этого типа дает широкое представление о динамике учебной и творческой активности обучающегося, направленности его интересов, характере профессиональной подготовки.	Качественная оценка портфолио дополняет результаты итоговой аттестации, но не может войти в образовательный рейтинг выпускника в качестве суммарной составляющей. Однако в ряде случаев она может быть педагогически весьма значимой, поскольку есть много обучающихся, для которых «портфолио работ» служит дополнительной формой выражения успешности, «состоятельности» выпускника в его образовательной карьере.

в) «Портфолио отзывов» - включает оценку обучающимся своих достижений, проделанный им анализ различных видов учебной и внеучебной деятельности и ее результатов, резюме, планирование будущих образовательных этапов, а также отзывы, представленные педагогами, кураторами групп, руководителями учебных и производственных практик (табл.5).

Портфолио может быть представлен в виде текстов заключений, рецензий, отзывов, резюме, эссе, рекомендательных писем и прочее.

Комплексный портфолио

На основании вышеописанных вариантов портфолио можно конструировать и апробировать либо «комплексные» модели портфолио (включающие в себя описанные типы в качестве своих разделов), либо «простые» (реализующие один из названных типов).

Таблица 5

Портфолио отзывов

Материалы, включенные в данный тип	Преимущества варианта	Ограничения варианта
Тексты заключений; Рецензии; Отзывы; Резюме; Эссе; Рекомендательные письма; Другое.	Эта форма портфолио дает возможность включить механизмы самооценки обучающегося, что повышает степень осознанности процессов, связанных с обучением.	Сложность формализации и учета собранной информации.

Приведем примеры:

Портфолио, состоящий из трех разделов (наиболее объемный и комплексный): «раздел документов» + «раздел работ» + «раздел отзывов».
Портфолио, состоящее из двух разделов: «раздел документов» + «раздел работ»; либо «раздел документов» + «раздел отзывов»; либо «раздел работ» + «раздел отзывов».
Портфолио «простые» (3 варианта – то есть либо «в чистом виде» портфолио документов, либо портфолио работ, либо портфолио отзывов)

Проектирование портфолио:

Существует три основных этапа конструирования портфолио:

Рис.2. Алгоритм конструирования портфолио

Прежде всего, следует определить цель портфолио. Цель портфолио служит основой при подборе материалов.

В соответствие с целью и задачами портфолио требуется принять решение о критериях и стандартах оценки.

В содержании необходимо предусмотреть ответы на следующие вопросы:

какие источники информации использовать;
сколько работ следует собрать в портфолио;
как интерпретировать содержательность работ, входящих в портфолио;
какая информация наиболее ценна.

С содержательной точки зрения квалификация может быть подтверждена следующим образом:

- оригиналами работ обучающегося;

- копиями работ обучающихся, созданных вне учебного заведения;

- оценками и отзывами;

- материалами, специально подготовленными документами и т.д.

Проверка аутентичности документов, собранных в портфолио

В связи с тем, что в портфолио, как правило, представлены доказательства достижения обучающихся, полученных не только в учебных заведениях, где они легко проверяются на достоверность, но и вне учебных заведений (во время практики, работы на выставках, семинарах, дома и т.д.), возникает вопрос о способах их проверки.

Что проверяется:

Выполнение работ самими обучающимися;
Если в портфолио собраны результаты групповой работы, необходимо найти способ определения индивидуального вклада владельца портфолио.

Оценка достижений с помощью метода портфолио является самым трудоемким диагностическим методом, особенно при аттестации на соответствие квалификационным требованиям, т.к. требуют от разработчика четко определенной критериальной базы, что возможно только с опорой на квалификационные требования, заданные профессиональным стандартом. В противном случае оценка не будет объективной, т.е. в настоящее время метод портфолио как оценочный инструмент не является совершенным.

Методика разработки и применения проектов

В основу метода проектов положена идея о направленности учебно-познавательной деятельности студента на результат, который получается при решении той или иной практически или теоретически значимой проблемы.

Этот метод находит все большее распространение в системе образования и может применяться для диагностики профессиональных навыков выпускников СПО.

Причин тому несколько, и корни их лежат в сфере применения нового подхода к аттестации выпускников и определению понятия компетенции, как результата образовательного процесса, выражающимся в готовности субъекта эффективно сорганизовывать внутренние и внешние ресурсы для достижения конкретных целей.

Применение метода проектов в условиях появления новых требований профессионального образования обусловлено следующими факторами:

Необходимостью не столько передавать студентам сумму знаний, сколько научить приобретать эти знания самостоятельно, уметь пользоваться приобретенными знаниями для решения конкретных задач;
Необходимостью приобретать коммуникативные навыки и умения;
Необходимостью развивать умение пользоваться исследовательскими методами, собирать необходимую информацию, уметь анализировать факты, выдвигать гипотезы, делать выводы и заключения.

Основные требования к учебному проекту

Работа над проектом направлена на разрешение конкретной, исследовательской, информационной, практической проблемы.
Выполнение работы всегда начинается с проектирования самого проекта.
Отличительная черта проектной работы – поиск информации.
Результатом работы над проектом является продукт.
Итог работы – презентации продукта и защита самого проекта.

Как следует из вышеуказанных требований, метод проектов соответствует требованиям, предъявляемым к обучающимся при выполнении ими выпускной квалификационной работы или написании и защите диплома.

Отличие заключается в том, что метод проектов в качестве обучающих технологий может быть использован на ранних этапах профессионального обучения, так как результатом работы проекта является следующее:

Презентация проекта внутри группы.
Презентация проекта на научно-практических конференциях в техникуме, колледже, лицее.
Презентация лучших проектов на городских региональных конференциях.
Включение результатов проектов портфолио выпускника учебного заведения для оценки практических навыков на соответствие определенному квалификационному уровню.

Следует отметить, что работа над проектом способствует интеллектуальному развитию личности, формированию ключевых компетенций социально-экономической области.

Данная технология предполагает стимулирование интереса обучающихся к учебному процессу и необходимости получения ими определенных знаний и жизненно-важных компетенций.

Методика создания диагностических средств для оценки качества профессионального образования

Представленная методика не противоречит существующей в сфере высшего профессионального образования^⁶².

Алгоритм создания диагностических средств для оценки качества профессионального образования:

1. Анализ федерального государственного образовательного стандарта начального / среднего профессионального образования (далее - ФГОС НПО/СПО) по профессии или, в случае его отсутствия, макета и методики создания ФГОС НПО, СПО. Анализ проводится с целью определения общей характеристики и назначения профессии, квалификации выпускников, и видов профессиональной деятельности специалиста. Требования, содержащиеся в конкретных ФГОС НПО, СПО дополняются требованиями работодателей, сформулированных в Профессиональных стандартах.

2. На основе выявленных основных видов профессиональной (трудовой) деятельности выпускника следует определить результаты обучения (знания, умения, навыки, компетенции), подлежащих оцениванию.

3. Определить степень нестандартности, ответственности, самостоятельности, соответствующие данному квалификационному уровню.

Ответственность подразделяется на:

Функциональную – внимательное отношение к выполнению своих действий, обязанностей, аккуратность и точность в работе.
Индивидуальную – ответственность за свои действия и поступки (результат деятельности).
Личностную - ответственность не только за свои действия и поступки, но и за действия и поступки, результат деятельности подчиненных.

Самостоятельность предполагает:

Исполнительскую позицию – потребность в руководстве при осуществлении деятельности, выполнение действий по инструкции / готовому алгоритму.
Автономные действия – самостоятельное осуществление деятельности, поиск способа действия или запрос помощи при изменении ситуации адекватно ее сложности /трудности.
Лидерство и инициативу - самостоятельные активные действия, в т.ч. инициативные, принятие решения и оказание помощи другим сотрудникам в нестандартной ситуации.

4. Выбрать инструмент оценивания в зависимости от объекта оценивания:

- продукта деятельности – результата

- или - процесса деятельности

в зависимости от принятого в психологии разграничения деятельности на внутреннюю (психическую/интеллектуальную) и внешнюю (физическую/предметную), которые в чистом виде не существуют. Но в любой трудовой функции можно выделить доминирующий тип деятельности.

В этих целях рекомендуется проанализировать технологический процесс выполнения трудовой функции, описание трудовых действий и необходимых умений, которые обеспечивают выполнение функции.

Например, для профессиональной (трудовой) функции А доминантой является внешняя практическая деятельность, для диагностики которой наиболее эффективны методы наблюдения и практического задания. Функция Б, при выполнении которой преобладает внутренняя интеллектуальная деятельность, требует иных инструментов оценки практического навыка – портфолио, проект.

В целях обоснованного выбора инструмента оценивания задаемся вопросами: «Проявляется ли данный результат обучения в предметной, мануальной деятельности? Можно ли его наблюдать в процессе деятельности или фиксировать только результат, подтверждающий его наличие?».

Рис. 3. Соотнесение доминирующего типа деятельности и инструментов оценивания

Вывод может быть таким: при выполнении данной трудовой функции преобладает внешняя/предметная деятельность, при этом особое внимание уделяется качеству продукта деятельности, его соответствия образцу, а также оценивается алгоритм деятельности, следовательно, для оценки наличия навыка ее выполнения целесообразно использовать практическое задание. Однако, для оценки ряда трудовых действий, не приведенных в данной таблице, но присущих данной профессии, связанных с аналитическими процедурами (внутренняя деятельность), может быть использован метод проектов, в результате которого осуществляется разрешение профессиональной проблемы или значимой практической ситуации.

Для составления общего представления об инструментах оценивания рекомендуем воспользоваться данными таблицы 6:

Таблица 6

Аттестационные материалы // Формы квалификационного контроля	Особенности организационной процедуры	Специфика использования в соответствии с уровнем квалификации
Структурированное наблюдение // Карта наблюдений	Проводится в реальном масштабе времени на реальном рабочем месте или его имитаторе. Отслеживается процесс и продукт деятельности в соответствии с эталонным образцом и алгоритмом данного вида профессиональной деятельности.	3-ий квалификационный уровень позволяет использовать наблюдение в качестве самостоятельного и достаточного квалификационного контроля. На иных уровнях может использоваться, но в комплексе с другими методами.
Практическое задание // Техническое задание	Основное внимание уделяется качеству продукта деятельности, его соответствию эталонному образцу. При высокой сложности некоторого вида деятельности возможна проверка навыка выполнения отдельного действия. Может оцениваться алгоритм деятельности.	Автономно данная форма в целях оценки квалификации не используется, необходима интеграция с иными формами контроля в целях целостной оценки навыка выполнения определенного вида профессиональной деятельности.
Портфолио // Описание целей, структуры, содержания и критериев оценки	Требует большого объема методических разработок для преподавателя по каждому типу портфолио (документов, работ, отзывов) в соответствии с целью использования, а также специально организованного предварительного консультирования аттестуемых.	Только на 6-ом квалификационном уровне при условии использования развернутого комплексного портфолио, отражающего все аспекты и структурные взаимосвязи оцениваемого вида деятельности, может быть достаточным для присвоения квалификации.
Проект // Проектное задание, включающее требование к структуре, содержанию и форме презентации проекта	Проектное задание может включать этап выявления реальных профессиональных проблем. Результатом выполнения проекта является реальный продукт, который представляется в ходе презентации проекта. Желательно получение отзыва от реальных пользователей продукта.	Не целесообразно использовать данный метод на 3-ем квалификационном уровне. На 4-ом квалификационном уровне не используется этап самостоятельного определения проблем аттестуемым. Метод используется комплексно на всех квалификационных уровнях.

Перечень инструментов может быть дополнен.

Blog