Управление качеством образования в уральском государственном педагогическом университете сборник научных статей екатеринбург 2007
| Вид материала | Документы |
- Р. Г. Пихоя. Историческое значение и уроки Февральской революции 1917 г в России, 1421.11kb.
- Инструкция по делопроизводству в Южно-Уральском государственном университете Содержание, 586.6kb.
- Сборник статей Выпуск 3 Москва, 16 февраля 2007, 1294.42kb.
- Вто и процессы экономической интеграции Конференция состоится в городе Екатеринбурге, 56.96kb.
- Муниципальное учреждение «Управление образования» система управления качеством образования, 603.36kb.
- Феномен дополнительности в научно-педагогическом знании 13. 00. 01 общая педагогика,, 698.19kb.
- А. Л. Содержание Предисловие Вступление. Религия, которая убивает, 11799.62kb.
- Крупнейших и крупных городов, 543.56kb.
- Философские основания проблемы эвтаназии: методологический анализ, 970.8kb.
- Предварительная программа конференции 30-10. 00 Регистрация участников, 44.08kb.
МОДЕРНИЗАЦИЯ УПРАВЛЕНИЯ КАЧЕСТВОМ ОБРАЗОВАТЕЛЬНОГО ПРОЦЕССА В ВУЗЕ (обобщение педагогического опыта преподавателей кафедры инновационных теорий и технологий по организации проектной деятельности студентов УрГПУ) Изменение социально-экономических условий современной России предъявляет высокие требования к качеству профессиональной подготовки специалистов. Компетентность становится главным качеством индивидуума, а образовательные учреждения приобретают статус главных социальных институтов, что, безусловно, предусматривает изменения и в управлении качеством образовательного процесса. В условиях модернизации управление качеством образования в вузе наряду с общепризнанными умениями планирования, организации, мотивации, координации, контроля требует от менеджера образования выполнения и наиболее значимых видов управленческой деятельности. Одним из основных видов в переходный период является определение новых подходов к образовательной политике. Работа в этом направлении дает возможность установить, что модернизация российского образования провозглашает компетентностный подход как одно из важных концептуальных положений обновления содержания образования. При этом выясняется, что в понятии компетентностного подхода заложена идеология интерпретации содержания образования, формируемого от результата [1]. Его цель – обеспечение высокого качества подготовки выпускников, адекватного требованиям современного рынка труда. В рамках компетентностного подхода предусмотрено формирование успешной, реализующей свой жизненный потенциал в условиях современной социально-экономической системы, и духовно-нравственной личности, владеющей сформированными убеждениями, идеалами, стремлениями, направленными на самореализацию и самоактуализацию. На уровне и научного, и общественного сознания укоренилось мнение о прямой зависимости качества образования, в первую очередь, от компетентности преподавателя. Анализ психолого-педагогической литературы (Безюлева Г.В., Иванова Н.В., Никитин М.В., Шеламова Г.М.) показывает, что под компетентностью исследователи понимают интегральное проявление качеств личности, в котором сочетаются элементы профессиональной и общей культуры, опыта и педагогического творчества. Следовательно, требования к преподавателю обусловлены требованиями к специалисту, который формируется в процессе обучения в вузе. Однако, принимая во внимания характеристики современного динамично развивающегося общества, в концепции модернизации российского образования до 2010 года отмечается необходимость опережающего характера подготовки преподавателя по отношению к подготовке обучаемых им будущих специалистов, которая в свою очередь требует опережения по отношению к развитию общества. В связи с этим, современному конкурентоспособному педагогу необходимо владеть не только необходимой суммой профессиональных знаний, умений и навыков, определяющих сформированность его педагогической деятельности, педагогического общения и его личности как носителя определенных ценностей, идеалов и научно-педагогического сознания; обладать способностью организатора, мастера-аналитика, психолога, но и компетенцией в области решения проблем. Под компетенцией в области решения проблем ученые (Лернер П.С., Павлова М.Б., Полат Е.С., Романовская М.Б. и др.) рассматривают способность, во-первых, понимать проблему – использовать знания и умения для понимания информации, представленной в различном виде, интегрировать информацию из разных источников. Во-вторых, характеризовать проблему – определять постоянные и переменные, присутствующие в проблеме, устанавливать связи между ними, выдвигать предположения, критически относиться к информации. В-третьих, представлять проблему – разрабатывать форму представления информации, осуществлять свободный переход от одной формы к другой. В-четвертых, решать проблему – принимать решения, учитывая социальную ситуацию, анализировать выбранный алгоритм действий, осуществлять планирование. В-пятых, размышлять над решением – исследовать полученное решение, быть готовым к поиску дополнительной информации, давать оценку, сопоставлять. И, наконец, сообщать решение проблемы – доступно и аргументировано представлять результаты на рассмотрение профессионального сообщества. Кроме того, по мнению А.Г. Кислова, Е.В. Плотникова, Л.А. Савельева, компетенцию в области решения проблем можно рассматривать, как способность осуществлять научный подход в профессиональной деятельности. Она требуется для реализации принципа проблематизации в образовательном процессе, для конструктивного взаимодействия в среде коллег и для утверждения собственного профессионального статуса через процедуру защиты кандидатских и докторских диссертаций. Интеграция научно-исследовательской деятельности и учебной деятельности преподавателей вуза как одно из направлений улучшения качества подготовки будущих педагогов реализуется через включение студентов в творческую деятельность. В творческой деятельности студентов можно выделить два аспекта: исследовательскую деятельность (как творческий вид познания) и собственно творческую деятельность (проектную, конструкторскую), создание нового продукта (как разновидность труда). Так, организацию проектной деятельности студентов в нашем вузе можно представить как инновационную образовательную технологию XXI века, рассматривать ее как отход от «классического» формирования знаний, умений, навыков и переход к идеологии развития на основе личностно-ориентированной модели образования. В ее основе лежит креативность и ряд специфических умений, навыков. К ним можно отнести:
Наработки преподавателей вуза составляют огромный научный фонд, позволяющий сделать вывод о том, что технология проектной деятельности на данный момент достаточно хорошо отработана и включает в себя:
Арсенал педагогических приемов, применяемых при проектировании, постоянно пополняется. Наиболее эффективным является проведение теоретических семинаров, студенческих конференций, в рамках которых планируется проведение выставок, где можно познакомиться с опытом предшествующих «проектировщиков» из числа старшекурсников и работами, выполненными в текущем учебном году. Таким образом, изменения в управлении качеством образовательного процесса в вузе дают возможность сделать УрГПУ научным сообществом, сообществом, порождающим знание и способствующим развитию личностных особенностей студентов как творческих личностей. Литература:
С.Л. Фоменко доцент, зав. кафедрой высшего педагогического образования Управление процессом профессионального становления преподавателя вуза как фактор обеспечения качества образования Руководитель структурного подразделения вуза стремится отследить процесс профессионального становления преподавателей, и это входит наряду с другими в перечень его обязанностей. Однако это отслеживание часто носит субъективный характер, на уровне обыденного педагогического сознания, житейского здравого смысла. В таких случаях трудно говорить о том, что результаты профессиональной деятельности педагогов имеют устойчивый, закономерный характер и идет действительно процесс профессионального становления. Для дальнейшей объективизации данного вида деятельности руководителя структурного подразделения нужен научный подход, а это означает, что отслеживание профессионального становления педагогов школы должно носить мониторинговый характер, которое построено на научно установленных и теоретически обоснованных закономерностях. Профессиональный рост преподавателя кафедры предполагает постоянное повышение квалификации, поиск возможностей наиболее полно реализовать, осуществить себя в профессии, усиление организованности, самостоятельности и ответственности, способности к инновациям и профессиональным переменам. Повышение квалификации педагогов обеспечивается через систему обучения на разных уровнях:
Особое значение для профессионального становления преподавателя вуза имеют курсы повышения квалификации в рамках собственного университета. В 2006-2007 году в УрГПУ были организованы курсы повышения квалификации по следующим программам: «Управление качеством образования», «Управление инновациями», «Управление многоуровневой подготовкой в вузе», «Управление воспитанием студентов». Обучение преподавателей в рамках собственного вуза отражается на всей деятельности педагогического коллектива, поскольку в наибольшей степени ориентировано на решение первостепенных проблем, стоящих перед конкретным образовательным учреждением. Оно способствует профессиональному становлению педагогического коллектива, стимулирует педагогов на достижение высоких результатов в учебной, воспитательной и инновационной деятельности. Руководителям структурных подразделений важно организовать целенаправленное отслеживание профессионального становления педагогов на основе исследования, анализа и коррекции их профессиональной деятельности, используя мониторинговый подход. Задачи мониторинга профессионального становления преподавателя: 1. Выработка комплекса показателей, которые могут наиболее полно описать реальную картину процесса профессионального становления преподавателя. 2. Систематизация информации о состоянии процесса профессионального становления педагогов. 3. Обеспечение регулярного и наглядного представления информации о динамике профессионального роста каждого преподавателя. 4. Информационное обеспечение анализа и прогнозирования профессионального становления преподавателя. 5. Выработка управленческих решений по результатам, полученным в процессе наблюдений за профессиональным становлением преподавателей. Результаты мониторинга: 1. Информация о реальных темпах и уровне профессионального становления преподавателей. 2. Оценка качества управленческой деятельности, направленной на обеспечение роста профессионализма педагогов. 3. Совокупность новых управленческих решений, адекватных реальной ситуации, отражающей процесс профессионального становления преподавателей. Функции мониторинга: - информационная, дает возможность выяснить результативность процесса профессионального становления педагога, получить сведения о состоянии объекта, обеспечить обратную связь; - побудительная, т.к. участие в педагогическом мониторинге различных участников педагогического процесса, повышает уровень их педагогической культуры, побуждает к самоанализу собственного профессионального становления; - формирующая, т.к. внедрение педагогического мониторинга профессионального становления педагога позволит более эффективно использовать его «зону ближайшего развития», понять его сильные и слабые стороны, оказать необходимую управленческую помощь; - коррекционная, тесно связана с формирующей функцией, т.к. направленность мониторинга профессионального становления преподавателя на особенности текущих процессов профессионализации предполагает обнаружение и фиксацию многочисленных, непрогнозируемых, неожиданных результатов процесса профессионального становления, среди них могут быть как положительные, так и отрицательные. Это поможет руководителю и педагогу принять меры на усиление положительных, и в то же время ослабление или нейтрализацию отрицательных тенденций. Особенно важным представляется вопрос о методах сбора и анализа информации в мониторинге профессионального становления преподавателя. В последние годы в педагогической практике образовательных учреждений применяется бальная, рейтинговая оценка профессиональных достижений педагогов. Для сбора и анализа количественных показателей оценки профессиональной деятельности педагогов мы рекомендуем использовать рейтинговую систему оценивания деятельности. Мы предлагаем свой вариант адаптации американской методики определения усредненного взвешенного рейтинга деятельности преподавателя вуза, в соответствии с которой вся деятельность преподавателя распределяется по основным функциональным направлениям. Определение усредненного взвешенного рейтинга деятельности преподавателей вузов: 1. Учебно-методическая деятельность преподавателя. 1.1.Результаты открытых занятий и контрольных посещений: - высокий методический уровень – 7 баллов; - достаточный методический уровень – 5 баллов; - недостаточный методический уровень – 5 баллов. 1.2. Подготовка учебно-методических пособий – до 5 баллов. 1.3. Подготовка учебных программ – до 5 баллов. 1.4. Разработка и использование инновационных педагогических технологий – до 5 баллов. 2. Научно-методическая деятельность преподавателя. 2.1. Публикация научных статей – до 3 баллов. 2.2. Разработка и публикация учебников – до 5 баллов. 2.3. Публикация научно-методических материалов – до 2 баллов. 2.4. Участие в научно-практических конференциях разного уровня – до 3 баллов. 3. Персональная результативность преподавателя. 3.1. Является кандидатом наук – 1 балл; доктором наук – 3 балла. 3.2. Посещение ФПК, наличие удостоверения – 1 балл. 4. Общественная деятельность преподавателя. 4.1. Является руководителем общественной организации – 5 баллов 4.2. Является членом общественного объединения – 2 балла. 5. Другие виды деятельности – до 5 баллов. Структурное содержание деятельности преподавателя вуза
Взвешенный усредненный рейтинг определяется умножением каждого итогового показателя по видам деятельности на процентное содержание в структуре общей деятельности, сложения всех полученных результатов. Таким образом, внедрение рейтинговой оценки профессиональной деятельности преподавателя вуза в мониторинге профессионального становления с использованием рейтинговой системы оценивания выполняет несколько задач: - способствует гуманизации процесса профессионализации, создавая условия для самоактуализации личности и защите ее социального статуса, создавая ситуацию успеха каждому преподавателю в профессиональной деятельности; - создает возможность для проведения постоянного слежения за динамикой достижения социально-значимых критериев профессиональной деятельности и для проведения коррекционной и структурно-содержательной работы по улучшению процессов профессионализации на разных уровнях профессионального становления; - позволяет эффективно управлять ходом профессионального становления членов педагогического коллектива, учитывая их личные интересы. По результатам рейтинга руководителям структурных подразделений целесообразно ввести различные способы материального и морального стимулирования работников, что, несомненно, будет являться мощным мотивирующим фактором повышения качества профессиональной деятельности преподавателя вуза. II. Мониторинг качества образования в УрГПУ А.В. Смирнов доцент кафедры психологии личности, факультет психологии Практические аспекты оценки качества образования работающего выпускника Качество образования выпускника Вуза по большому счету определяется небольшим числом составляющих. Во-первых, тем, чему учат выпускника в Вузе. Во-вторых, тем, как и с каким качеством его учат. В-третьих, тем, как и с каким качеством учится сам студент. И, наконец, в-четвертых, тем, каким работником он является, с каким качеством и эффективностью он работает в условиях реальной профессиональной деятельности. Первые три составляющие входят в то, что называется «государственным стандартом образования» и оцениваются в рамках этого стандарта по соответствующим критериям и методикам. Однако, наиболее существенной частью качества образования выпускника выступает четвертая составляющая. Она является собственно, квинтэссенцией того, как и чему учили студента, чему и как он учился сам. Это итоговый результат всего учебно-воспитательного процесса. Поэтому оценка того, каким работником является выпускник, на наш взгляд выступает более существенной при оценке качества образования. В решении этой задачи исследователь сразу же сталкивается с целым комплексом методологических и методических проблем и различных практических вопросов, которые требуют своего решения. Как практически осуществить объективную и полную оценку качества образования уже работающего выпускника? На этот вопрос поможет ответить представленная статья. В ней излагаются некоторые рекомендации по практической реализации оценки качества образования работающего выпускника, осуществленные на факультете психологии УрГПУ в период 2006-2007 гг. в рамках проекта «Факультет сегодня и завтра». 1. Методологические, методические и практические проблемы оценки качества образования работающего выпускника К проблемам, возникающим перед исследователем можно отнести следующее: Кто будет источником информации о различных аспектах профессиональной компетентности выпускника. Кто будет выносить суждения о выпускнике, как о работнике? Что исследовать. Какие параметры подвергать оценке? Каким должен быть инструментарий адекватный целям исследования, и какие методы сбора информации целесообразно использовать? Какова должна быть надежность и валидность этого инструментария и методов сбора необходимой информации? Проблема доступности информации. Проблема объективности и надежности получаемой информации. Проблема полноты информации. Эти перечисленные проблемы, представляют, по-существу, те исследовательские задачи, которые возникают в связи с необходимостью оценки качества образования. Их последовательное решение определяет методологию, методы, дизайн и стратегию исследования. Рассмотрим их последовательно. 1.1. Кто может быть источником информации для оценки качества полученного образования, работающим выпускником Ответ на такой вопрос достаточно очевиден. Источником информации может выступать, во-первых, сам выпускник. Именно он может ответить на вопросы, касающиеся того, насколько полученное им образование (различные стороны учебно-воспитательного процесса) способствует эффективности, продуктивности и качеству его профессиональной деятельности. Во-вторых, это тот, кто может оценить выпускника как работника (например, директор предприятия, его непосредственный начальник, коллеги или подчиненные). Здесь нужно акцентировать внимание на одном существенном моменте. Как показала практика, после поступления на работу, выпускник, по истечении определенного срока, перестает восприниматься окружающими его коллегами как студент. К нему предъявляются все требования, которые предъявляются к любому дееспособному, работающему человеку. Работодателям, по большому счету, безразлично где, как и в каком Вузе, студент получал образование (особенно это относится к частному бизнесу). Главное, чтобы работник работал, так как нужно, сколько нужно, с максимальной эффективностью и продуктивностью. Из этого следует, что получить оценку качества образования уже работающего выпускника в так называемом «чистом виде», от тех, с кем рядом работает выпускник, вряд ли возможно. Судить о качестве образования бывшего студента его коллеги, подчиненные или руководители, могут только косвенно через оценку его как работника. Практика показала, что руководитель предприятия, как правило, затрудняется оценить того работника, с которым не работает в непосредственном контакте. Подчиненные или коллеги, оцениваемого лица, по разным причинам, склонны занижать или напротив, завышать оценки, высказывать преимущественно негативные или только позитивные суждения. Наиболее объективные сведения предоставляют непосредственные руководители работника. Итак, из вышесказанного можно сделать следующие выводы: Источником информации в определении качества образования работающего выпускника могут выступать: сам выпускник и его непосредственный руководитель. Выпускник в большей степени, чем его непосредственный руководитель, может предоставить информацию о том, какие именно аспекты целостного учебно-воспитательного процесса способствуют (или препятствуют) его эффективной профессиональной деятельности. Непосредственный руководитель может оценить выпускника только как работника. О качестве образования выпускника он может судить только косвенно через профессиональную деятельность своего подчиненного. Эти особенности необходимо учитывать при подготовке инструментария для получения интересующей исследователя информации. 1.2. Что исследовать и какие параметры подвергать проверке При анализе этого вопроса сразу же обнаруживается противоречие между тем, что включается в критерии качества образования в рамках «государственного образовательного стандарта» и того, что включается в критерии «комплексной оценки работника» в рамках реальной профессиональной деятельности. В первом случае исследуется динамика и качество процесса обучения, количество и качество знаний, но не уровень профессиональной подготовки студента. Во втором случае, исследователя интересует уровень и качество выполняемой работником профессиональной деятельности и его профессиональная компетентность. Причем, оценка качества образования изначально занимает здесь незначительную часть в перечне других критериев и не является главенствующей [; ]. Итак, здесь стоит акцентировать внимание на том, что попытки создавать системы «сквозной» оценки качества образования (от первого курса, до оценки профессионализма, работающего выпускника) просто бессмысленны и бесполезны. Это обусловлено тем, что система оценки качества образования в рамках «государственного образовательного стандарта» и система «аттестации работника» не совместимы. Они изначально имеют различные цели и различные «системы координат». Поэтому, при разработке систем оценки качества образования работающего выпускника, нужно сразу ориентироваться на разработку системы его оценки как работника и не пытаться «притягивать за уши» исключительно весь учебно-воспитательный процесс, который выпускник прошел в Вузе. Так, например, если источником информации выступает наш выпускник, то перечень тем, вопросов, параметров должен касаться только тех аспектов учебно-воспитательного процесса и образования, которые непосредственно касаются именно профессиональной деятельности выпускника. В рамках осуществленного нами проекта «Факультет сегодня и завтра», особый акцент при взаимодействии с выпускниками делался на следующие моменты:
Акцент на этих «темах» не случаен. На наш взгляд, в них хорошо просматривается содержательная связь между профессиональной деятельностью выпускника и различными аспектами учебно-воспитательного процесса. Собрав информацию, можно достаточно ясно представить, что в процессе обучения в Вузе, позитивно или негативно сказалось на реальной профессиональной деятельности выпускника. Это, хотя и косвенно, но все же позволяет увидеть «роль» и «влияние» образования, полученного выпускником на его профессиональную деятельность. Опыт работы с выпускниками показывает, что из перечня тем должны быть исключены вопросы о перспективах карьеры, конкурентоспособности, уровне заработной платы – по разным причинам они воспринимаются как не этичные. Кроме того, выпускник начинает карьеру «с нуля» и может лишь весьма относительно спрогнозировать перспективы своего карьерного роста. Несколько сложнее обстоит дело с определением параметров для оценки выпускника работодателями, поскольку здесь, как указывалось, иная «система координат». К настоящему времени создано обширное научное, нормативно-правовое и организационное обеспечение самых разнообразных форм проведения аттестации работников, включая электронную дистантную аттестацию [; ; ; ; ]. Однако, какой бы ни была аттестация, в ней всегда используется так называемое аттестационное представление, в котором отражаются основные характеристики личности работника, его поведение, профессиональные достижения и квалификация. На практике и в большинстве первоисточников [см. ; ; ; ; ; ;] популярен следующий типичный шаблон характеристик работника, которые традиционно отражаются в аттестационном представлении независимо от характера и целей аттестации.
Поведение вне производственного процесса и коллектива. Понятно, что посторонним лицам (анкетерам со стороны) едва ли кто-то позволит собирать информацию по всем перечисленным параметрам. Поэтому, например, в рамках нашего проекта для изучения мнения работодателей, были использованы более нейтральные параметры, вошедшие в ранее разработанную анкету []. В нее входят шесть следующих блоков:
Стоит отметить, что подобный перечень параметров, охватывающий подобные блоки информации, не должен насчитывать более 40 пунктов, поскольку заполнение их большего числа, вызывает раздражение и влечет отказ респондентов от сотрудничества. Кроме того, респонденты из числа работодателей категорически отказываются сотрудничать, если сталкиваются с вопросом об объемах средств, которыми оперирует предприятие, а также с вопросами о юридическом или электронном адресе предприятия. Из выше сказанного можно сделать следующие выводы:
1.3. Методы и инструменты сбора информации, их надежность и валидность. В качестве оптимального метода сбора информации нам представляется именно социологический опрос, организованный по принципам классического анкетного опроса, а также метод свободного интервью. Практика показала, что иные виды получения информации, такие как тестирование, телефонный опрос, стандартизированные оценки, структурированное интервью, общение по обычной или электронной почте, а также посредством факсимильной связи, оказываются мало информативными и мало эффективными [; ; ]. Их эффективность оценивается нами в пределах 6% – 19%. Наиболее эффективным, таким образом, оказывается анкетный социологический опрос и свободное интервью (беседа), проведенные в непосредственном, живом контакте с респондентами. Инструментом такого опроса выступает метод интервьюирования и анкета, содержащая все интересующие исследователя переменные. Отчасти, выше мы представили некоторые методические рекомендации, но более подробную информацию по созданию анкеты или проведению социологического интервью, можно почерпнуть в любом справочнике по социологическим методам (см., например ). Создаваемая анкета должна быть достаточно валидна и надежна. Подробнее рассмотрим, что это такое. Надежность инструментария – это его помехоустойчивость, способность давать надежную информацию независимо от воздействия различных факторов. Надежность включает в себя и внутреннюю согласованность, то есть содержательную согласованность всех шкал (вопросов) которые входят в состав инструмента. К надежности инструментария относится и требование достаточности, то есть перечень его шкал (вопросов) должен быть достаточен для исследования изучаемых параметров [; ; ; ; ; ]. Относительно целей исследования, которые обозначены в данной статье, скажем, что анкета должна быть надежна в отношении различных аспектов профессиональной деятельности выпускника, так и в отношении аспектов связи, полученного им образования и реальной профессиональной деятельности. Для решения этой задачи мы рекомендуем создание двух анкет: для выпускника и для работодателя. Для определения согласованности разработанной анкеты, первоначально проводят ее пилотажные испытания. Надежность анкеты, нашем случае, может определяться методом факторной валидности. Для этого на вопросы анкеты должны ответить, по крайней мере, 30 человек. Полученные результаты подвергаются ротации, в рамках процедуры факторного анализа [; ; ]. Анкета может считаться надежной, если, во-первых, содержание выделенных факторов соответствует содержанию исследуемой с помощью анкеты темы. Во-вторых, если суммарный коэффициент объясняемой дисперсии больше 0,51, то факторная структура анкеты, а значит и сама анкета, являются устойчивыми и надежными [см.: ; ; ; ]. Процедура факторного анализа может быть произведена с помощью компьютера и статистического пакета «SPSS» или «Statistica». Валидностью инструментария – называется обобщенная характеристика, указывающая на то, что разработанный инструментарий действительно «измеряет» то, для чего он разрабатывался, и «делает» это достаточно хорошо [; ; ; ; ; ; ]. Другими словами, анкета должна собирать информацию только о том, для чего она была разработана. Если анкета направлена на изучение мнения студента о различных аспектах учебно-воспитательного процесса, так или иначе повлиявших на его профессиональную деятельность, то она должна содержать в себе вопросы, относящиеся именно к этой теме. Если выпускник рассматривается как работник, то и анкета должна содержать вопросы, относящиеся именно к этому. В рамках интересующей нас темы исследования качества образования работающего выпускника, важно, чтобы разрабатываемый инструментарий отвечал требованиям, по крайней мере, трех видов валидности: содержательной, критериальной внутренней, конструктной. Подробнее остановимся на каждом из этих типов валидности. Содержательная валидность определяет соответствие вопросов анкеты изучаемой теме [; ; ; ; ; ]. Наиболее простой способ ее определения состоит в экспертной валидизации анкеты. Для этого не менее пяти экспертов, содержательно анализируя вопросы анкеты, определяют их соответствие изучаемой посредством анкеты темы, по пяти бальной шкале. Их оценки заносятся в таблицу 1 Таблица 1 Формирование матрицы оценок экспертов-оценщиков
Затем определяется глобальная мера согласованности экспертов – коэффициент Кронбаха–α, – который можно вычислить с помощью формулы или любой статистической компьютерной программы [см: ; ; ; ; ]. Если этот коэффициент находится в пределах 0,65 – 0,99, то анкета является достаточно надежной. Только после проведения таких расчетов в ходе специально организованных пилотажных испытаниях инструментария, можно быть уверенным, что анкета будет давать надежные результаты и будет «измерять» именно то, для чего она была разработана. Критериальная внутренняя валидность в данном случае используется для определения устойчивости и внутренней согласованности анкеты [; ; ]. Для ее определения производят пилотажное анкетирование не менее 30 респондентов. Затем производят внутреннюю перекрестную корреляцию между вопросами анкеты. После этого, выборку разделяют на две половины и повторно производят корреляционный анализ между одними и теми же пунктами анкеты на обеих половинках отдельно. Внутреннюю перекрестную валидизацию можно считать удачной, когда корреляции одних и тех же пунктов на двух выборках оказываются статистически значимыми и совпадают по статистической значимости с корреляциями, полученными на всей группе (без разделения на половинки) [; ; ; ; ; ; ; ; ]. Конструктная валидность анкеты показывает, насколько результаты анкетирования могут рассматриваться в качестве меры некоего теоретического конструкта или свойства – в нашем случае таким конструктом является уровень профессиональной деятельности выпускника или его оценка качества образования. На практике ее удобнее проверить уже указанным приемом факторного анализа [; ]. Таблица 2 Сводная таблица минимально допустимых показателей надежности и необходимых видов валидности социологического инструментария
Подведем итоги по данному пункту: В качестве оптимальных методов сбора информации выступают социологический опрос, организованный по принципам классического анкетного опроса, а также метод свободного интервью, проведенные в непосредственном живом контакте с респондентами. Практика показала, что иные виды получения информации: тестирование, телефонный опрос, стандартизированные оценки, структурированное интервью, общение по обычной или электронной почте, а также посредством факсимильной связи, оказываются мало информативными и мало эффективными. Их эффективность оценивается в пределах только 6% – 19%. Социологический анкетный опрос предполагает создание соответствующих анкет: анкета для выпускника, анкета для «работодателя» (непосредственного руководителя выпускника) Анкеты должны быть надежными и валидными. Надежность анкет может определяться методом факторного анализа. Если содержание выделенных факторов соответствует тематике анкеты, а общий процент суммарной объясняемой дисперсии более 51% (0,51), то анкета является надежной. В качестве критериев валидности анкеты определяют содержательную, внутреннюю перекрестную и конструктную виды валидности. Методами проверки этих видов валидности являются: экспертная эмпирическая валидизация, корреляционный и факторный анализы, процедуры которых могут быть произведены с помощью компьютера. 1.4. Сбор информации и ее доступность Осуществление этой части исследования качества образования работающего выпускника предполагает непосредственный контакт с респондентами. И именно здесь может возникнуть ряд специфичных проблем при работе с респондентами:
Анализ показал, что в большей степени эти явления встречаются при работе с руководителями частных фирм и кампаний. В меньшей степени эти проблемы представлены в сотрудничестве с работодателями бюджетных организаций. В среде частного бизнеса возникают в связи:
Основными причинами этих явлений в среде работодателей из бюджетной сферы являются:
В связи с этим, анкетерам целесообразно давать инструкцию вступать в сотрудничество только с теми респондентами, которые сами добровольно идут на контакт. При возникновении сопротивления, во-первых, не доказывать ценность и важность проводимых исследований, не навязываться. Во-вторых, игнорировать различные оценочные и иные негативные суждения о факультете или Вузе в целом, и не вступать ни в какие формы полемики. В-третьих, в любых ситуациях, возникающих при сборе информации, проявлять чрезвычайно высокую корректность, интеллигентность, выдержку и вежливость. Поэтому, участникам исследования, которые характеризуются аффективностью, повышенной сензитивностью, слабостью цензуры поведения, рекомендовано не принимать участие непосредственно в сборе информации. В-четвертых, при получении отказа о сотрудничестве уяснить официальную причину отказа. Кроме того, всех анкетеров, участвующих в сборе информации, следует наделить удостоверениями личности, заверенных печатью факультета, подписью декана и руководителя исследований, с описанием целей анкетирования и полными адресными данными факультета, включая номера телефонов. Наиболее мнительные респонденты должны легко проверить информацию, не встречая сопротивления, и убедиться, что анкетеры не являются «засланными казачками». Для получения необходимой информации, как указывают специальные источники и опыт осуществления проекта, достаточно выйти на контакт с 30%–35% выпускников и работодателей, подчиненными которых являются выпускники УрГПУ [; ]. Краткие выводы по рассмотренному вопросу:
2. Анализ и представление данных Эта часть исследования не менее важна, чем остальные, поскольку именно в этой части работы определяется действительная объективность и полнота собранных сведений. Конечно, если исследователя интересуют только тенденции, то он может ограничиться представлением анализа процентных показателей, проиллюстрировав их графически. Однако, если важно обнаружить скрытые закономерности и повысить полноту и объективность информации, то необходимо использовать методы глубокого статистического анализа. Кстати сказать, реальную проблематику, скрытую в учебно-воспитательном процессе или профессиональной деятельности выпускников, можно обнаружить только с помощью методов глубинного статистического анализа. Их осуществление мы предлагаем выполнять с помощью статистических пакетов «SPSS», «Statistica». В представленной статье из их огромного числа, мы рассмотрим наиболее необходимые для проведения оценки уровня образования работающего выпускника. 2.1. Валидность и надежность анкет, и расспрос респондентов Выше мы уже говорили, что обеспечение надежности и различных видов валидности используемых анкет, значительно повышает надежность информации. Однако, ее уровень еще более повышается при сочетании анкетирования и параллельно проводимого расспроса респондентов по различным аспектам (включенным или не включенным в состав анкеты). Расспрос позволяет дополнять и уточнять информацию. 2.2. Проверка нормальности распределения данных Нормальность распределения получаемых данных, в нашем случае указывает на то, что в оценках качества образования выпускниками или в оценках работодателей в отношении выпускников как работников, учитывается достаточное количество разнородных факторов и учтен максимально широкий перечень мнений, что само по себе делает картину объективной [; ; ; ; ; ; ; ; ; ; ]. При определении характера распределения важно также оценить коэффициенты асимметрии и эксцесса. Если наблюдается правосторонняя асимметрия – респонденты склонны занижать оценки. Если наблюдается левосторонняя асимметрия – респонденты склонны завышать оценки. Отсутствие нормальности распределения может быть связано и с существованием вполне реальных, но скрытых проблем. Во всяком случае, отсутствие нормальности распределения может быть сигналом к более глубокому и более пристальному анализу. Проверка распределения является и существенным фактором проверки действительного анкетирования респондентов анкетерами, а не «вписывания ответов» анкетерами, сидя где-нибудь на подоконнике в общежитии. Сигналом к такой фальсификации может служить, например, двухвершинное распределение, которое обнаруживается при анализе гистограмм [; ; ; ]. И, наконец, проверка нормальности распределения указывает на то, какие методы статистического анализа – параметрические или непараметрические – следует использовать в дальнейшем анализе. 2.3. Проверка репрезентативности выборки Также говорит о представительности результатов, допустимости их распространения на всех выпускников. Этот шаг наиболее важен, когда не удается подвергнуть ни расспросу, ни анкетированию все 100% работодателей или выпускников – а в реальности этого и невозможно достичь. Оценка репрезентативности результатов производится по методу расщепления выборки («четный-нечетный») с последующим сравнением половин по критерию Смирнова-Колмогорова λ или по критерию Стьюдента – t [; ; ; ; ]. Если, после проверки их по критериям не обнаруживается различий, то результаты (информация) репрезентативны, устойчивы и надежны, и могут экстраполироваться на всех выпускников, даже тех, кто не вошел в опрос. 2.4. Проверка непреднамеренной согласованности ответов респондентов Производится по критериям синхронной надежности ά – Кронбаха [; ; ; ]. Нормативный показатель для социологических исследований составляет 0,75 или 75% []. Если достигается это или большее значение, то единство мнения респондентов в отношении различных аспектов, отраженных в вопросах анкеты можно оценить как объективные и представленные не преднамеренно. 2.5. Разведочный конкордант–анализ Этот метод является методом глубокого статистического анализа. По своей природе он похож на метод факторного анализа и позволяет исследовать скрытую проблематику при анализе относительных (процентных) данных. С его помощью можно изучить и структуру сгруппированных и категорированных переменных, включенных в массив данных, представленных в табличной форме [], например, не числовые, а вербальные оценки респондентов (которые у каждого индивидуальны). При этом, в отличии от классического факторного анализа, при обработке данных не требуется задействовать обязательно весь массив переменных, а можно использовать их произвольно выбираемое количество []. Это позволяет обнаруживать скрытые взаимосвязи только между интересующими исследователя переменными. Кроме того, этот метод позволяет отделять субъективные оценки от объективных показателей. Можно использовать простейший двухвходовый метод конкордант-анализа, когда различные категории ответов респондентов на два сопоставляемых между собой вопроса представляются в табличной форме (строки и столбцы одной таблицы) в виде координат многомерного пространства. В качестве таких координат (координатных точек) пространства выступают все категории ответов на сопоставляемые вопросы. Первоначально, посредством таблиц согласованности (конкордантности) между категориями объединяют (агрегируют) всю информацию о возможной согласованности различных категорий. Такое представление данных позволяет вычислить (евклидовы) расстояния1 между всеми точками этого многомерного пространства – чем меньше расстояние, тем больше сходство (согласованность, совпадение или связь) между категориями []. В нашем случае это расстояние может определяться в процентах [], чем больше процент, тем меньше расстояние и тем больше согласованность. На втором этапе идет проверка неслучайной согласованности категорий. Для этого определяют «инерцию массы данных в данной точке пространства». Инерция определяется на основе вычисления значения χ2 Пирсона для сопоставляемых категорий, деленное на общее количество наблюдений. Нулевой гипотезой при этой операции считается гипотеза о полной независимости переменных (в данном случае категорий). Если значение χ2 статистически значимо – категории действительно независимы (несвязанны) и согласованность случайна. Если значение χ2 статистически незначимо – категории действительно связанны и согласованность неслучайна []. Компьютер все это делает самостоятельно, необходимо нажимать только нужные кнопки. На третьем этапе определяется степень связи, которая, по существу, указывает и на содержательную (смысловую) связь между категориями. Для этого используется вычисление традиционно известных критериев корреляции – r Пирсона или R Спирмена – и их традиционная интерпретация [; ; ; ; ; ; ; ]. 2.6. Дисперсионный анализ Применяется в том случае, когда исследователю необходимо определить влияния различных факторов на изучаемый показатель []. Так, например, в нашем случае необходимо определить влияние знания иностранного языка на производительность или эффективность профессиональной деятельности выпускника. В этом случае не обойтись без использования дисперсионного анализа. Он позволяет четко определить, какие изучаемые с помощью анкеты параметры являются независимыми (ведущими), а какие зависимыми. Наиболее целесообразно использовать однофакторный дисперсионный анализ. Подробную информацию по его непосредственному применению в условиях практики, рекомендуем почерпнуть, например, из: Сулицкий В.Н. «Методы статистического анализа в управлении»: Учебн. пособие. – М.: «Дело», 2002. – 520 с. 2.7. Факторный анализ Главными целями факторного анализа являются: сокращение числа переменных (редукция данных), определение структуры взаимосвязей между переменными, т.е. классификация переменных, и, наконец, для обнаружения скрытых взаимосвязей между переменными, которые не видны при непосредственной работе с данными. Поэтому факторный анализ используется и как метод сокращения данных и как метод классификации и как метод обнаружения скрытых закономерностей, в роли которых, в нашем случае, может выступить и скрытая проблематика в подготовке студентов [; ; ; ]. В рамках факторного анализа данные представлены в виде факторной таблицы. Факторы взаимосвязаны между собой содержательно (по входящим в их состав переменным) и статистически (за счет дисперсии и корреляционных связей). Если мы представим все наши данные в виде куба, то традиционными методами, мы можем относительно полно увидеть три его стороны, остальные будут от нас скрыты. Именно процедура факторного анализа, «вращая» все переменные в выбранной системе координат, позволяет увидеть скрытые закономерности. На основе анализа содержания выделенных факторов и входящих в их состав переменных, можно выделить содержательно новые закономерности. Напомним, что выделенная факторная структура является устойчивой, если, во-первых, процент общей дисперсии более 51% (0,51), во-вторых, если произведение двух максимальных коэффициентов корреляции внутри каждого фактора, больше статистически значимого коэффициента корреляции при данном N (количестве респондентов) [; ; ]. В заключении отметим два, важных на наш взгляд момента. Первый из них состоит в том, что самые совершенные методы анализа, требуют содержательной и наполненной интерпретации данных и их внятного объяснения, которое может дать только сам исследователь. Второе замечание состоит в том, что образование всегда будет несколько отставать от требований реальности, оно должно оставаться несколько консервативным, поскольку направлено на усвоение студентами только проверенных знаний. Поэтому попытки «уровнять» образовательный процесс и требования реальности (практики) едва ли нужны, если мы хотим сохранить наше образование на хорошем качественном уровне. Литература:
Л.Е. Петрова доцент, зав.кафедрой теоретической и прикладной социологии | |||||||||||||||||||||||||||||||||||||||||||||