Отчет о научно-исследовательской работе

Вид материала

Содержание

Подобный материал:

1 2 3 4 5 6 7 8 9 ... 12

ВВЕДЕНИЕ

Необходимость исследования была продиктована тем, что в СПбГУ отсутствует система аттестации научно-педагогических работников (профессорско-преподавательского состава), направленная на повышение квалификации и развитие кадрового потенциала. Конкурсы на замещение должностей научно-педагогических работников, по сути, являются закрытыми и не приводят к значительному повышению качества работы и привлечению молодых, активных, высококвалифицированных работников для проведения научно-педагогической деятельности на более высоком уровне. Нам кажется, что не стоит говорить о закрытости и формальности выборов. Любую систему можно сделать закрытой и формальной.

Цель НИР – Разработка новых методик проведения аттестации научно-педагогических работников и конкурса на замещение должностей научно-педагогических работников с целью значительного повышения качества основной деятельности.

Результатом НИР должна стать методика аттестации научно-педагогических работников, обеспечивающей выход в систему повышения квалификации, и рекомендации по организации и проведению конкурсов на замещение должностей НПР.

Предложено методику аттестации основывать на расчете рейтинговых показателей (двух или более факторов, индикативных показателей), которые, в свою очередь, вычисляются с помощью особых метрик на основе базовых рейтинговых показателей, характеризующих научно-педагогическую деятельность сотрудника с учетом 13 аспектов указанной деятельности.

Согласно техническому заданию (приложение Д) изначально оценка квалификации предполагалась двухфакторной: с отдельными оценками (факторами, индикативными показателями) педагогической и исследовательской квалификации сотрудника. Однако по результатам исследования предлагается дальнейшая диверсификация рассматриваемых факторов (индикативных показателей), которые, тем не менее, базируются на одном и том же наборе базовых рейтинговых показателей.

Диверсификация должна осуществляться за счет разных метрик для расчета соответствующих факторов (индикативных показателей), причем выбор метрики осуществляется в зависимости от задач: сравнение претендентов на должность во время проведения конкурса, построение рейтинга научно-педагогических работников (профессорско-преподавательского состава) во время промежуточной аттестации, выработка решений по поощрению научно-педагогических работников (профессорско-преподавательского состава) и др.

Сформированный (но допускающий дополнения) перечень базовых показателей приведен в настоящем отчете (приложение А). Пополнение указанного перечня и формирование системы оценок относительной важности каждого базового показателя (отдельно для каждой из указанных выше задач) предлагается выполнять в несколько итераций на основе консультаций с экспертами и профессорско-преподавательским составом СПбГУ.

Система базовых рейтинговых показателей пополняется показателями, полученными в результате опроса студентов (приложение Б).

Наиболее существенным требованием технического характера к «Методике проведения аттестации…» представляется стабильность набора базовых рейтинговых показателей, что компенсируется разнообразием метрик для расчета разных факторов (индикативных показателей). Это позволит без дополнительных трудозатрат на внесение исходных данных по-разному оценивать различные аспекты деятельность научно-педагогических работников (профессорско-преподавательского состава) за счет разработки соответствующих новых метрик, использующих уже существующую базу данных для расчета новых факторов (индикативных показателей).

Промежуточный отчет по НИР (этап 2) — Отчет о научно-исследовательской работе «Двухфакторная многокритериальная методика аттестации научно-педагогических работников СПбГУ на основе показателей эффективности их научно-образовательной деятельности с учетом личных достижений» (промежуточный), шифр 6.39.231.2011. Номер регистрации темы 01201175575, инвентарный номер 6.39.231.2011/2.

ОСНОВНАЯ ЧАСТЬ

Позиционирование «Методики аттестации…», основные принципы, ограничения, возможности и риски

1.1. «Методика аттестации…» является элементом индикативного планирования, оказывает жесткое управляющее воздействие

В первую очередь следует отметить, что «Методика аттестации…» является по своей природе одним из «управляющих» элементов системы (наличие которой может осознаваться и не осознаваться, признаваться или не признаваться, а также получать полярные оценки от участников планируемой и осуществляемой деятельности) индикативного планирования деятельности и развития СПбГУ. (Индикативное планирование противопоставляется директивному планированию. Если максимально упростить пояснение, то можно сказать, что директивное планирование предписывает что, как и когда делать с предоставленными субъекту ресурсами, чтобы получить достаточно детально описанный в плане результат. При индикативном планировании субъекту указывается индикаторы, определенных значений которых он должен достичь, и, вообще говоря, также предоставляются ресурсы, достаточные для выполнения поставленных в индикативном плане задач.)

С точки зрения индикативного планирования, «Методика аттестации…» является также одним из каналов трансляции показателей (требований) «Программы развития федерального государственного образовательного учреждения высшего профессионального образования «Санкт-Петербургский государственный университет» до 2020 года» (принята 7 октября 2010 г.) с общеуниверситетского уровня на уровень профессорско-преподавательского состава (научно-педагогических работников).

Как управляющий элемент индикативного планирования «Методика аттестации…» (наряду с методиками расчета различных поощрений) будет оказывать решающее влияние на деятельность профессорско-преподавательского состава и может привести к глубокой перестройке учебного процесса, научной и научно-педагогической деятельности, отношений горизонтального и вертикального характера в среде профессорско-преподавательского состава. Подобные явления отмечались при введении «Индивидуального рейтингового показателя результативности научной деятельности научного сотрудника» (ПРНД) в исследовательских учреждениях Российской академии наук, причем эти явления далеко не всегда носили конструктивный и позитивный характер.

1.2. «Методика аттестации…» базируется на гетерогенной и иерархической совокупности исходных показателей

Кроме того, эксперимент в РАН, начавшийся с того, что ПРНД рассматривался как универсальный показатель эффективности деятельности научного сотрудника и рассчитывался по универсальной для всех учреждений методике, завершился тем, что каждому учреждению было дано право самостоятельно устанавливать методику расчета ПРНД, а сам показатель стал лишь одним из многих других (явных и неявных), характеризующих деятельность научного сотрудника. Видимо, основной причиной этого стало неустранимое разнообразие, различие отраслей наук, оценку эффективности деятельности в которых хотелось свести к одному показателю.

Для сохранения единства «Методики аттестации…» внутри СПбГУ, вероятно, придется ввести иерархию первичных показателей и процедур их свертки. Предлагается начать рассмотрение с трехуровневой иерархии: 1) универсальная составляющая, которая устанавливается руководством университета и отражает требования к отбору сотрудников и к самим сотрудникам работать на достижение целей университета, 2) факультетская составляющая, 3) кафедральная составляющая.

Универсальная составляющая, в частности, может транслировать показатели с уровня «Программы развития СПбГУ до 2020 г.» на уровень отдельного сотрудника. Примером показателя, который может быть отнесен к универсальной составляющей, является «число публикаций, сделанных в журналах, размещенных в системе Web of Science».

Факультетская составляющая может транслировать «систему ценностей», сложившейся в той или иной сфере науки, искусства, профессиональной сфере. Например, на каких-то факультетах будет важен показатель «число проведенных персональных выставок», а на каких-то — «число зарегистрированных программ и баз данных в РОСПАТЕНТЕ, ЦИТиС или (и) ОФЭРНиО».

Кафедральная составляющая, вероятно, будет отражать «систему ценностей», связанных с повседневной научно-педагогической, исследовательской, методической и организационной деятельностью, а также с узкой специализацией кафедры.

1.3. «Методика аттестации…» многофакторна

Квалификация членов профессорско-преподавательского состава многогранна; можно упомянуть такие грани квалификации, как научно-педагогическая, исследовательская, научно-организационная, методическая и проч.

«Методика аттестации…» неизбежно должна учитывать эту многогранность. Согласно техническому заданию на основе исходных показателей будут оцениваться два фактора (грани квалификации): педагогическая квалификация и исследовательская. (Это не отменяет возможности того, что в ближайшем будущем потребуется оценивать и другие факторы.)

1.4. «Методика аттестации…» имеет относительно динамичные и относительно статичные компоненты

С изменениями «внешней среды» (в том числе, законодательства и целеустанавливающих документов) и накоплением опыта использования «Методики аттестации…» последняя будет неизбежно изменяться. Важно сделать эти изменения наименее болезненными для членов профессорско-преподавательского состава, чтобы им не пришлось каждый год осваивать новые процедуры оценки квалификации и предоставлять новый по составу пакет сведений.

В этом отношении требуется выделить набор первичных показателей, который либо не будет изменяться, либо будет изменяться медленно. Таким образом будет достигнута стабильность в составе пакета сведений, который член профессорско-преподавательского состава должен будет регулярно (возможно, ежегодно) представлять для оценки своей квалификации.

Вариативность должна концентрироваться в процедурах оценки факторов, в «весах», которые будут приписываться первичным показателям. Процедуры оценки и веса могут меняться централизованно, если «Методика аттестации…» будет автоматизирована. Кроме того, такой подход с какого-то момента позволит анализировать динамику оценок квалификации, поскольку такие оценки по накопленным базам данных могут быть в любой момент рассчитаны по методике, наиболее подходящей для решения возникших в конкурентный момент времени задач.

Наконец, такой подход позволит оценивать и другие квалификационные факторы (помимо педагогической и исследовательской составляющей) по уже сформированным базам данных без дополнительных требований к представлению сведений членами профессорско-преподавательского состава.

Заметим еще раз, что процедуры расчета и веса едва ли будет возможно задать «раз и навсегда». С течением времени «заказ» в отношении деятельности университета может измениться: например, могут утратить актуальность публикации в изданиях, размещенных в системе Web of Science, и, наоборот, приобрести особую актуальность методические пособия на русском языке по основам инженерных и точных наук. Предполагается, что подобные изменения будут происходить достаточно медленно, эволюционным путем, т.е. влияние каждого изменения на конечный результат будет ограниченным. (Ввиду годичного цикла обучения студентов и отчетности по научно исследовательской деятельности для получения сравнимых друг с другом результатов изменения целесообразно производить не чаще одного раза в три года, а лучше — раз в пять–шесть лет.)

1.5. «Методика аттестации…» является «измерительным прибором»

«Методика аттестации…» является средством измерений, а значит, полученные с ее помощью измерения обладают ограниченной точностью, в них изначально закладывается определенный «уровень ошибки» или «уровень безразличия».

Любое средство измерений используется (явно или неявно) для достижения компромисса; а чем больше неопределенность измерений (ошибка измерений), тем больше та или иная сторона компромисса может получить необоснованных преимуществ. Вместе с тем, чем точнее средство измерений, тем оно дороже и тем дороже его содержание.

Указанные особенности «Методики аттестации…» как средства измерений, в частности, питают дискуссии (в том числе, и на сайте Управления научных исследований СПбГУ) относительно того, как учесть порядок следования авторов в публикации. С одной стороны, «Методика аттестации…» будет проще, если такой порядок не учитывать, но зато и ошибка измерений, выполненных по этой методике, будет выше. С другой стороны, «Методика аттестации…» может учесть как порядок, так и другие специфические особенности; она станет содержать большое количество правил, по которым учитывается авторский вклад в зависимости от позиции автора в списке авторов, издания, отрасли наук и проч. Однако реализация, применение, поддержка актуальности, изменения и модификация такой методики станут чрезвычайно дорого. Поэтому сложность самой методики также должна подвергаться некоторой оценке и ограничениям. По-видимому, сложная методика должна обладать возможностью упрощения при необходимости, сведения ее к достаточно небольшому набору правил.

Стоит оговориться, что решение в сфере такого рода соотношений цена/точность будет, вероятно, носить административный характер. Неизбежность такого рода решений диктуется природой «Методики аттестации…» и ограниченностью ресурсов, которые могут быть направлены на ее разработку и поддержку функционирования.

Функционирование разработанной «Методики аттестации…» должно в максимальной степени опираться на исходные показатели, представленные в стандартизированном формализованном виде, и, по возможности, не требовать привлечения различных комиссий. Чем чаще требуется привлекать комиссию к решению какого-либо рутинного вопроса, тем более дорогостоящей становится методика и тем менее она ценна, поскольку комиссия экспертов сама по себе является «средством измерения» и эксперты самодостаточны для выработки компетентного решения.

1.6. «Методика аттестации…» должна быть автоматизирована

Квалификация накапливается в течение всей профессиональной деятельности научно-педагогического работника. Кроме того, оценка квалификации опирается на значительное число исходных показателей. Представление накопившихся сведений на бумаге каждый год или даже ежегодное внесение «заново» всей совокупности сведений стало бы чрезвычайно расточительным способом непродуктивных затрат времени как самого работника, так и специалистов. Кроме того, представление сведений в печатном виде никак не решало бы вопрос о проверки единообразия оформления одних и тех же показателей, а также о проверке корректности данных.

Очевидно, что данные о квалификации профессорско-преподавательского состава должны вноситься с помощью распределенной автоматизированной системы в базу данных (и потом лишь пополняться по мере необходимости) и оценки факторов квалификации также должны рассчитываться с помощью автоматизированной системы.

Отметим, что значительный шаг к формированию такой автоматизированной системы в СПбГУ уже был сделан: реализована возможность вносить, хранить и обрабатывать публикации, сделанные сотрудниками университета. Хотя пока сервис «Мои публикации» Информационно-аналитической системы сопровождения научно-исследовательской деятельности СПбГУ не свободен от некоторых несообразностей, некорректностей, неожиданностей и сложностей в употреблении, можно ожидать, что за разумное время он достигнет нужной степени комфортности в использовании и послужит основой (или образцом) для организации сервиса «Мои квалификационные показатели».

Автоматизация «Методики аттестации…» позволит сделать ее не двухфакторной, а по-настоящему многофакторной и обеспечит нужную гибкость и адаптабельность расчетов факторов квалификации. (АЛЬТЕРН. ФОРМУЛИРОВКА: … наряду с научной и педагогической деятельностями включить категорию «дополнительные виды деятельности» — решение по последней предлагается отнести к компетенции научной комиссии каждого факультета.)

1.7. «Методика аттестации…» основывается на оценке квалификации научно-педагогического работника, принципы этой оценки могут не совпадать с принципами оценки публикационной активности

«Положение о порядке установления работникам СПбГУ доплат стимулирующего характера за научные публикации» может в значительной степени послужить образцом для разработки «Методики аттестации…», однако важно подчеркнуть две особенности:

1) оценка квалификации не сводится только к оценке публикационной активности за ограниченный период времени, непосредственно предшествующий расчету оценки, поскольку деятельность профессорского-преподавательского состава не сводится только к публикационной активности и даже не сводится только к исследовательской работе;

2) квалификация носит кумулятивный характер — она накапливается в течение всей профессиональной карьеры работника, поэтому квалификационные показатели должны учитываться за весь указанный период;

3) квалификация не имеет аффилиации, она присуща специалисту как человеку вне зависимости от истории его трудоустройства и текущего состояния его аффилированности с различными организациями; это, в частности, означает, что в рассмотрение должны приниматься все труды/результаты/достижения сотрудника вне зависимости от указания или неуказания их аффилиации;

4) при решении об установлении нормативов по уровню оценок факторов квалификации должна приниматься во внимание занимаемая должность и возраст/длительность карьеры сотрудника (последнее требование вытекает из технического задания по разработке «Методики аттестации…»).

1.8. «Методика аттестации…», утвержденная администрацией СПбГУ, явно устанавливает и фиксирует систему ценностей и доступна для внешнего анализа

«Методика аттестации…», утвержденная администрацией СПбГУ, явно устанавливает и фиксирует систему ценностей: становится понятным соотношение ценностей видов (и объемов) различных работ.

При этом возникают два риска.

Научно-педагогические работники будут концентрироваться на тех видах работы, которые, согласно «Методике аттестации…», наиболее сильно увеличивают оценки факторов квалификации. Если «Методика аттестации…» окажется несбалансированной, то такое положение дел может привести к дисгармонии в организации образовательного процесса и иных процессов, существенных для стабильной деятельности СПбГУ. В частности, если аудиторная работа для профессорско-преподавательского состава окажется недостаточно значимой с точки зрения рейтинговых показателей, то учебный процесс может оказаться дезорганизованным. По этой причине требуется уделить значительное внимание и дать самый высокий приоритет педагогической составляющей, в особенности — аудиторной работе (возможно, один из аспектов — самостоятельная работа в присутствии преподавателя — не должен быть столь же значимым, как остальные аспекты аудиторной работы). По-видимому, необходима балансировка отдельных показателей таким образом, чтобы ни один из них не мог оказать доминирующего влияния на окончательный результат, т.е. речь идет об определенных ограничениях во влиянии отдельного показателя на весь результат в целом.

Также возникает риск стигматизирующей внешней критики (которая может оказаться как добросовестной, так и недобросовестной). Основой для такой критики может стать, например, факт, что публикация на английском языке в журнале, представленном в системе Web of Science, может принести работнику в два раза больше «рейтинговых баллов», чем подготовка (защитившегося) аспиранта и разработка курса лекций.

1.9. Переходный период при внедрении «Методики аттестации…»

После разработки и утверждения «Методики аттестации…» (на какой-то срок от 4 до 10 лет) необходимо предусмотреть переходный период, когда в утверждённую методику будут вноситься оперативные изменения. Это может потребоваться, в частности, если окажется упущенным какой-нибудь ключевой показатель квалификации или действие методики как управляющего инструмента приведет к нарастающей дисгармонии в деятельности научно-преподавательского состава университета.

1.10. Итеративность разработки «Методики аттестации…»

Выявленные особенности «Методики аттестации…» указывают на ограниченные возможности исключительно научного ее формирования.

Определенные аспекты потребуют административных решений, ряд аспектов потребует привлечения экспертов (формирование измеряемых показателей, оценка важности показателей для последующего формирования весов показателей или применения иных подходов к свертке показателей для получения итоговых оценок факторов квалификации).

При обработке административных решений и оценок экспертов научные методы (в том числе и математические методы) будут играть хоть и важную, но всё же вспомогательную (сервисную ~~сервильную~~) роль.

Необходимость привлечения экспертов и принятия административных решений делает существенно более итеративным характер разработки «Методики аттестации…», чем это предполагалось при планировании исследования, что увеличивает срок его выполнения.

Требования к факторам (индикативным показателям) научной и педагогической деятельности научно-педагогических работников СПбГУ

При выработке требований к факторам (индикативным показателям) научной и педагогической деятельности следует учитывать следующие аспекты:

Для построения интегрального показателя (фактора, индикативного показателя) в первую очередь требуется максимально полно определить базовые рейтинговые показатели, которые характеризуют указанные деятельности преподавателей. Полнота множества базовых рейтинговых показателей является необходимым требованием для объективности интегрального показателя, а также для его адаптивности, поскольку добавление новых показателей в существующую модель является более трудоемким действием, чем изменение конечной формулы расчета интегрального показателя (то есть, метрики, по которой вычисляется показатель).
Все рассматриваемые показатели должны быть представлены в интервальных или номинативных шкалах. Это требование вытекает из природы интегрального показателя, который является математической функцией от входящих в него базовых рейтинговых показателей, таким образом, все входящие базовые рейтинговые показатели должны быть достаточно легко вычислимыми (или непосредственно измеримыми).
Предоставляемая информация должна быть проверяема, то есть представленные данные возможно легко проверить по находящимся в открытом доступе источникам Последнее, безусловно, не может быть выполнено для всех возможных показателей, однако при проектировании интегрального показателя требуется максимально учитывать этот фактор.
Показатели должны быть однозначными, понятными и не пересекающимися. Хотя требование однозначности и не является определяющим, тем не менее, его несоблюдение влечет за собой возникновение проблем при построении интегрального показателя.

Разрабатываемые оценки факторов (индикативных показателей) основывается на анализе следующих источников, к которым относятся как нормативные документы, так и научные статьи по тематике исследования (см. Приложение В).

Blog

Отчет о научно-исследовательской работе

Содержание

ВВЕДЕНИЕ