Сборник научных трудов

Вид материала

Содержание

Методы оценки эффективности публикаторской деятельности ученых новосибирска
Академическая наука
Сибирское отделение Российской академии медицинских наук (СО РАМН)
Сибирское отделение Россельхозакадемии (СО РАСХН)
Вузовская наука
Отраслевая наука
Гпнтб со ран

Подобный материал:

1 2 3 4 5 6 7 8 9 ... 14

С.К. Канн, Л.П. Павлова, В.А. Дубовенко

МЕТОДЫ ОЦЕНКИ ЭФФЕКТИВНОСТИ ПУБЛИКАТОРСКОЙ ДЕЯТЕЛЬНОСТИ УЧЕНЫХ НОВОСИБИРСКА

С июля по декабрь 1996 г. в рамках проекта РГНФ "Научный потенциал Сибирского региона: тенденции развития", была проведена оценка показателей цитируемости работ 1326 докторов наук Новосибирска из трех научных секторов — академического, вузовского и отраслевого. Эта работа носила вспомогательный характер
и должна была дополнить общий анализ научной деятельности новосибирских ученых. Для проведения анализа использовалась известная база данных (БД) Института научной информации США "Science Citation Index" ("SCI") за 1991—1995 гг. (5 компакт-дисков в версии Compact Disc Edition).

База "SCI" охватывает публикации по проблемам наук о жизни, клинической медицине и биомедицине, наук о Земле, охраны окружающей среды, физики, химии, математики, и строительства. В целом, это тот спектр отраслей, в области которых работают ученые Новосибирского научного центра.

Известно, что "SCI" включает информацию далеко не из всех научных журналов, а лишь тех из них, которые имеют высокий импакт-фактор. Для подготовки указателя отбирается ограниченный, хотя и очень представительный круг источников — около 3500 журналов и 200 продолжающихся изданий по 100 дисциплинам. По словам математика Альфредо Октавио, такой подход призван "продемонстрировать мировому сообществу лидирующее положение американской науки"¹. С одной стороны, с этим определением нельзя не согласиться. Однако известно и то широкое признание, которым пользуется БД "SCI" среди ученых всех стран.

Анализ цитируемости применяется для решения многих задач, в том числе для выявления наиболее авторитетных научных школ и коллективов, приоритетных направлений современной науки, вклада государств в общемировой прогресс науки.

Универсальность "SCI" позволяет получить весь круг ссылок на искомых авторов, независимо от тематики их работ и сроков публикации, потому что не содержит деления на отдельные дисциплины и отрасли знания и отражает все ссылки, взятые из проанализированных статей. Это преимущество "SCI" соответствовало задачам нашего исследования.

Полученные данные были обработаны и сведены в таблицы.

Они отражают количество статей, в которых встретились ссылки на соответствующих авторов². Применялась следующая методика обсчета. Фамилии докторов наук транслитерировались в несколько латинизированных вариантов (от 1 до 10, в зависимости от сложности фамилий), в соответствии с правилами транслитерации, применяемыми в "SCI", и с учетом возможных ошибок. Поисковая стратегия формировалась по БД 1995 г., после чего производился автоматический поиск в поле "Citation" по 5 годам — с 1991 по 1995 г. В дальнейшем результаты обобщались и суммировались полуавтоматически, с использованием электронных таблиц Excel.

Даже при использовании столь простой методики, машиночитаемых баз "SCI" и компьютерных методов обработки анализ цитирования работ большого числа ученых представляет чрезвычайно трудоемкую задачу, которая, к тому же, по условиям проекта, выполнялась в сжатые сроки. Понимая, что в таких условиях нельзя обеспечить индивидуальную точность результата по каждому из 1326 ученых, так как для этого требовалось библиографически выверять все данные, как вводимые при поиске, так и получаемые из "SCI", мы сосредоточились на анализе отраслей и направлений науки. Сделано это было с целью минимизировать возможные ошибки подсчета. Полученные данные позволили более точно оценить научную деятельность, ее качественную сторону, чем это можно сделать, основываясь лишь на количестве публикаций. В одной из первых отечественных работ об указателе "SCI" ее автор обратил внимание на то, что "последовательность расположения авторов по числу публикаций (ранжирование) совсем иная, если не обратная, чем по частоте цитирования"³.

БД "SCI" в версии CDE на компакт-дисках не приспособлена для массированных библиометрических подсчетов. Эту базу рационально использовать как подручное средство библиографа или исследователя при индивидуальных поисках. При возрастании объемов работы с данной версией "SCI" значительно возрастает и число ошибок, которые необходимо постоянно держать в поле зрения.

На точность обсчета в сторону занижения получаемых результатов влияли следующие основные факторы: 1) сложные случаи транслитерации фамилий и инициалов, когда были возможны несколько десятков комбинаций; 2) присутствие в базе фамилий только с первым инициалом (стратегия подразумевала поиск по двум инициалам); 3) библиографические ошибки самого указателя Citation Index, заимствованные из первоисточников. Несмотря на большую работу Института научной информации по "отлавливанию" ошибок, словарь БД "SCI" показывает, что база содержит немало искажений как в фамилиях, так и в остальных элементах библиографического описания.

Как показал анализ, все вышеперечисленные факторы, играющие "на понижение", в значительной степени уравновешиваются мощным фактором противоположного свойства: в случае обсчета распространенных фамилий захватывается масса "чужих" ссылок. Подчас трудно было имеющимися средствами даже примерно "развести" эти ссылки по разным авторам. Так, ориентируясь на тематику исследований, весьма сложно "развести" работы двух докторов наук из Института математики (ИМ) СО РАН — Лаврентьева М.М. — старшего и Лаврентьева М.М. — младшего. Ориентируясь лишь на адрес (Новосибирск) невозможно отделить работы Захарова В.А. из Института катализа (ИК) СО РАН от работ Захарова В.А. из Объединенного института геологии, геофизики и минералогии (ОИГГМ) СО РАН. Именно для таких случаев требуется предварительная библиографическая проработка списков публикаций "обсчитываемых" авторов.

В нашей ситуации принималось конкретное решение, направленное на минимизацию погрешности в рамках общей задачи.
В каких-то случаях, когда распространенная фамилия автора совпадала также с распространенными инициалами (Иванов А.А. из Института ядерной физики (ИЯФ) или Ефремов А.В. из Мединститута), было решено вообще не вести обсчет, так как это менее искажало общую картину, чем "вливание" заведомо неверных ссылок, составлявших у такого автора 30—40 % от всех ссылок учреждения. В случае Лаврентьевых ссылки обоих авторов не разделялись, потому что полученные цифры считались общими для всего математического направления.

Существенное влияние на погрешность в определении частоты цитирования имеют также широко известные особенности самой БД "SCI": возможность поиска в ней сведений только по первому автору, ограниченный круг источников цитирования, etc. Исследователи отмечают, что слишком сокращены библиографические описания цитируемых работ: даже при наличии списка работ автора не всегда удается определить, на какую из его работ сделана ссылка ⁴. Наиболее точные результаты можно было бы получить при тщательной подготовительной работе и последующем программированном сопоставлении данных всех частей "SCI" (Source, Citation & Permuterm Subject Index) на всю глубину издания.

Однако если анализировать полученные цифры суммарно, имеется основа для сравнения разных отраслей и направлений науки.

На момент обобщения данных нами были получены сведения из библиотеки ОИГГМ СО РАН. Там был осуществлен подсчет частоты цитирования по 102 "своим" докторам наук с использованием БД "SCI" (версии CDE) за 1991—1994 гг. Эта работа, в отличие от нашей методики, была выполнена на основе выверенных библиографических списков и знания публикаций авторов-геологов. Сравнение данных, полученных нами и нашими коллегами, показывает, что, несмотря на встречающиеся индивидуальные отклонения по отдельным авторам, в целом наблюдается выраженная корреляция результатов, а общее расхождение за 1991—1994 гг. составляет 16,4% (1335 ссылок по данным ОИГГМ против 1116 — по нашим данным).

Проанализируем состояние дел в каждом секторе науки.

АКАДЕМИЧЕСКАЯ НАУКА

Сибирское отделение Российской академии наук (СО РАН)

Авторы рассматривали абсолютное число ссылок на работы ученых каждого института и на одного доктора наук (для сравнительных характеристик это наиболее объективный показатель). В абсолютном выражении в цитировании лидирует Институт ядерной физики, затем Институты математики и катализа. По относительному показателю картина следующая:

Институт ядерной физики (ИЯФ^{^}) — 75,3;

Институт химии твердого тела и механохимии (ИХТТМ) — 61,6;

Институт катализа (ИК) — 54,3;

Институт автоматики и электрометрии (ИАЭ) — 50,4;

Институт органической химии (ИОХ) — 49,0;

Институт химической кинетики и горения (ИХКГ) — 43,7;

Институт биоорганической химии (ИБХ) — 39,3;

Институт неорганической химии (ИНХ) — 39,1.

Наименьший показатель в институтах: Центральном Сибирском ботаническом саду (ЦСБС) — 2,1; Институте горного дела (ИГД) — 3,6; Институте систематики и экологии животных (ИСЭЖ) — 4,2; Институте почвоведения и агрохимии (ИПА) — 4,6.

Среднее число ссылок на публикации докторов наук ННЦ составляет 26,7.

Сибирское отделение Российской академии медицинских наук
(СО РАМН)

Наибольшее число ссылок (в абсолютных числах) — на работы ученых Института клинической иммунологии. По относительному показателю лидирует Институт молекулярной патологии — 67; затем Институт клинической иммунологии — 33,5; Институт биохимии — 31,5; Институт терапии — 15; наименьшее — в Институте региональной патологии — 6,7. Средний показатель цитируемости составляет 13,4.

Сибирское отделение Россельхозакадемии (СО РАСХН)

К сожалению, БД "SCI" имеет мало ссылок на публикации сельскохозяйственной тематики. Фамилий многих докторов наук в БД вообще не оказалось. Этим объясняется и низкое цитирование публикаций этой отрасли в СО РАН. Всего была найдена 21 ссылка, что составило в среднем 0,46 на одного доктора наук.

ВУЗОВСКАЯ НАУКА

Не все представители этой науки нашли отражение в БД: не оказалось работ докторов наук Новосибирского агроуниверситета (НАГУ), Новосибирской государственной академии экономики и управления (НГАЭиУ), Института легкой промышленности, Сибирской академии госслужбы (САГС), Новосибирской государственной архитектурно-художественной академии (НГАХА). Лучше других представлены в БД работы докторов наук Медицинского института, Новосибирского государственного технического университета (НГТУ). По среднему показателю (на одного доктора наук) — Новосибирский государственный педуниверситет (НГПУ) — 10,5 ссылок; Новосибирский госуниверситет (НГУ) — 7,46; НГТУ — 3,76; Сибирская государственная академия строительства (СГАС) — 3,4.

Общий средний показатель на одного доктора наук равен 2,12.

ОТРАСЛЕВАЯ НАУКА

Поиск был проведен по всем институтам, результат составил 400 ссылок, в среднем 5,5 на одного доктора наук. Наибольшее число ссылок представлено на труды ученых Государственного научного центра (ГНЦ) "Вектор" — 280 (среднее число ссылок — 15,5), затем — Сибирского научно-исследовательского института геологии, геофизики и минерального сырья (СНИИГГиМС) — 69 (среднее — 3,8), Научно-исследовательского института патологии кровообращения (НИИПК) — 21 (среднее — 2,1).

Таким образом, сравнение индекса цитирования работ докторов наук трех секторов науки показывает на преимущество академической науки. Вторую строчку занимает отраслевая наука — 5,5, а затем вузовская — 2,1.

Интересно было проанализировать цитируемость публикаций авторов отдельных отраслевых блоков науки Новосибирска (см. прил.). Лидером является блок химических наук, представленный лишь академической наукой: средний показатель — 49,5. Затем следует блок физико-технических наук — 21,3; далее — блок математических наук, также представленный только академической наукой, — 18,4, и биологических наук — 12,2. Хорошо представлен блок наук о Земле (геологический), включающий все три сектора, — 11,6. Блоки сельскохозяйственных и гуманитарных наук имеют
небольшую степень цитируемости и совсем отсутствуют в БД данные по экономическим наукам. Поиск по БД "Social Science Citation Index" мог бы исправить картину цитируемости работ.

Для получения более полных и объективных данных о наличии публикаций сибирских ученых дополнительно был проведен поиск через Интернет по каталогу изданий библиотеки Гарвардского университета, а также по БД Medline. Эти БД были выбраны, с одной стороны, из-за их значимости в мировом информационном пространстве (научность изданий, отражаемых в них, полнота, высокая информативность изданий и т.п.), а с другой, — по причине их доступности в сети Интернет.

В БД Medline хорошо представлены труды ученых СО РАМН. Здесь оказалось 1552 их публикации (средний показатель на одного доктора наук — 25). Больше всего БД отражает публикации докторов наук Института физиологии, затем Института клинической иммунологии, далее — Института региональной патологии и клинической и экспериментальной лимфологии. По среднему показателю лидируют доктора наук институтов биохимии — 66, клинической иммунологии — 36, Президиума СО РАМН — 32,5.

В БД также полно представлены труды ученых отраслевых институтов медицинского профиля: Института патологии кровообращения (ИПК) — 26,5; НИИ гигиены — 19; НИИ травматологии и ортопедии (НИИТО) — 4,14, а также вузовской науки; Мединститута — 13,6.

В каталоге библиотеки Гарвардского университета поиск велся по публикациям ученых всех научных учреждений Новосибирска. Больше всего публикаций имеют ученые, занимающиеся гуманитарными науками — в относительном выражении (среднее число) — 11,5; затем следуют науки о Земле — 4,29; математические науки — 3,6; сельскохозяйственные — 2,8; химические науки — 1,4; биологические науки — 1,3; физико-технические — 1,3; экономические науки — 0,8.

Таким образом, мы осуществили лишь попытку ранжирования научных публикаций докторов наук Новосибирска, используя информационные ресурсы, которыми располагает Отделение Государственной публичной научно-технической библиотеки СО РАН в настоящее время.

Литература

¹ Alfredo Oktavio. The "Indexed" Theorem // The Math. Intelligencer. 1996. Vol. 18, № 4. P. 9—11.

² Гарфилд Ю. Можно ли выявлять и оценивать научные достижения и научную продуктивность? // Вестн. АН СССР. 1982. № 7. С. 50; Маршакова-Шайкевич И.В. Вклад России в развитие науки: библиометрический анализ. М.: Янус, 1995. С. 21.

³ Васильев Р.Ф. О количестве публикаций и частоте их цитирования как наукометрических показателях // Материалы к симпозиуму "Исследование операций и анализ развития науки". М., 1967. Ч. 1. С. 67.

⁴ Опыт изучения "Science Citation Index" / Гиляревский Р.С., Мульченко З.М., Терехин А.Т., Черный А.И. // Прикладная документалистика. М., 1968. С. 48.

Приложение 1

Сравнительная характеристика по отраслям и ветвям наук

					Наличие публикаций
Наука	Институты	Коли-чество док- торов наук	Цити-рование БД SCI	Среднее на 1 доктора наук	в библиотеке Гарвардского университета	в библиотеке Конгресса	в Medline
1	2	3	4	5	6	7	8
Биолого-медицинские науки
Академическая	ИЦИГ СО РАН	52	1431	26,5	139
	ИБХ СО РАН,	9	319	35,4	11
	Мед. упр. СО РАН
	СО РАМН	62	836	13,4	138		1552
	Итого	123	2586	21,02	288		1552
Вузовская	Мед. институт	82	219	2,6	27		1138
Отраслевая	НИИТО	7			6		29
	ИПК	10	21	2,1			265
	НИИ гигиены	3					57
	Центр медицины катастроф	1	1	1
	НИИМБ"Вектор"	18	280	15,5	13
	Итого	39	302	6,1	19		351
	Всего	244	3107	12,2	334		3041
Сельскохозяйственные науки
Академическая	ИПА СО РАН	11	56	4,6	68
	ЦСБС СО РАН	14	30	2,14	110
	ИСиЭЖ	12	55	4,2	56
	СО РАСХН (7 учреждений)	35	21	0,6	11
	Итого	72	162	22,5	270
Вузовская	НАГУ	24
	Всего	96	162	2,25	270

Продолжение прил. 1

1	2	3	4	5	6	7	8
Экономика и управление
Академическая	ОЭиОП	20				200
	СибНИИ эконом.	4			2
	СО РАСХН
	Итого	24			2	200
Вузовская	НГАЭУ	12			25
	САГС	4			6	8
	Итого	16			31	8
	Всего	40			33	208
Просвещение и гуманитарные науки
Академическая	ОИФФиФ	53			896
	ГПНТБ СО РАН	3			29
	Институт образ. технологий	1			19
	Итого	57			944
Вузовская	НГУ	31	82	7,46	177
	НГПУ	17	74	10,5	50	25
	Итого	48	156	3,25	227	25
	Всего	105	156	1,4	1171	25
Геология, геодезия
Академическая	ОГГиМ	103	1502	14,5	577
	Ин-т монокрист.	1
	КТИ	1
	Итого	105	1502	14,3	577
Вузовская	СГГА	11	19	1,9	11	6
	Итого	11	19	1,9	11	6
Отраслевая	СНИИГИМС	18	69	3,8
	НИИ метрологии	1	1	1
	СибНИИ геодезии	2	3	1,5
	Итого	21	73	3,4
	Всего	137	1594	11,6	588	6
Математика и вычислительная техника
Академическая	ИМ	104	2424	25,25	235
	ИВТ	11	73	6,6	13
	ВЦ	32	325	9,8	237
	ИСИ	7	51	7,2	75
	Всего	154	2873	18,4	560

Окончание прил. 1

1	2	3	4	5	6	7	8
Физико-технические науки, энергетика, горные науки
Академическая	ИТПМ	39	596	17,5	67
	ИГД	18	117	3,6	109
	ИТФ	43	883	19	115
	ИГиЛ	47	777	17,2	44
	ИФП	25	1251	34,7	62
	ИАиЭ	23	1260	50,4	42
	ИЯФ	62	4523	75,3	87
	ИЛФ	11	159	14,4	10
	КТИ	3	73	24,3	4
	СибНИИ мех. и электр. с/х СО РАСХН	6
	Итого	277	9639	34,8	540
Вузовская	СГАС	36	83	3,4	15	26
	СГАПС	38	66	2,06	30
	ИГАВТ	20	5	0,3	9	16
	СГАТиИ	17	25	1,7	13	12
	Ин-т легкой пром-сти	2
	НГАХА	2			5	4
	НГТУ	66	216	3,76	28
	Итого	181	395	2,18	100	58
Отраслевая	СибНИИА	7	1	0,1	1
	НИИ трансп. стр-ва	1	1	1
	СибНИИ энергетики	3			2
	НИИ электроприб.	1
	НИИ комп. электроприб.	1	23	23
	Итого	13	25	1,9	3
	Всего	471	10059	21,3	643	58
Химические науки
Академическая	ИХТТиМ	8	493	61,6	9
	ИНХ	34	1409	39,1	57
	ИОХ	22	1087	49	35
	ИХКиГ	21	918	43,7	24
	ИК+КТИ	44	2489	54,3	62
	Всего	129	6396	49,5	187

Blog

Сборник научных трудов

Содержание