И. В. Дробышева кандидат педагогических наук, профессор

Вид материалаДокументы

Содержание


Подготовка студентов педвуза к использованию иформационных и коммуникационных технологий в науке и образовании
Опыт измерения на линейной шкале качества выпускной квалификационной работы
Номер индикаторной переменной
Источник дисперсии
Подобный материал:
1   ...   47   48   49   50   51   52   53   54   ...   76

ПОДГОТОВКА СТУДЕНТОВ ПЕДВУЗА К ИСПОЛЬЗОВАНИЮ ИФОРМАЦИОННЫХ И КОММУНИКАЦИОННЫХ ТЕХНОЛОГИЙ В НАУКЕ И ОБРАЗОВАНИИ

Л.Ю. Кравченко

Волгоградский государственный педагогический университет, Волгоград



Информационные технологии все глубже и глубже проникают в жизнь людей. Такое их проникновение во все сферы деятельности человека, а также увеличение потока информации все больше приближает учебные заведения, в частности, педагогический вуз к использованию информационных и коммуникационных технологий в науке и образовании. Владение такими технологиями становится для педагога элементом профессиональной культуры.

В процессе изучения предметов, представленных Госстандартом, невозможно уделить достаточно времени для рассмотрения проблемы использования информационных и коммуникационных технологий в науке и образовании. Поэтому и предлагается введение данной дисциплины. Нами разработана учебная программа «Информационные и коммуникационные технологии в науке и образовании» на основе учебного плана специальности "032500- география", "032400- биология" (национально-региональный (вузовский) компонент).

Целью изучения дисциплины является освоение студентами новых методов преподавания, основанных на применении современных информационных и коммуникационных технологий, в том числе обучающих компьютерных программ, технологий мультимедиа и Интернет-технологий. Основные задачи курса заключаются в формировании у студентов расширенной системы представлений об информационных и коммуникационных технологиях, овладении данными технологиями, используемых в области образования и науки, в практической деятельности будущих учителей. Курс тесно связан и опирается на такие изученные дисциплины, как информатика, спецпредметы.

В курсе освещаются следующие темы (разделы): компьютерные сети и их возможности в науке и образовании, средства презентаций и их возможности, средства мультимедиа и их возможности.

В разделе №1 «Компьютерные сети и их возможности в науке и образовании» рассматриваются следующие вопросы: понятие о компьютерных сетях; локальные сети; Internet; образовательные ресурсы в Internet; Интернет и авторское право; методика поиска учебной и научной информации в Internet; технология работы с поисковыми машинами; составление запросов; особенности сетевого общения; отличие от реального общения; положительные и отрицательные стороны сетевого общения; сетевой этикет; понятие о дистанционном образовании; телекоммуникации в дистанционном обучении.

Раздел №2 «Средства презентаций и их возможности» посвящен вопросам: MS PowerPoint – оболочка для создания презентаций; создание презентаций с помощью пустой презентации; особенности работы с шаблонами презентаций; работа с пустым слайдом; вставка объектов в PowerPoint; спецэффекты; настройка демонстрации презентации; создание активных презентаций; разработка обучаемых программ по спецпредмету с помощью PowerPoint; анализ и оценка разработанных студентами материалов.

Раздел №3 «Средства мультимедиа и их возможности» включает следующие вопросы: понятие «мультимедиа»; особенности подачи информации в мультимедиа-программах; образовательные возможности мультимедиа; понятие о технологии создания обучающей мультимедиа-программы; «электронные учебники»; демонстрация некоторых образовательных мультимедиа-программ; анализ программ на соответствие критериям электронного учебника.

В результате изучения курса будущий учитель должен иметь понятие о современных информационных и коммуникационных технологиях, используемых в науке и образовании, уметь широко использовать их в области образования и научно-исследовательской деятельности, уметь пользоваться изучаемыми программами.

Специфика данной учебной дисциплины обусловлена использованием ЭВМ. Программой курса предусмотрено выполнение лабораторных работ. Особое место в овладении данным курсом отводится самостоятельной работе.

ОПЫТ ИЗМЕРЕНИЯ НА ЛИНЕЙНОЙ ШКАЛЕ КАЧЕСТВА ВЫПУСКНОЙ КВАЛИФИКАЦИОННОЙ РАБОТЫ

А.А. Маслак

Славянский-на-Кубани государственный педагогический институт,
г. Славянск-на-Кубани


«Измеряй измеримое и делай неизмеримое измеримым»

(Галилео Галилей)

«Наука начинается с измерения»

(Д.И. Менделеев)

Актуальность этой работы обусловлена тем, что одним из требований УМУ является многоаспектность оценивания качества выпускной квалификационной работы и вместе с тем, возможность оценки качества выпускных работ в целом. Такие оценки необходимы для мониторинга и принятия обоснованных решений в области управления качеством образования.

В данной работе показана возможность измерения качества выпускной квалификационной работы на линейной шкале. Предложена методика измерения на линейной интервальной шкале латентной переменной «качество выпускной квалификационной работы». Разработан набор индикаторных переменных, который можно использовать для измерения латентной переменной «качество выпускной квалификационной работы». В качестве модели измерения выбрана модель Раша с равными расстояниями между категориями ответа для всех индикаторных переменных. Впервые измерено качество квалификационных работ выпускников кафедры информатики Славянского-на-Кубани государственного педагогического института в 2005 году.

Методика измерения латентной переменной на основе модели Раша используется не только в учебном процессе, но и во многих других областях, например, для измерения уровня развития системы образования в субъектах Российской Федерации, качества высшего образования в странах мира, уровня здоровья населения и др. Примеры такого использования методики представлены в работах [1-8].

Целью исследования является измерение на линейной шкале качества выпускной квалификационной работы.

В работе решаются следующие задачи.

1. Определить, в какой степени совместимы используемые индикаторные переменные, то есть, действительно ли все они измеряют одну и ту же латентную переменную – качество выпускной квалификационной работы и при необходимости откорректировать набор этих переменных.

2. Измерить качество каждой выпускной квалификационной работы в виде одного числа на линейной шкале.

3. Определить уровень качества квалификационной работы, который характеризует каждая индикаторная переменная.

4. Определить существуют ли значимые различия между членами ГАК, которые оценивают качество выпускной квалификационной работы.

Качество выпускной квалификационной работы определяется операционально – с помощью набора индикаторных переменных. Фактически каждая из индикаторных переменных характеризует один из аспектов качества выпускной квалификационной работы.

Измерения латентных переменных необходимы, прежде всего, для более точного уяснения смысла латентной переменной. Поскольку латентная переменная задается набором индикаторных переменных, то очень важно проверить, насколько они совместимы, т.е. в какой степени они определяют одну и ту же латентную переменную. Если индикаторные переменные совместимы, то они могут быть использованы для измерения латентной переменной. В противном случае индикаторные переменные характеризуют разные латентные переменные, и сам набор индикаторных переменных нуждается в корректировке – необходимо оставить только те индикаторные переменные, которые характеризуют измеряемую латентную переменную.

В соответствие с рекомендациями УМУ были определены 19 аспектов, которые представляются важными для оценки качества выпускных квалификационных работ (табл. 1).

Таблица 1

Индикаторные переменные, характеризующие качество выпускной квалификационной работы



Индикаторная переменная

1

Актуальность темы

2

Четкость формулировки целей и задач исследования

3

Соответствие структуры работы её целям и задачам

4

Объем и полнота анализа литературных источников

5

Обзор мировых достижений по теме исследования

6

Обоснованность и полнота анализа проблемы

7

Научный уровень работы

8

Логичность и язык изложения

9

Применение ЭВМ при выполнении работы

10

Объем выполненных исследований

11

Степень самостоятельности исследований

12

Практическая ценность исследования

13

Качество оформления работы

14

Качество доклада

15

Качество ответов на вопросы

16

Уровень владения материалом

17

Использование наглядности при защите работы

18

Оценка качества работы согласно отзыву руководителя

19

Оценка качества работы согласно рецензии

Значения каждой индикаторной переменной варьируются на четырех уровнях: 0, 1, 2 и 3. Оценка 0 соответствует слабой выраженности оцениваемого аспекта, оценка 1 – скорее слабой, чем сильной, оценка 2 – скорее сильной, чем слабой, оценка 3 – сильной выраженности оцениваемого аспекта.

Полученные значения индикаторных переменных использовались для измерения латентной переменной, - качества выпускной квалификационной работы, - с помощью диалоговой системы RUMM [9]. На одной и той же интервальной шкале измерялись как индикаторные переменные, так и сами выпускные квалификационные работы. Прежде всего необходимо оценить, насколько совместимы сами индикаторные переменные.

Одной из важных задач, возникающих при измерении латентной переменной, является оценка качества измерительного инструмента, а именно набора индикаторных переменных.

В табл. 2 приведены показатели, характеризующие индикаторные переменные, в том числе степень совместимости каждой индикаторной переменной всему набору индикаторных переменных. Индикаторные переменные упорядочены по возрастанию их значения на шкале «качество выпускной квалификационной работы» – от наименьшего значения (-2,191 логита) к наибольшему (+1,855 логита).

Таблица 2

Характеристика индикаторных переменных

Номер

индикаторной переменной

Значение индикаторной

переменной

(логиты)

Стандартная ошибка

(логиты)

Значение

статистики Хи-квадрат

Уровень

значимости статистики

Хи-квадрат

9

-2,191

0,303

0,251

0,882

19

-1,870

0,314

0,355

0,837

1

-1,729

0,286

4,190

0,123

12

-0,996

0,268

0,642

0,725

18

-0,702

0,275

5,494

0,064

8

-0,250

0,251

1,081

0,582

14

-0,239

0,245

1,629

0,443

2

-0,225

0,244

1,623

0,444

11

-0,049

0,246

0,487

0,784

3

0,118

0,238

1,129

0,569

16

0,195

0,239

1,701

0,427

10

0,247

0,237

1,976

0,372

13

0,380

0,235

1,232

0,540

6

0,807

0,226

3,198

0,202

17

0,869

0,226

2,736

0,255

4

0,963

0,227

2,106

0,349

7

1,325

0,223

2,681

0,262

15

1,491

0,227

6,491

0,039

5

1,855

0,223

4,566

0,102

Наиболее важной характеристикой набора индикаторных переменных как измерительного инструмента является совместимость самих индикаторных переменных или, что, то же самое, соответствие индикаторных переменных модели измерения. Степень соответствия индикаторной переменной модели измерения определяется на основе критерия Хи-квадрат следующим образом. Измеряемые объекты, по полученным оценкам латентной переменной (на основе модели Раша) делятся на три примерно равные группы – с низким, средним и высоким уровнями. Далее для каждой группы вычисляется среднее значение и на основе критерия Хи-квадрат определяется соответствие этих трех экспериментальных точек теоретическим значениям (на основе модели Раша).

Критическим значением уровня соответствия индикаторной переменной измеряемой латентной переменной (уровня значимости статистики Хи-квадрат) является значение 0,05. При уровне соответствия меньшим, чем 0,05 индикаторную переменную рекомендуется исключить из набора. Алгоритм оценки степени совместимости индикаторных переменных рассмотрен ниже.

Из табл. 2 видно, что только одна индикаторная переменная (переменная 15) имеет уровень значимости статистики Хи-квадрат меньший, чем 0,05. Однако на уровне значимости 0,01 эта переменная совместима со всем набором, поскольку ее уровень значимости равен 0,039. Поэтому в целом можно считать, что все индикаторные переменные являются совместимыми и их можно рассматривать как измерительный инструмент, а собранные данные соответствуют модели измерения.

На основе данных, представленных в табл. 2, можно выделить следующие отличительные индикаторные переменные, характеризующие качество выпускной квалификационной работы:

- наиболее адекватную модели измерений индикаторную переменную (i9 -применение ЭВМ при выполнении работы);

- наименее адекватную модели измерений индикаторную переменную(i15 -качество ответов на вопросы);

- наиболее "трудную" индикаторную переменную, характеризующую наибольший уровень качества выпускной квалификационной работы (i5 - обзор мировых достижений по теме исследования);

- наиболее "легкую" индикаторную переменную, характеризующую наименьший уровень качества выпускной квалификационной работы (i9 -применение ЭВМ при выполнении работы).

Наиболее полно поведение индикаторных переменных описывается так называемыми характеристическими кривыми, которые характеризуют выбор уровня индикаторной переменной в зависимости от значения измеряемой латентной переменной [9, 10].

В целом можно констатировать, что при подготовке выпускной квалификационной работы лучше всего дела обстоят с применением ЭВМ, хуже всего – с обзором мировых достижений по теме работы.

Важным аспектом для проверки корректности сконструированной латентной переменной является также определение того, в какой мере коррелируют с ней индикаторные переменные (табл. 3).

Таблица 3

Коэффициент корреляции индикаторных переменных с измеряемой латентной переменной

i1

i2

i3

i4

i5

i6

i7

i8

i9

i0

0,52

0,84

0,81

0,66

0,67

0,80

0,69

0,85

0,62

0,70

i11

i12

i13

i14

i15

i16

i17

i18

i19

Баллы

0,69

0,75

0,66

0,78

0,68

0,71

0,53

0,85

0,69

0,91

Прежде всего, из табл. 3 видно, что все коэффициенты корреляции являются положительными и статистически значимыми (rтабл = 0,40), т.е. существует прямо пропорциональная статистическая взаимосвязь между всеми индикаторными переменными и измеряемой латентной переменной. Наиболее тесно с латентной переменной связана 5-балльная оценка (коэффициент корреляции r = 0,91) и индикаторные переменные:

i2– четкость формулировки целей и задач исследования (коэффициент корреляции 0,84);

i3 - соответствие структуры работы её целям и задачам (коэффициент корреляции 0,81);

i6 - обоснованность и полнота анализа проблемы (коэффициент корреляции 0,80).

i8– логичность и язык изложения (коэффициент корреляции 0,85);

i18 - оценка качества работы согласно отзыву руководителя (коэффициент корреляции 0,85);

Менее всего с латентной переменной связаны индикаторные переменные:

i1 – актуальность темы (коэффициент корреляции 0,52).

i17 – использование наглядности при защите работы (коэффициент корреляции 0,53).

Результаты измерения качества выпускных квалификационных работ экспертами (членами ГАК) приведены в табл. 4.

Таблица 4

Оценка качества выпускных квалификационных работ

п/п

Фамилия ИО

Эксперт

Оценка качества выпускной работы

(логиты)

Стандартная ошибка (логиты)

1

Баранцова ЛА

1

2,227

0,50

2

Баранцова ЛА

2

2,942

0,47

3

Баранцова ЛА

3

2,942

0,47

4

Бриер ЛВ

1

5,301

0,60

5

Бриер ЛВ

2

4,549

0,51

6

Бриер ЛВ

3

4,260

0,50

7

Галиев ВР

1

-0,572

0,44

8

Галиев ВР

2

3,729

0,50

9

Галиев ВР

3

-0,572

0,44

10

Ганькина АА

1

0,822

0,48

11

Ганькина АА

2

2,480

0,50

12

Ганькина АА

3

1,614

0,46

13

Гоняйло ДА

1

5,756

0,64

14

Гоняйло ДА

2

3,671

0,51

15

Гоняйло ДА

3

5,756

0,64

16

Евтушенко МС

1

1,614

0,46

17

Евтушенко МС

2

1,817

0,48

18

Евтушенко МС

3

1,614

0,46

19

Куприянова МЛ

1

4,358

0,52

20

Куприянова МЛ

2

4,808

0,53

21

Куприянова МЛ

3

0,286

0,48

22

Лугин АО

1

-0,765

0,44

23

Лугин АО

2

-1,153

0,44

24

Лугин АО

3

-0,379

0,44

25

Лысенко НА

1

4,747

0,54

26

Лысенко НА

2

4,808

0,53

27

Лысенко НА

3

3,166

0,47

28

Мандрика СЮ

1

4,808

0,53

29

Мандрика СЮ

2

5,756

0,64

30

Мандрика СЮ

3

5,041

0,56

31

Марченко СС

1

3,483

0,50

32

Марченко СС

2

1,614

0,46

33

Марченко СС

3

4,549

0,51

34

Нечаева АС

1

2,718

0,47

35

Нечаева АС

2

1,403

0,46

36

Нечаева АС

3

-0,593

0,48

37

Нудьга АЮ

1

1,830

0,46

38

Нудьга АЮ

2

2,227

0,50

39

Нудьга АЮ

3

1,830

0,46

40

Пинчук НЮ

1

1,351

0,55

41

Пинчук НЮ

2

2,049

0,47

42

Пинчук НЮ

3

1,403

0,46

43

Письменная СВ

1

5,398

0,59

44

Письменная СВ

2

4,927

0,57

45

Письменная СВ

3

5,398

0,59

46

Поздняков СА

1

4,808

0,53

47

Поздняков СА

2

4,808

0,53

48

Поздняков СА

3

5,035

0,56

49

Попадьин СА

1

3,166

0,47

50

Попадьин СА

2

1,614

0,46

51

Попадьин СА

3

2,270

0,47

52

Рогоза ЕА

1

4,304

0,50

53

Рогоза ЕА

2

4,304

0,50

54

Рогоза ЕА

3

5,398

0,59

55

Семко ТА

1

4,808

0,53

56

Семко ТА

2

5,088

0,55

57

Семко ТА

3

5,088

0,55

58

Сенчилин ВИ

1

-0,379

0,44

59

Сенчилин ВИ

2

0,990

0,45

60

Сенчилин ВИ

3

1,194

0,45

61

Серогодский АН

1

4,549

0,51

62

Серогодский АН

2

4,549

0,51

63

Серогодский АН

3

3,839

0,48

64

Симонян СА

1

4,223

0,51

65

Симонян СА

2

5,463

0,66

66

Симонян СА

3

4,808

0,53

67

Хлистов СА

1

0,200

0,44

68

Хлистов СА

2

1,194

0,45

69

Хлистов СА

3

0,789

0,45

70

Чадилов АЮ

1

1,144

0,47

71

Чадилов АЮ

2

2,942

0,47

72

Чадилов АЮ

3

2,942

0,47

73

Чуйченко ЮА

1

4,304

0,50

74

Чуйченко ЮА

2

5,358

0,60

75

Чуйченко ЮА

3

2,270

0,47

76

Ющенко ЕВ

1

4,304

0,50

77

Ющенко ЕВ

2

4,069

0,49

78

Ющенко ЕВ

3

4,976

0,62

Представляет интерес, насколько согласованны оценки членов ГАК. С этой целью проведен дисперсионный анализ оценок качества выпускных квалификационных работ (табл. 5). Исследуемыми факторами являются члены ГАК (фактор варьируется на трех уровнях) и выпускные квалификационные работы (фактор варьируется на 26 уровнях)

Таблица 5

Дисперсионный анализ оценок качества выпускных квалификационных работ

Источник дисперсии

Сумма квадратов

Степени свободы

Средний квадрат

Fэксп

Fтабл

αэксп

Члены ГАК

2,460

2

1,230

1,16

3,21

0,323

Выпускники

232,520

25

9,301

8,73*

1,72

<0,001

Ошибка

53,245

50

1,065










Всего

288,225

77













Проинтерпретируем результаты, представленные в табл. 5.

1. Между оценками членами ГАК нет значимых различий (Fэксп = 1,16 < Fтабл = 3,21). Средние оценки, выставленные тремя членами комиссии равны 3,020±0,406, 3,308±0,406 и 2,882±0,406 соответственно.

2. Как и следовало ожидать, по уровню качества существуют различия выпускными квалификационными работами (Fэксп = 8,73 > Fтабл = 1,72).

В целом, полученные результаты измерения на линейной шкале качества выпускных квалификационных работ являются важной информацией для оценки качества образовательного процесса и построения системы управления качеством.

Выводы

1. Представленная методика измерения латентной переменной "качество выпускной квалификационной работы" обладает достаточно большой дифференцирующей способностью.

2. Необходимо подчеркнуть, что качество выпускной квалификационной работы определяется операционально, т.е. через набор индикаторных переменных. Все рассмотренные индикаторные переменные оказались совместимыми, т.е. характеризуют одну и ту же латентную переменную и могут быть использованы для ее измерения.

3. Полученные результаты измерения использованы для сопоставительного анализа работы экспертов по оцениванию качества выпускной квалификационной работы. Оценки экспертов также оказались согласованными – между ними нет значимых различий.


Литература
  1. Анисимова Т.С. Измерение латентных переменных в образовании: Монография. – М.: Исследовательский центр проблем качества подготовки специалистов, 2004. – 148 с.
  2. Маслак А.А. Измерение латентных переменных в социально-экономических системах.– Славянск-на-Кубани: Исследовательский центр СГПИ, 2006. - 333 с.
  3. Маслак А.А. Теория и практика количественного измерения латентных переменных в здравоохранении и других социальных системах. //Материалы Конгресса Всероссийского Форума «Здоровье нации – основа процветания России», М.: НЦССХ им. А.Н. Бакулева, 2005. С. 91-92.
  4. Маслак А.А., Анисимова Т.С. Методика измерения и сравнения качества высшего образования в странах мира. // Качество высшего образования и подготовки специалистов к профессиональной деятельности: Труды Международного симпозиума. – Томск: Изд-во ТПУ, 2005. – С. 92-95.
  5. Маслак А.А., Анисимова Т.С., Осипов С.А., Давлетова А.И. Оценка качества опросника для измерения латентной переменной «толерантность». //Оценка эффективности образовательных инноваций и технологий: Материалы Шестой всероссийской научно-практической конференции. – Славянск-на-Кубани: Издательский центр СГПИ, 2004. – С.25 – 35.
  6. Маслак А.А., Клемешев С.А., Медведева А.И. Оценка качества измерения латентной переменной «Сила процессов возбужения» на основе теста Стреляу. //Оценка эффективности образовательных инноваций и технологий: Материалы Пятой всероссийской научно-практической конференции. – Славянск-на-Кубани: Издательский центр СГПИ, 2003. – С. 69-81.
  7. Осипов С.А., Маслак А.А., Поздняков С.А., Гоняйло Д.А. Измерение уровня подготовки кадров высшей научной квалификации в федеральных округах России. //Оценка эффективности образовательных инноваций и технологий: Материалы Шестой всероссийской научно-практической конференции. – Славянск-на-Кубани: Издательский центр СГПИ, 2004. – С. 36 – 43.
  8. Anatoli A. Maslak, George Karabatsos, Tatijana S. Anisimova and Sergei A. Osipov. Measuring and Comparing Higher Education Quality between Countries Worldwide. Journal of Applied Measurement, 2005, V. 6, N. 4. – P. 432 – 442.
  9. Getting Started RUMM 2010. Rasch Unidimensional Measurement Models - Pert: RUMM Laboratory Ltd, 2001. - 87p.
  10. Wright B.D., Masters G.N. Rating Scale Analysis. – Chicago: MESA PRESS, 1995.