Об особенностях проверки знаний студентов по общеинженерным дисциплинам с помощью тестов постановка проблемы

Вид материала

Анализ

Содержание Анализ исследований и публикаций Постановка задачи. Тесты успеваемости – это совокупность специально подобранных заданий для выявления знаний, требующие коротких однозначных ответо А, если вес Р балки АВ Выводы и перспективы дальнейших исследований.

Подобный материал:

• Построение оптимальных безусловных диагностических тестов при интеллектуальном анализе, 119.38kb.
• Методические указания по выполнению контрольных работ и домашних заданий (рефератов), 1036.21kb.
• Автоматизированная система контроля знаний по истории древнего мира, 15.18kb.
• Про повышение эффективности самостоятельного обучения студентов инженерно-педагогических, 123.26kb.
• Документационное обеспечение государственного управления, 12.57kb.
• Управление персоналом государственной гражданской службы, 13.7kb.
• Бюджетная система рф, бюджетный процесс, участники бюджетного процесса, 9.07kb.
• Объективность оценки знаний методом тестирования, 119.17kb.
• А. М. Проблемы перестройки фундаментального образования постановка проблемы, 220.23kb.
• Контрольные вопросы для проверки теоретических знаний студентов по курсу "Физическая, 232.84kb.

УДК 378

© 2006

Романенко В.П., Симонов В.А.


ОБ ОСОБЕННОСТЯХ ПРОВЕРКИ ЗНАНИЙ СТУДЕНТОВ

ПО ОБЩЕИНЖЕНЕРНЫМ ДИСЦИПЛИНАМ С ПОМОЩЬЮ ТЕСТОВ


Постановка проблемы. Контроль знаний студентов занимает важное место в процессе обучения. Различают предварительный (вводный) контроль, текущий контроль (устный опрос, контрольные работы, расчетно-графические задания) и итоговый контроль в форме экзаменов, зачетов, курсовых и дипломных проектов.

Среди перечисленных форм контроля все большее развитие получает тестовый контроль, который рекомендован Министерством образования и науки Украины и документами Болонской конвенции. Тестовый контроль в этих документах рассматривается как одно из средств совершенствования процесса обучения. Актуальными являются вопросы обобщения, систематизации имеющегося опыта и выработки рекомендаций в области создания тестовых заданий и проведения тестового контроля знаний, умений и навыков.

Технические дисциплины, как правило, содержат теоретические положения (основные понятия и определения, законы и теоремы, нормативные документы, стандарты и т.п.) и учебный материал практического характера (задачи и задания, связанные с математическими вычислениями и с выполнением графических работ). При изучении этих дисциплин широко используются компьютерные технологии. Поэтому разработка заданий для тестового контроля по техническим дисциплинам имеет ряд особенностей, нуждающихся в изучении.

Анализ исследований и публикаций по проблемам тестового контроля показывает, что основными вопросами этих исследований являются:

- разработка классификации тестов, например, по форме предъявления заданий и по форме ответов на них; по количеству вариантов выбора правильного ответа ("один из двух", "один из многих", "множественный выбор из известного числа вариантов" и т.д.); [2].

- методические приемы составления тестов;

- методы повышение надежности тестов; [1]

- методика проверки тестов и оценивания результатов тестирования;

- особенности использования технических средств при проведении тестовых контролей и обработке их результатов.

Постановка задачи. Целью статьи является обобщение имеющегося опыта тестового контроля знаний студентов и изучение особенностей такого контроля для технических дисциплин.

Тест (Test) – слово английского происхождения, означающее испытание, пробу, экзамен.

Тесты дают возможность однозначно трактовать результаты проверок.

Тесты успеваемости – это совокупность специально подобранных заданий для выявления знаний, требующие коротких однозначных ответов.

 Тесты имеют ряд важных позитивных качеств:

- Возможность проверить степень усвоения значительной части учебного материала, одновременно охватить большое количество студентов, обеспечить объективность в оценивании знаний.

- Экономия времени: студенту не нужно самостоятельно формулировать и давать расширенные письменные ответы.

- Проверка тестов не требует значительных усилий и времени, однозначность правильных ответов облегчает оценивание. Проверку может выполнить не специалист в данной учебной дисциплине.

- Студенты через небольшой промежуток времени могут узнать о результатах своих ответов.

 Однако, тесты имеют определенные недостатки:

- Тесты не всегда позволяют в полной мере проверить степень понимания учебного материала, т.к. выявляется не сам ход решения, а только результат. Например, в определенных задачах один и тот же ответ может быть получен разными путями, и не известно, выбран ли наиболее рациональный способ решения.

- Отдельные тесты адресуются только к памяти студента, и не вызывают интенсивной умственной работы.

- Тесты не способствуют развитию речи студента. Особенно это относится к использованию технических, математических и других, характерных для данной учебной дисциплины, терминов.

- С помощь тестов успеваемости, в которых предлагается выбрать правильный ответ из нескольких предложенных, невозможно установить степень получения некоторых навыков. Например, - навыков выполнения чертежно-графических работ, навыков работы с клавиатурой компьютера и т.п. Хорошо известно, например, что при сдаче экзамена для получения водительского удостоверения с помощью тестов определяются знания правил дорожного движения, а навыки вождения автомобиля устанавливает экзаменатор, наблюдая за действиями водителя. Поэтому метод тестирования целесообразно разумно объединять с другими методами проверки знаний студентов.

Наиболее распространенной классификацией тестов можно считать классификацию по форме их построения: а именно тесты с конструируемыми ответами и тесты с выборочными ответами.

Характерным для первого вида тестов является то, что студенты самостоятельно составляют короткие однозначные ответы. Недостатком таких тестов является то, что они не удобны при проверке и обработке результатов.

Тесты с выборочными ответами содержат один или несколько правильных ответов, которые нужно выбрать из числа предложенных. Их недостатком является то, что они ограничивают возможность студента в формулировании этих ответов.

При разработке тестов нужно обращать внимание на ряд общих для них характеристик. Важнейшими из них являются: достоверность или валидность (от английского слова – valid – соответствовать), надежность, трудность, равная сложность вариантов.

 Тест успеваемости является достоверным, если он измеряет уровень усвоения именно тех знаний, которые интересуют преподавателя. Мерой достоверности теста успеваемости является коэффициент корреляции r между оценками, полученными при тестировании и оценками, полученными при проверке знаний другими объективными методами (например, на экзамене) [1].

r= (Sxy)/ Sx²y² (1)

где x=x_i –, y=y_i -. Здесь x_i – оценка тестирования, y_i – оценка, полученная на экзамене, , - соответствующие средне арифметические оценки. Чем больше величина коэффициента корреляции приближается к единице, тем тест больше отвечает требованиям истинности. Тестовые задания, степень истинности которых меньше 0,3, использовать не следует.

 Надежность тестов характеризуется вероятностью случайного, неосмысленного выбора правильного ответа, иначе говоря, "угадывания".

Пусть n – количество вопросов в тестовой карточке, k – количество выборочных ответов на каждый вопрос, тогда вероятность "угадать" один правильный ответ на один вопрос p=. Обозначим т – общее количество правильных ответов студента, необходимое для получения определенной оценки ("удовлетворительно", "хорошо" или "отлично"). Предположим, что карточка теста содержит 5 вопросов, на каждый из которых приведено 5 возможных ответов, среди которых один ответ – правильный, а для того, чтобы "заработать" оценку "удовлетворительно" нужно дать 3 правильных ответа. По формуле Бернулли подсчитаем вероятность удовлетворительной оценки при случайном неосмысленном выборе 3–х правильных ответов.

p_n(m) =p^m(1-p)^n-m.

Здесь n!, m!, (n-m)! – факториалы целых чисел, т.е. n!=1·2·3·…·n.

Тогда n=5, m=3, k=5 и p==0.2.

p₅(3)=0,2³(1-0.2)²=0,05.

Теперь определим вероятность оценки "хорошо" (m=4) при случайном выборе правильных ответов.

p₅(4)=0,2⁴(1-0.2)=0,006.

Вероятность случайной оценки "отлично" (m=5) очень мала:

p₅(5) =0,2⁵(1-0.2)⁰=0,0003

Таким образом, вероятность случайного получения положительной оценки при 5-и вопросах в карточке теста и при 5-и возможных ответах на каждый из вопросов:

P₅=p₅(3)+ p₅(4)+ p₅(5) =0,05+0,006+0,0003=0,056, т.е.около 6%.

Аналогично определим случайность положительной оценки при 4-х вопросах в карточке (n=4) и при 4-х возможных ответах на каждый вопрос (k=4). Оценка "удовлетворительно" соответствует 2-м правильным ответам (m=2), "хорошо" – трем ответам (m=3), а оценка "отлично" – 4–м правильным ответам (m=4), p=1/k=0,25. Тогда вероятность оценки "удовлетворительно" при случайном выборе ответов:

p₄(2) ==0,21.

Вероятность случайно получить оценку "хорошо":

p₄(3) ==0,048.

Вероятность случайной оценки "отлично" p₄(4)=0,25⁴=0,004.

Вероятность случайной положительной оценки при 4-х вопросах в карточке теста и при 4-х возможных ответах на каждый вопрос составляет:

P₄=p₄(2) + p₄(3) + p₄(4) =0, 21+0, 048+0,004=0, 262, т.е. 26%.

Надежность таких тестов нельзя считать достаточной.

Реально надежность теста может оказаться еще меньше. Если студент может осмысленно указать правильный ответ только на один из четырех вопросов, то ему достаточно случайно выбрать еще один правильный ответ из трех оставшихся вопросов и получить оценку "удовлетворительно".

Трудность является одной из важных характеристик тестов. Поэтому, составляя тест, нужно обращать внимание на трудность каждого его вопроса, которая определяется процентом правильных ответов, данных студентами за определенное время. Тест считается чересчур легким, если на все вопросы все студенты ответили правильно, и чересчур трудным, когда ни один студент на них не ответил правильно. Из тестов устраняются чересчур легкие и очень трудные вопросы. Как правило, в тест включаются лишь те вопросы, на которые получено не более 80 – 85% и не менее 10 – 15% правильных ответов. В принципе лучшие студенты должны правильно отвечать на все вопросы, на которые правильно ответили более слабые студенты.

Равная сложность вариантов теста может быть достигнута, если вопросы одинаковой трудности и тождественного смысла распределить по параллельным вариантам. Добиться, чтобы все варианты были абсолютно равны по сложности, вряд ли возможно. Чем меньше вариантов теста, тем легче обеспечить равную их сложность. Один и тот же вариант теста может быть предъявлен одновременно разным студентам и при этом обеспечена самостоятельность ответов.

Тесты, составленные преподавателем или даже группой опытных специалистов, конечно, не гарантированы от ошибок и неточностей. Поэтому они требуют проверки. Естественно, например, предложить эти задания другим преподавателям для рецензии. Полезно установить:

- Достаточно ли ясен и однозначен каждый из вопросов?

- Действительно ли важны те вопросы учебного курса, понимание и усвоение которых проверяется?

- Сколько времени требуется для ответов на все вопросы?

- Удачно ли подобраны выборочные ответы?

 Выборочные ответы

Составление достаточного количества правдоподобных ответов (например, 4-5) представляет собой трудоемкую, а иногда и неразрешимую задачу.

- В качестве неправильных целесообразно использовать ответы, содержащие типичные ошибки студентов. Опытный преподаватель хорошо знает, какие пробелы в знаниях студентов, какие нарушения хода умственных рассуждений приводят к ошибкам в ответах на вопросы или при решении задач. Именно эти ошибочные ответы, наиболее распространенные среди студентов, целесообразно включать в тест.

- Необходимо избегать таких вопросов, правильные ответы на которые можно получить, выполняя ошибочные действия. Например, проекция вектора на координатную ось равна произведению его модуля на косинус угла наклона. Если задать угол a=45⁰, то тот же результат можно получить, умножая модуль вектора на синус угла, т.к. в этом случае sina=cosa.

- В ряде случаев нужно оговаривать допустимую точность вычислений (например, до десятых) или измерений (при решении графических задач, например, с точностью до мм).

- Целесообразно в тестах использовать такие вопросы, которые без выборочных ответов лишены законченного смысла. Например: "Какие из перечисленных ниже величин, не являются векторными: 1.масса, 2.скорость, 3.сила, 4.ускорние, 5.время?". Без альтернатив данный вопрос лишен законченного смысла. Кроме, этого вопрос предполагает два правильных ответа (1 – масса и 5 – время), что повышает его надежность.

Оценка результатов тестирования.

Важным вопросом применения тестов успеваемости является определение объективных критериев оценки их выполнения. Учитывая вероятность неосмысленного (случайного) выбора правильных ответов, можно доказать, что при 8 – 10 вопросах и 4 – 5 ответах на каждый из них, нижняя граница положительной оценки должна соответствовать не менее, чем 60% правильных ответов, "4" – 80…90%, а "5" – 90…100% правильных результатов. Поэтому, если тест состоит из 10 примерно равных по сложности вопросов, оценка "удовлетворительно" должна соответствовать 6 – 7-и правильным ответам, "хорошо" – 8 – 9-и, а "отлично" – 9 – 10-и правильным ответам. Соответственно, при 5-и заданиях, оценка "удовлетворительно" выставляется за 3 правильных ответа, " хорошо" – за 4, а "отлично" – за 5 правильных ответов.

Если тест состоит из разных по сложности вопросов, то опытный преподаватель может для оценки результатов тестирования назначить коэффициенты сложности вопросов (например, от 1 до 2).

Рассмотрим примеры составления тестов.

Теоретическая механика

При изучении теоретической механики студентам предлагаются задачи, решить которые можно, используя определенные законы, теоремы и т.н. "принципы" (например, "принцип Даламбера"). Часто одну и ту же задачу можно решить разными способами. И в этом случае нужно научиться выбирать наиболее рациональный путь решения.

Пример 1. Рассмотрим пример задания, цель которого – выяснить знание теоремы о трех силах и умение использовать ее для решения задач. Эта теорема говорит о том, что, если под действием трех сил тело находится в равновесии, то линии действия этих сил пересекаются в одной точке.

Определить реакцию опоры А, если вес Р балки АВ равен 100 кН. (рис.1). Если студент использует данную теорему, то из уравнения SF_ky=0, он найдет R_A=P/2cos60⁰=100кН. (рис.2).






Рис.1 Рис. 2 Рис. 3


Однако, эту же задачу можно решить, не используя теорему о трех силах. В этом случае студент может составить и решить уравнения равновесия произвольной плоской системы сил, разложив R_A на две составляющие R_AX и R_AY (рис.3), и получить тот же результат. Этот путь решения значительно длиннее. Поэтому в данном примере целесообразно иначе сформулировать условие. Например, не задавая вес балки, определить угол наклона реакции R_A к оси Х.

Инженерная графика. При оценке успеваемости студентов по дисциплинам, содержащим графические работы, необходимо установить умение выполнять чертежи и умение их читать.

В первом случае целесообразно использовать тесты с конструируемыми ответами, а во втором - с выборочными.

Пример 2. Для оценки навыков оформления графических работ и умения пользоваться чертежными инструментами можно использовать тест, разработанный на кафедре общеинженерных дисциплин Украинской инженерно – педагогической академии (рис.4). Студентам предлагается в течение одного академического часа начертить заданные упражнения, связанные с выполнением различного типа линий, надписей, нанесением размеров. Тест был составлен таким образом, чтобы соотношение линий и знаков в основном соответствовало вероятностным характеристикам элементов конструкторских документов [4]. Результаты тестирования оцениваются в зависимости от качества и объема выполненной работы.

Объем графической работы Q можно определить по методике, разработанной для конструкторских организаций [3]. Для этой цели используется трафарет размером 210х297 мм, имеющий диагональные вырезы общей площадью 100 см² (рис.5). Количество отрезков линий, графических знаков, букв и цифр, попавших в вырезы трафарета при наложении его на чертеж, то есть количество условных графических единиц, характеризует объем выполненной графической работы. Количество сплошных основных линий удваивается, если построения выполнялись в тонких линиях с последующей обводкой.

Качество выполнения теста оценивается по четырехбальной шкале ("неудовлетворительно", "удовлетворительно", "хорошо" и "отлично"). При этом принимается во внимание качество выполнения прямых линий, качество выполнения окружностей, качество выполнения надписей, качество выполнения размерных линий, качество выполнения штриховки, параллельность горизонтальных линий, параллельность вертикальных линий, точность построений (соответствие заданным размерам), расположение изображений на поле чертежа, аккуратность.

Итоговая оценка выполнения теста должна учитывать качество выполненной работы и скорость ее выполнения V (количество условных графических единиц за одну минуту).

V = Q/45. Исследования показали, что скорость и качество выполнения графических работ имеют корреляционную зависимость – работа, выполненная более качественно, требует больше затрат времени.

Поэтому итоговая оценка "неудовлетворительно" выставляется не зависимо от объема выполненной работы, при неудовлетворительном ее качестве, или если объем работы составил менее 90 условных графических единиц. Положительная итоговая оценка может быть выставлена, если объем работы составил не менее 100 – 110 условных графических единиц. Оценка "удовлетворительно", "хорошо", "отлично" должна в этом случае соответствовать оценке качества выполнения работы.

Данный графический тест относится к типу тестов с конструируемыми ответами. Его целесообразно использовать после изучения темы "Основные правила оформления чертежей". При повторном использовании теста в конце срока обучения можно установить, как изменился уровень навыков оформления чертежей у студентов.







Рис.4 Тест для определения навыков Рис.5 Трафарет для определения

оформления чертежей объема графической работы

• Компьютерная графика
  

Процесс изучения компьютерной графики, в том числе и графической системы AutoCAD, состоит из нескольких этапов:

1. Знакомство с графическим интерфейсом (назначение командных панелей, панелей инструментов и диалоговых окон); знакомство с приемами настройки основных параметров чертежа и со способами точного черчения простейших фигур.

2. Изучение основных приемов и правил создания чертежей плоских объектов и изучение способов геометрических преобразований на плоскости (перенос, поворот, копирование, масштабирование, преобразование подобия и симметрии).

3. Изучение приемов создания и использования параметризованных элементов (блоков).

4. Изучение способов 3-х мерного (3D) моделирования.

5. Освоение вспомогательных операций, таких, как распечатка чертежей, экспорт и импорт файлов, совместная работа с другими графическими и текстовыми программами.

Контроль успеваемости на каждом из перечисленных этапов требует разработки тестов, учитывающих особенности обучения и уровень полученных знаний умений и навыков.

Пример 3. Укажите назначение перечисленных на рисунке 6 команд пакета AutoCAD, заполнив таблицу (против буквенного обозначения, соответствующего назначению команды, поставьте крестик).

Описание команд: А – нанести линейный размер; Б – начертить отрезок прямой; В – удалить объект; Г– повернуть объект; Д – переместить объект; Е – начертить пучок прямых.







1 2 3 4 5


Рис.6 Пример задания для контроля знаний команд AutoCAD


Подобные тестовые задания целесообразно использовать на 1-м этапе обучения. Правильность ответов легко проверить, сравнив заполненную студентом таблицу с контрольной (рис.6). Заметим, что число предложенных для выбора описаний команд, должно быть больше, чем число самих команд.

Пример 4. На рис.7 показан чертеж детали. Запишите последовательно номера команд, которые использовались для создания ее 3-D модели, выбрав их из приведенного списка. На рис.8 показана последовательность моделирования.


а б




в г


Рис.7 Чертеж детали Рис.8 Последовательность моделирования


Список команд

1. 2. 3. @ 15, 12.5, 0 Radius, height


4. 5. height 6. 7. 8.

Ответ на это тестовое задание записывается в виде последовательности чисел. В данном примере правильный ответ: 2, 8, 1, 5, 4, 3, 6, 7. Подобные тестовые задания можно использовать на 4- м этапе обучения компьютерной графике. Проверяется не только знание назначения команд AutoCAD, но и умение ими пользоваться.

Выводы и перспективы дальнейших исследований.

 При разработке тестов необходимо учитывать такие, общие для любой учебной дисциплины характеристики, как достоверность, надежность, трудность и равную сложность вариантов.

 С точки зрения надежности тестов с выборочными ответами количество вопросов в тестовом задании должно быть не менее 5 – ти при таком же количестве предлагаемых ответов на каждый из них.

 В заданиях по общеинженерным дисциплинам часто искомый результат можно получить, используя различные методы решения. Поэтому вопросы тестового контроля с выборочными ответами должны быть сформулированы так, чтобы ответ можно было получить, используя только один метод решения, именно тот, знание которого проверяется.

 В тестовых заданиях по общеинженерным дисциплинам зачастую необходимо оговаривать необходимую точность вычислений или точность графических построений.

 Тесты, содержащие графические задания, должны составляться с учетом уровня навыков оформления чертежно – графических работ, т.к. качество этих работ зависит от отведенного на их выполнение времени.

Одним из направлений дальнейших исследований является разработка методики тестирования по графическим дисциплинам, в частности, по компьютерной графике.


Литература

1. Дж. Глас, Дж. Стэнли. Статистические методы в педагогике и психологии, "Прогресс", Москва, - 1997. - 216 с.

2. Тестова перевірка знань учнів. За редакцією канд.. пед. наук Н.М.Розенберга. Радянська школа", К., - 1973. – 168 с.

3. Единые нормы времени на чертежные и копировальные работы для косрукторских организаций. НИИтруда, М.: 1981. – 76 с.

4. В.О.Чулков, В.С.Левицкая, А.Д.Киселевич. Применение вероятностных характеристик и информативности элементов конструкторских документов для определения трудоемкости учебных графических работ. – М.: ИЦВШ, 1974. – 112 с.


Романенко В.П., Симонов В.А.

Об особенностях проверки знаний студентов по общеинженерным дисциплинам с помощью тестов

В статье рассматриваются достоинства и недостатки контроля знаний с помощью тестов и анализируются их основные характеристики: достоверность, надежность, трудность и равная сложность. Проверена надежность тестов с выборочной формой ответов, показаны приемы ее повышения. Приводятся примеры тестовых заданий по теоретической механике, инженерной графике, компьютерной графике, разработанных на кафедре "Общеинженерных дисциплин" УИПА.


Романенко В.П., Симонов В.А.

Про особливості перевірки знань студентів по загальноінженерних дисциплінах за допомогою тестів

У статті розглядаються достоїнства і недоліки контролю знань за допомогою тестів і аналізуються їхні основні характеристики: дійсність, надійність, важкість і рівна складність. Перевірено надійність тестів з вибірковою формою відповідей, показані прийоми її підвищення. Приводяться приклади тестових завдань по теоретичній механіці, інженерній графіці, комп'ютерній графіці, розроблених на кафедрі "Загальінженерних дисциплін" УІПА


V.P. Romanenko, V.A. Simonoff

About peculiarities of the students knowledge control on general engineering disciplines by tests

Advantages and disadvantages of the knowledge control with the help of tests are examined in the article. Such main features as: the authenticity, reliability, difficulty and equal complexity of these tests are analyzed/

The reliability of tests with the selective form of answers is checked up and methods of its raising are shown. Examples of test tasks on Theoretical Mechanics, Engineering Drawing, Computer Drawing developed at the "General Engineering Disciplines" Chair of the UEPA are given in the article.


Стаття надійшла до редакції. 08.09.2006р.