Инновации в исследованиях русской литературьi традиционные представления о море в сознании жителей русского севера начала XX века

Вид материала

Документы

Содержание Эксперименты с автоматической проверкой заданий по переводу (на материале практической грамматики)

Подобный материал:

• Традиции «идеологического романа» Ф. М. Достоевского в русской прозе конца ХIХ начала, 632.99kb.
• Лексические инновации в русском языке начала XXI века (2000 2009 гг.), 213.46kb.
• Антропологические художественные модели в русской поэзии начала ХХ века в контексте, 661.58kb.
• Задачи: сохранение культуры и традиций народных ремесел Русского Севера; популяризация, 60.63kb.
• Тема урока в соответствии с фкгос, 266.23kb.
• -, 496.63kb.
• Основы русского искусства xix-нач. XX века, 20.16kb.
• Тема: Традиционные средства физического воспитания народов Севера, 54.08kb.
• Державинская традиция в русской литературе XIX начала XX века, 683.99kb.
• Курс лекций по русской литературе конца XIX начала XX века для студентов факультета, 1755.86kb.

Литература

Арнаудов 1976: Д. Арнаудов. Прак­ти­чес­кое по­со­бие по рус­с­ко­му язы­ку для сту­дентов ВИ­ИИ им. Н. Па­в­ло­ви­ча. София, изд. “Наука и изкуство”, 1976.

Даниленко 1973: В.П. Даниленко. Научно-техническая терминология, № 10, 1973.

Даниленко 1977: В.П. Даниленко. Русская терминология. Опыт лингвистического опи­­са­ния. Мос­ква, изд. “Нау­ка”, 1977.

Иванникова 1972: Е.А. Иванникова. К вопросу о взаимоотношении понятия вариан­та с по­ня­­ти­­ем си­но­нима. // Синонимы русского языка и их особен­но­сти. Ле­нин­град, 1972.

Канделаки 1967: Т.Л. Канделаки. Об одном типе словаря международных терми­но­элемен­тов. // ФН, N 2, 1967.

Калинина 1987: Р.П. Калинина. Термины кузнечно-штамповочного производства в лек­си­чес­­кой сис­те­ме русского языка (функционально-парадигмати­чес­­кое опи­­са­ние). АКД. Днеп­ро­пет­­ровск, 1987.

Квитко 1976: И.С. Квитко. Термин в научном документе. Ленинград, 1976.

Краткий словарь 1965: Краткий словарь терминов изобразительного искусства. Москва, изд. “Сов. ху­дож­ник”, 1965.

Лейчик 1986: В.М. Лейчик. Семантические и формальные признаки терми­но­эле­мен­тов // По­­лу­аффиксация в терминологии и литера­турной норме. Вла­ди­­во­с­ток, 1986.

Молодец 1983: В.Н. Молодец. Некоторые проблемы терминологической сино­ни­мии. // Тер­мин и сло­во. Предметная отнесенность и функцио­ни­рование тер­ми­нов. Горь­кий, 1983.

Мурдаров 1983: Вл. Мурдаров. Съвременни словообразователни процеси. Со­фия, изд. “Нау­ка и из­куст­во”, 1983.

Па­влов­с­кий 1975: А.С. Павловский. Ма­те­ри­алы и тех­ни­ка мо­ну­мен­та­ль­но­-де­ко­ра­тивно­­­го ис­кус­­с­т­ва. Мос­ква, 1975.

Тогунов 1980: Б.М. Тогунов. Суффиксальная семантическая конденсация как один из спо­­­со­­бов тер­минообразования. // Лингвистические аспек­ты терми­но­­­логии. Во­ронеж, 1980.

Шко­ла 1960: Шко­ла изо­бра­зи­те­ль­но­го ис­кус­с­т­ва, вып. V. Москва, 1960.


ЭКСПЕРИМЕНТЫ С АВТОМАТИЧЕСКОЙ ПРОВЕРКОЙ ЗАДАНИЙ ПО ПЕРЕВОДУ (НА МАТЕРИАЛЕ ПРАКТИЧЕСКОЙ ГРАММАТИКИ)

Иванка Атанасова, Великотырновский университет, Р. Болгария,

ivanka49@mail.bg;

Преслав Наков, Калифорнийский университет-Беркли, США,

nakov@cs.berkeley.edu;

Светлин Наков, Софийский университет, Р. Болгария,

svetlin@nakov.com


Ivanka Atanasova, Preslav Nakov, Svetlin Nakov

machine translation, computer-assisted language learning.


The paper presents an experiment for automatic evaluation of translation exercises given to Bulgarian stu­dents learning Russian as a foreign language. We study the applicability of BLEU, a standard machine translation evaluation algorithm, in teaching Russian practical grammar. Comparing our present results to those from previous experiments on fine arts texts, we conclude that while BLEU is good for practice exercises, it cannot be used to grade a real test, since it does not allow for translation variants and cannot indicate or qualify the student’s errors.


В настоящей работе представлен эксперимент автоматической проверки и оценки ка­чес­тва перевода учебных текстов по практической грамматике болгарских студентов, изу­­ча­ю­щих русский язык.

Цель работы – исследовать степень применимости автоматической про­вер­ки и оцен­ки качества перевода в обучении по русской практической грамматике. В статье пос­тав­лены и следующие задачи: установить, при каких условиях этот способ эффективен; срав­нить ре­зуль­таты проверки и оценки автоматического перевода грамматических уп­раж­нений и ху­до­жес­твенных текстов. Для сравнения текстов оригинала и перевода мы ис­пользовали алго­ритм BLEU (BiLingual Evaluation Understudy³³), разработанный Па­пи­не­ни, Рукосом, Уардом, Жу [Papineni et al. 2002, p. 311-318]. BLEU оценивает качество ма­шин­ного пе­ре­вода пос­ред­ст­вом сравнивания текста, переведенного компьютерной прог­рам­мой, с пере­во­дом одного или не­скольких образцов, подготовленных профес­си­о­наль­ны­ми перевод­чи­ка­ми, т. е. людь­ми, а не машинами. В результате получается цифровая оцен­­ка близости пере­во­да и образца: число между 0 и 1, где 1 полное совпадение, а 0 – пол­ное не­со­ответствие. Ниже мы будем умножать это число на 100, чтобы получить про­цент.

В процессе оценки алгоритм учитывает следующие параметры:

1. Количество общих последовательностей длиной в 1, 2, 3 и 4 слова.

2. Частоту каждого слова в переводе и в образце.

3. Длину перевода и образца (как отдельных предложений, так и всего текста), ко­то­рая не должна отличаться очень значительно.

В алгоритме не содержится информации о грамматике (синтаксисе и морфологии) язы­­ка перевода. Если, например, вместо слова себя студент неправильно написал себе (т. е. до­­пустил падежную ошибку), для программы это такая же ошибка, как если бы студент на­­пи­сал тебе, или мне, или крокодил, или обезъяна, или Буш.

Материалом для настоящего эксперимента послужили переводы словосочетаний и пред­ложений, включенные как самостоятельные упражнения по грамматике в пись­мен­ный экзамен по Корректировочному курсу для студентов первого курса отделения Прик­лад­ной лин­г­вистики Великотырновского университета имени Святых Кирилла и Мефо­дия, изу­ча­ю­щих русский язык в качестве первого иностранного языка.

Студенческие переводы упражнений по грамматике были распределены на две груп­­пы, которые были анализированы в отдельности с целью сравнения результатов. В экс­­пе­ри­мен­тах приняла участие одна студенческая группа в восемь человек.

Переводы студентов оценивались преподавателем по следующим критериям: ко­ли­­чес­т­во грамматических ошибок и количество лексических ошибок. Орфографические ошиб­ки учи­тывались следующим образом: три орфографические ошибки равнялись од­ной лекси­чес­кой или грамматической ошибке. Пунктуационные ошибки не учитывались.

В первую группу упражнений включены словосочетания, относящиеся к темам: "Род и число имен существительных" и "Причастия". В первое упражнение входят пре­иму­­щест­венно однокорневые имена существительные, расходящиеся в роде или числе в обо­их язы­ках. Участникам эксперимента были предоставлены для перевода с болгарского на русский язык следующие упражнения по практической грамматике.

Упражнения на перевод словосочетаний

упр. 1. Червена ябълка, интересен цитат, българска войска, огромна зала, безплатна рецепта, пло­до­ва салата, актуален проблем, голяма торта, смела постъпка, точна прогноза, зимни дрехи, летни обув­ки, съв­ре­мен­ни мебели, политически борби, вкусни макарони, лятна ваканция, детски ясли, голяма ножица, сте­нен ча­сов­ник, слънчеви очила.

упр. 2. Спяща красавица, действащ вулкан, пеещ часовник, учаща се младеж, изоставащ ученик, за­с­па­ло дете, разтопен сняг, закъснял пътник, предполагаем отговор, необитаем остров, непроизносими съ­г­ласни, не­склоняеми съществителни, открит урок, забравен учебник, забранен филм, отложен изпит.

Переводы словосочетаний проверялись и оценивались преподавателем по ко­ли­чес­т­ву ошибок и автоматической программой (BLEU) в процентах. Результаты представлены в сле­дую­щих диаграммах.

Преподаватель – словосочетания Bleu – словосочетания



При сравнении результатов проверки преподавателем и BLEU были установлены сход­­ства и расхождения. Результаты по успеваемости оказались сход­ными в пяти случаях – при студентах 2, 3, 4, 7, 8, и они заняли одно и то же место в обо­их списках (с учетом двух пер­вых и двух вторых мест в списке преподавателя из-за оди­на­ко­во­го количества ошибок).

I. Совпадения в количестве ошибочных слов.

Одинаковое количество ошибочных слов наблюдается в тех случаях, когда в слове до­пущена только одна ошибка – грамматическая или лексическая, например: детские яслы (7)³⁴ вм. ясли; непроизносимые согласны (7) вм. согласные; несклоняемые сущес­тви­тельны (7) вм. существительные; отставающий (5, 7, 8), отстававшй ученик (4) вм. от­ста­ющий; раставший (7, 8), растаянный (1), растаящийся снег (2) вм. рас­та­явший; дей­ст­вуйщий (6), действуйший (3), настоящий вулкан (2) вм. действующий; за­претный фильм (3) вм. запрещенный; заснутый ребенок (7) вм. заснувший; певучие часы (1) вм. поющие; бол­гарское войска (3) вм. войско; овощной салат (4) вм. фрук­то­вый.

II. Расхождения в количестве ошибочных слов наблюдаются в нескольких случаях.

1. Использование лексических синонимов вместо образца, предложенного препо­да­ва­те­лем, например: уснувший ребе­нок (4) вм. заснувший; опоздавший путник (3, 5, 7) вм. па­с­са­жир.

В приведенных примерах только BLEU учитывает ошибки, так как сравнивает пе­ре­­вод студентов с переводом преподавателя.

2. Ошибки в роде и числе однокорневых существительных, например: интерес­ный цитат (4) вм. интересная цитата; болгарские войски (4) вм. болгарское войско; вкус­ная макарона (1) вм. вкусные макароны; детское ясло (1) вм. детские ясли; зимние одеж­ды (6, 7) вм. зимняя одежда; политические борьбы (3, 7) вм. политическая борь­ба; большая ножница (3, 8) вм. большие ножницы.

При словосочетаниях ошибка в роде или числе существительного приводит к ошиб­ке определяющего прилагательного. В таком случае проверяющий отмечает одну ошиб­ку, а BLEU учитывает каждое отдельное слово.

3. Неправильный перевод имен существительных, причем они расходятся в числе с со­­ответствующими эквивалентами, например: детский сад (3, 8) вм. детские ясли; вкус­ная лапша (7), вкусная паста (5) вм. вкусные макароны.

Преподаватель рассматривает словосочетание как одно целое и поэтому учитывает одну ошибку, а BLEU регистрирует ошибки в каждом отдельном слове.

4. Орфографические ошибки, например: безплатный (4) вм. бесплатный; не­о­бы­та­е­мый (3, 6) вм. необитаемый; опаздавший (5) вм. опоздавший; вулькан (4) вм. вул­кан; цы­та­та (3) вм. цитата; остающий (1) вм. отстающий; спящяя (4) вм. спящая.

BLEU учитывает ошибку в каждом слове, а преподаватель приравнивает три ор­фо­гра­фи­ческие ошибки к одной грамматической или лексической ошибке.

Во вторую группу упражнений включены предложения, относящиеся к темам: "Ка­те­го­рия одушевленности", "Предлоги", "Степени сравнения прилагательных", "Гла­го­лы дви­же­ния". Участникам эксперимента были предоставлены для перевода с бол­гар­с­ко­го на русский язык следующие упражнения по практической грамматике.

Упражнения на перевод предложений

упр. 1. Андрей нарисува момче и момиче. Астрономите наблюдават Венера и Нептун. Сергей чете "Май­­с­торът и Маргарита". Майката изпрати дъщеря си на училище. Учителката изпита двама ученика и три ученички. Момчетата играят на пътешественици, а момичетата на кукли. Ловците видяха стран­но чу­до­­вище.

упр. 2. Забравих си ключа от квартирата. Елена живее при родителите си. Студентите се гот­вят за из­­пит. Девойката беше облечена с бяла блуза. Старецът разказваше за живота си. Зоя отиде при ле­каря. Зоя бе­ше при лекаря. Зоя се върна от лекаря. Петър купи лекарство против ангина. Мая се омъжи за журналист. Па­вел се ожени за учителка. Децата вярват в приказките и легендите. Брат ми свири на ки­тара. Спор­тис­тът е уверен в победата.

упр. 3. Витоша е по-ниска от Пирин. Речникът е по-дебел от учебника. Златото е по-скъпо от сре­б­ро­то. Крушата е по-сладка от ябълката. Дунав е най-дългата река в Европа. Байкал е най-дълбокото езе­ро в све­та. Рила е най-високата планина в България. Това е най-малкият ми брат.

упр. 4. Рибите плуват. Олег плува към брега. Птиците летят. Самолетът лети за Москва. Всеки ден ходя на занятия. Днес отивам на концерт. Децата бягат по двора. Петър тича към топката.

Переводы предложений проверялись и оценивались преподавателем по количеству оши­­бок и BLEU в процентах по тем же самым критериям, что и переводы слово­со­че­та­ний. Ре­зультаты представлены в сле­дую­щих диаграммах.

Преподаватель – предложения Bleu – предложения



При сравнении результатов проверки преподавателем и BLEU были установлены сход­ства и расхождения. Результаты по успеваемости оказались сходными в трех случаях – при студентах 1, 6, 7, и они заняли одно и то же место в обоих спис­ках.

I. Совпадения в количестве ошибочных слов.

Одинаковое количество ошибочных слов наблюдается в тех случаях, когда в слове до­пу­щена только одна ошибка – грамматическая или лексическая, например: наблюдают Ве­­не­ра (2, 7) и Нептуна (2, 3, 4, 7) вм. Венеру и Нептун; читает Мастер и Маргарита (1, 2, 3) вм. Мастера и Маргариту; играют в путешественников (5), в путе­шес­т­вен­ни­ках (1) вм. в путешественники; играют в кукол (5), в куклах (1) вм. в куклы; про­во­ди­ла дочери (5) вм. дочь; проводила в школе (7) вм. в школу; двух ученика (5, 8) и трех уче­ницы (8) вм. двух учеников и трех учениц; верят в сказках и легендах (3, 8) вм. в сказ­ки и ле­ген­ды; вернулась с врача (4, 8), из врача (1) вм. от; уверен в победу (5) вм. в по­беде; играет на гитару (5) вм. на гитаре; от ангиной (7) вм. от ангины; хожу на за­ня­тиях (8), на заня­тий (5), на занятии (7) вм. на занятия; рыбы плывут (7) вм. пла­ва­ют; моложайший (5), меньчай­ший (8) вм. младший; сладче (4), сладчайше (1), слад­ше (6) вм. слаще; ловцы (7) вм. охот­ни­ки; спор­тист (3, 6, 7) вм. спортсмен; кру­ша (3) вм. груша; дальнейшая река (2) вм. длин­ней­шая.

II. Расхождения в количестве ошибочных слов наблюдаются в нескольких случаях.

1. Использование лексических синонимов или синонимических предлогов вместо об­раз­ца, предложенного преподава­те­лем, например: дочку (2) вм. дочь; блузке (3) вм. коф­точ­ке; пришла от врача (5) вм. вер­ну­лась; бегают во дворе (8), на дворе (3) вм. по двору; проэкзаменовала (7) вм. спросила; от­правила (6) вм. проводила; против ангины (4) вм. от.

В приведенных примерах только BLEU учитывает ошибки, так как сравнивает пере­вод студентов с переводом преподавателя.

2. Замена слова синонимическим словосочетанием, например: дороже серебра (5, 8) вм. чем серебро; слаще яблока (5) вм. чем яблоко.

И в этих примерах только BLEU учитывает ошибки – замену окончания и по­яв­ле­ние нового слова (союза чем).

3. Ошибки в предложно-падежных сочетаниях и использование сложной превос­ход­ной степени прилагательных вместо простой, например: странного чудовища (5, 6, 7, 8) вм. странное чудовище; спросила двое ученика и трое ученицы (4) вм. двух учеников и трех учениц; готовится об экзамене (4) вм. к экзамену; женился для учительницы (1) вм. на учительнице; одета в белой кофточке (6), с белой кофточкой (4) вм. в бе­лую кофточку; уве­рен победой (7) вм. в победе; самое глубокое озеро (4, 7) вм. глу­бо­чай­шее; самая длин­ная река (4) вм. длиннейшая; самая высокая гора (4) вм. высочайшая.

BLEU учитывает большее количество ошибочных слов – замену предлога и окон­ча­­ния или двух окончаний в атрибутивном словосочетании; замену простой (од­но­слов­ной) фор­мы превосходной степени сложной формой (словосочетанием). Во всех этих слу­ча­ях пре­подаватель учитывает по одной ошибке.

4. Орфографические ошибки, например: путешественики (3, 4, 7) вм. путешес­т­вен­ники; длинейшая (5) вм. длиннейшая.

В приведенных примерах BLEU учитывает ошибку в каждом слове, а пре­по­да­ва­тель приравнивает три ор­фо­гра­фи­ческие ошибки к одной грамматической или лек­си­чес­кой ошибке.

5. Преподаватель не считает некоторые ошибки, касающиеся неизученного учеб­но­го ма­териала или имеющие несущественное значение, например: Дунав (3, 7, 8) вм. Ду­най; поженился (1, 6, 7) вм. женился; испроводила (8) вм. проводила; девушки (7) вм. де­вочки.

BLEU отмечает каждую ошибку, так как сравнивает перевод студентов с пе­ре­во­дом пре­подавателя.

На следующем этапе работы были подсчитаны усредненные результаты автомати­чес­кой проверки и проверки преподавателя перевода словосочетаний и предложений. Ниже при­водим соответствующие диаграммы.



Анализ результатов проведенных экспериментов дает нам основание сделать не­ко­то­рые выводы.

1. Преподаватель и автоматическая проверка ставят одних и тех же студентов на пер­­вых и последних местах по успеваемости как при переводе словосочетаний, так и при пе­­ре­во­де предложений. Совпадения в позиции студентов по успеваемости (с учетом оди­на­кового ко­личества ошибок при проверке преподавателя) наблюдаются в 62,5% слу­ча­ев при переводе сло­восочетаний, в 37,5% случаев при переводе предложений и в 50% слу­ча­ев при ус­ред­нен­ных результатах переводов. Меньшее количество совпадений при пе­ре­во­де предложений мож­но объяснить расхождениями в оценке предложно-падежных сло­во­со­четаний, где пре­по­да­ва­тель учитывает одну ошибку, а BLEU считает ошибки в каждом сло­ве. Перевод пред­­ложений предоставляет большие возможности исполь­зо­ва­ния сино­ни­мических кон­струк­ций (включая и предложно-падежные варианты), где авто­ма­ти­чес­кая про­верка учи­ты­ва­ет некоторое количество ошибок, а преподаватель – ноль оши­бок. При пе­ре­воде слово­со­че­таний применяется тот же самый критерий оценки пред­лож­но-па­деж­ных и си­нони­ми­чес­ких конструкций, однако отсутствие косвенных падежей сни­жает об­щее ко­ли­чес­тво ошибок и, следовательно, количество расхождений.

2. При переводе упражнений по грамматике и художественных текстов с бол­гар­с­ко­го язы­ка на русский совпадения в позиции студентов по успеваемости наблюдаются в 50% слу­ча­ев, при переводе текстов художественной литературы с русского языка на бол­гар­ский – в 60% случаев и в 55% случаев при усредненных результатах переводов худо­жес­твенных тек­с­тов. Меньшее количество расхождений в переводе на болгарский язык мож­но объяснить ана­ли­тическим характером болгарского языка, а большее количество рас­хождений в переводе на русский язык – аналитико-синтетическим характером рус­с­ко­го языка. Данные приводятся по нашим экспериментальным наблюдениям [Кирова, Ата­на­сова, Наков, 2006]. Разница в сов­падениях позиций студентов по успеваемости при пе­ре­воде грамматических упражнений и художественных текстов всего 5%, т.е. результаты прак­тически не зависят от характера тек­­ста для перевода.

3. Автоматическая проверка достигает лучших результатов при переводе лексико-грам­­матических сло­во­со­четаний, не имеющих синонимических вариантов, и исклю­ча­ю­щих кос­венные падежи.

4. Существенным недостатком BLEU является то, что она не указывает на кон­к­рет­ные ошибки и варианты перевода. Вот почему ее не следует использовать на экзамене, а мож­но при­ме­нять только на учебных занятиях или в Интернете при самоподготовке сту­ден­тов.