Авторефераты по всем темам >>
Авторефераты по техническим специальностям
УЧРЕЖДЕНИЕ РОССИЙСКОЙ АКАДЕМИИ НАУК
ИНСТИТУТ ПРОБЛЕМ УПРАВЛЕНИЯ
им. В.А. ТРАПЕЗНИКОВА
(ИПУ РАН)
На правах рукописи
УДК: 681.3:519.2:519:51-74:004-52
ФАРХАДОВ Маис Паша оглы
РЕЧЕВЫЕ ТЕХНОЛОГИИ
В АВТОМАТИЗИРОВАННЫХ СИСТЕМАХ
МАССОВОГО ОБСЛУЖИВАНИЯ
Специальность 05.13.15 -
Вычислительные машины, комплексы и компьютерные сети
АВТОРЕФЕРАТ
диссертации на соискание ученой степени
доктора технических наук
Москва Ч 2012
Работа выполнена в Учреждении Российской академии наук
Институте проблем управления им. В.А.Трапезникова РАН
Научный консультант:
доктор технических наук, профессор
| Жожикашвили Владимир Александрович |
Официальные оппоненты:
доктор технических наук, профессор
Трахтенгерц Эдуард Анатольевич
доктор технических наук, доцент
Ронжин Андрей Леонидович
доктор технических наук, доцент
Шаврин Сергей Сергеевич
Ведущая организация:
Институт проблем передачи информации им. А.А. Харкевича РАН (ИППИ РАН)
Защита состоится л____ __________ 2012 г. в ___ часов на заседании Диссертационного совета №3 Д 002.226.03 ИПУ РАН по адресу:
117997, Москва, ул. Профсоюзная, д. 65.
Телефон диссертационного совета: (495)334-93-29.
С диссертацией можно ознакомиться в библиотеке Института проблем управления им. В.А.Трапезникова РАН.
Автореферат разослан л_____ ______________ 2012 г.
Ученый секретарь
Диссертационного Совета
кандидат технических наук, с.н.с. Кулинич Александр Алексеевич
ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ
Актуальность темы. Диссертационная работа посвящена разработке теоретических основ и выработке практических решений проблемы применения речевых технологий в автоматизированных системах массового обслуживания (АСМО) с целью повышения открытости этих систем и облегчения доступа населения к информации и услугам. Актуальность проблемы доступа людей к информации на переходном этапе продвижения страны и мира к информационному обществу не вызывает сомнений. Быстро развивающиеся информационные и телекоммуникационные технологии проникают во все сектора экономики: в производство, в сферу услуг, в образование, в государственное управление, банковскую сферу, в частный бизнес и др. Наблюдается тенденция к социализации информации - нарастанию количества информации, которая необходима людям в их повседневной жизни. Помимо наличия знаний и информации, для развития информационного общества необходимо создание условий для того, чтобы члены общества имели доступ к информации и могли ее использовать. Бурное развитие технологий обостряет существующую во всем мире проблему информационного неравенства. Для России сложилась ситуация, когда темпы роста информатизации оказались выше, чем темпы развития компьютеризации и коммуникаций. Это привело к обострению проблемы неравного доступа граждан к информации, особенно малообеспеченных людей и населения отдаленных регионов. В качестве одного из средств смягчения этой трудной проблемы в диссертации рассматриваются речевые технологии, достигшие за последние годы достаточно высокого уровня качества и способные обеспечить гражданам дополнительный, а иногда и единственный, канал доступа к информационным и сервисным системам. Создание телефонных сервисов самообслуживания, речевых порталов и речевых браузеров повышает эффективность и открытость АСМО и решает актуальную народнохозяйственную и социальную задачу облегчения доступа населения к информации и услугам и обуславливает важность и необходимость выполнения исследований в данной области.
Цель работы состоит в разработке теоретических основ и практически значимых решений фундаментальных проблем использования речевых технологий в сетевых и телефонных системах массового обслуживания.
Были поставлены и решены следующие задачи:
- анализ современного состояния и тенденций развития автоматизированных систем массового обслуживания населения;
- анализ качества функционирования существующих распознавателей речи для создания речевого доступа к АСМО и экспериментальное исследование их свойств;
- разработка эффективного по затратам времени и по результативности речевого человеко-машинного интерфейса к АСМО как разновидности человеко-машинного взаимодействия;
- разработка и реализация метода автоматизированного накопления статистических данных об ошибках распознавания и методов и алгоритмов коррекции результатов распознавания на основе накопленных данных и знаний об ошибках;
- разработка системы оценок и аналитических моделей для сравнительного анализа и оптимизации сценариев речевого диалога с различными процедурами обнаружения и коррекции ошибок;
- разработка математических моделей для расчета вероятностно-временных характеристик обслуживания вызовов и оптимизации функционирования контакт центров с сервисами самообслуживания на базе речевых технологий;
- внедрение полученных результатов в практических системах с речевым интерфейсом.
Методы исследования. В диссертационной работе применены методы теории систем массового обслуживания, теории вероятностей, математической статистики, математического моделирования, теории цепей Маркова, теории управления.
Научная новизна. Новизна диссертации состоит в том, что впервые разносторонне исследованы русскоязычные речевые технологии, пригодные для организации интерактивного речевого взаимодействия клиентов с системами массового обслуживания, и разработаны теоретические основы и практические решения проблем, относящихся к использованию речевых технологий в АСМО с целью повышения доступности информации и услуг этих систем населению.
К основным научным результатам, полученным в диссертационной работе, относятся:
- выполнен теоретический анализ и экспериментальное исследование характеристик дикторонезависимых распознавателей русской речи с целью определения свойств машинной стороны интерактивного речевого интерфейса. Разработан аппаратно-программный комплекс для автоматизации исследований характеристик распознавателей речи и диалоговых взаимодействий в многоканальном режиме;
- исследован относительно малоизученный и трудный для реализации речевой человеко-машинный интерфейс, разработаны новые методы повышения эффективности диалогового взаимодействия и созданы практические рекомендации для разработчиков речевых приложений АСМО;
- разработаны новые методы и алгоритмы повышения устойчивости и надежности систем массового обслуживания с речевым интерфейсом;
- разработан и программно реализован метод автоматизированного накопления статистических данных об ошибках распознавания речи;
- разработан метод и алгоритм коррекции результатов распознавания на основе использования накопленных данных и знаний об ошибках;
- решена задача определения оптимальной величины порога показателя уверенности распознавателя в предлагаемой гипотезе для вызова процедуры подтверждения, позволяющая своевременно обнаруживать ошибки распознавания и сокращать среднюю продолжительность диалогов;
- разработана классификация сценариев речевого диалога и система вероятностных и временных оценок и аналитических моделей для сравнительного анализа сценариев с различными процедурами обнаружения и коррекции ошибок. Решена задача выбора оптимального сценария диалога на основе минимизации оценок продолжительности диалога с обеспечением заданной вероятности его успешного завершения;
- разработан комплекс математических моделей для расчета вероятностно-временных характеристик обслуживания заявок и оптимизации функционирования центров обработки вызовов с сервисами самообслуживания на базе речевых технологий.
Практическая ценность. Показана возможность и целесообразность применения речевых технологий в системах массового обслуживания. Разработаны практические рекомендации по речевому человеко-машинному интерфейсу и создана методология проектирования систем с речевыми технологиями. Разработанные принципы, модели и методы применены в первых в России прикладных системах телефонного самообслуживания различного профиля и в системах с нетрадиционным применением речевых технологий: веб приложение Звуковой тренажер и система речевого управления электронной картой г. Баку, для которой разработана методика адаптации турецкого языкового пакета для распознавания азербайджанского языка. Созданы универсальные блоки распознавания русской и азербайджанской речи, включающие словари и грамматики, и соответствующая им база аудио-файлов.
Применение результатов работы позволяет существенно расширить круг пользователей систем массового обслуживания, предоставив им удобный дополнительный, а иногда и единственный, канал доступа к услугам этих систем. Это обеспечит новый уровень информационных услуг, предоставляемых населению и организациям в режиме самообслуживания, а также повысит эффективность использования систем массового обслуживания.
Разработанные математические модели, алгоритмы и программы могут быть использованы для дальнейшего развития и совершенствования автоматизированных систем массового обслуживания.
Достоверность. Научные положения, выводы диссертации обоснованы с использованием теории массового обслуживания, теории вероятностей и математической статистики, теоретических основ программирования, а также проверены в процессе вычислительного эксперимента и подтверждены испытаниями на научно-исследовательском полигоне ИПУ РАН, актами внедрений, практическим применением в нескольких компаниях.
Связь с планом. Исследования по теме диссертационной работы проводились в соответствии с плановой тематикой работ Учреждения Российской академии наук Института проблем управления им. В.А.аТрапезникова РАН, а также при поддержке РФФИ (гранты 05-08-18075-а, 08-08-01022-а, 09-08-01168-а).
Апробация работы. Основные результаты диссертационной работы докладывались и обсуждались на Международной конференции Distributed Computer Communication Networks. Theory and Application (Тель-Авив, 1999 г., София, 2009 г., Москва, 2010 г.); Международной конференции Математические методы исследования систем и сетей массового обслуживания (Минск, 1998 г.); XIV международном симпозиуме по управлению большими системами CONTROLТ2000 (Тбилиси, 2000 г.); 8-ой Международной конференции Проблемы управления безопасностью сложных систем (Москва, 2000 г.); 16-ой Белорусской школе по теории массового обслуживания (Минск, 2001 г.); 9-ой Международной конференции Речь и компьютер (SPECOMТ2004) (Санкт-Петербург, 2004 г.); Научной сессии Отделения информационных технологий и вычислительных систем РАН Распознавание речи (Москва, 2003 г.); II, III, IV Конференциях Интеллектуальные услуги в телефонных сетях. Мобильный контент. Технологии и бизнес (Виноградово, 2005 г., 2006 г., 2007 г.); IV, V, VIII, IX, X Международных форумах Высокие технологии XXI века (Москва, 2004 г., 2005 г., 2007 г., 2008 г., 2010 г.); Международной научной конференции Проблемы кибернетики и информатики (Баку, 2006 г.); Научно-практической конференции Современные технические и программные средства обеспечения АСУ и АСУ ТП (Москва, 2005 г.); Конференции Перспективы развития робототехники для экстремальных ситуаций (Москва, 2006 г.); Конференции ИНФОТЕХ-2007 (Севастополь. 2007 г.); XIIаInternational Conference Speech and Computer (SPECOM'2007) (2007, Москва); International Workshop on Multiple Access and Queuing Systems MACOM-2008 (Saint-Petersburg, 2008); International Conference Problems of Cybernetics and Informatics, 2008, 2010 Baku; I, II и III Международных конференциях Управление развитием крупномасштабных систем MLSD, (Москва, 2007 г., 2008 г., 2010 г.); Российской конференции с международным участием Технические и программные средства систем управления, контроля и измерения (Москва, 2008 г., 2010 г.); IV Международной конференции по проблемам управления (МКПУ-IV) (Москва, 2009 г.); Международной конференции Современные математические методы анализа и оптимизации информационно-телекоммуникационных сетей BWWQT-2009 (Минск, 2009 г.), IX Международной конференции по финансово-актуарной математике и эвентоконвергенции технологий, Красноярск, 2010.
Результаты работы демонстрировались на 12 выставках (2003-2011 гг.) и неоднократно награждались медалями и дипломами.
Публикации. Результаты проведенных автором научных исследований опубликованы в 53 работах, среди которых 19 статей в ведущих рецензируемых журналах из списка ВАК России и 4 монографии.
Структура и объем работы. Диссертационная работа состоит из введения, 6 глав, заключения и приложения и содержит 324 страниц машинописного текста, включая 65 рисунков, 17 таблиц, а также список литературы (238 наименований).
СОДЕРЖАНИЕ ДИССЕРТАЦИИ
Во введении обоснована важность и актуальность темы диссертации, ее новизна, сформулированы цели исследований и основные задачи, которые необходимо решить для их достижения, определена практическая ценность и кратко излагаются основные результаты работы.
В первой главе проанализированы тенденции развития систем массового обслуживания населения с позиций повышения доступности информации и услуг широким слоям населения в условиях формирования информационного общества и рассмотрены современные речевые технологии как инструмент для создания новых интерфейсов к информационным и сервисным системам.
Анализируются два класса систем массового обслуживания населения: сетевые и телефонные. Сетевые системы обслуживания прошли эволюцию от моноцентральных систем бронирования мест с корпоративной сетью и специализированными терминалами до современных информационных порталов и интернет-магазинов с веб доступом к ним с компьютеров разного типа. Анализируя эволюцию сетевых систем, можно заметить, что с точки зрения населения наиболее важным моментом явилось исключение из цепочки конечный потребитель - посредник - система среднего звена - посредника и предоставление конечному потребителю возможности получения данных и услуг в режиме самообслуживания. Этот режим стал настолько популярен, что провайдеры информации и услуг начали сокращать число агентов-посредников, что стало затруднять доступ к системам той части населения, которая компьютеров не имеет или не имеет доступа в сеть, а это, как правило, наиболее бедная часть населения: пожилые люди, инвалиды, жители отдаленных регионов.
Телефонные системы обслуживания являются традиционным средством предоставления информации населению по телефону. Они также прошли путь от автоматизированных телефонных станций с простейшими механизмами распределения вызовов между операторами до современных контакт-центров, обслуживающих разнотипные вызовы и имеющих сложную систему контроля и управления работой персонала. Анализируя эволюцию телефонных систем обслуживания вызовов, можно отметить, что с точки зрения пользователя безусловным новшеством стало внедрение интерактивного голосового ответа (IVR - Interactive Voice Response) для автоматизации функций донесения абонентам ответов на часто задаваемые вопросы, позволившее получать часть информации в режиме самообслуживания, без участия оператора. Получение информации через автомат должно обходиться пользователю дешевле, что также может быть привлекательным для населения, особенно для беднейшего.
Дальнейшее расширение возможностей получения информации и услуг в режиме самообслуживания лежит на пути использования речевых технологий. Выполнен анализ современных речевых технологий и показаны области их применения. На Западе телефонные сервисы самообслуживания на базе речевых технологий получили довольно широкое распространение, и этот рынок успешно развивается. Так, по данным компании BCC Research, специализирующейся на исследовании рынков и прогнозе успешности внедрения новых технологий [ рынок технологии распознавания речи будет ежегодно расти на 8,8% между 2010 и 2015 годом. Объем рынка в 2015 году оценивается в 58,4 миллиардов долларов США.
В нашей стране речевые технологии до сих пор не получили широкого распространения. Наиболее существенными причинами для объяснения такого отставания является отсутствие на рынке вплоть до последнего времени надежных распознавателей для русского языка и низкое качество передачи речи в телефонных сетях старого поколения. Не последнюю роль играет также недоверие потенциальных потребителей систем с распознаванием речи к новой технологии, которое объясняется опасением, что ошибки распознавания будут вызывать раздражение клиентов и нанесут вред имиджу компании.
Однако ситуация к настоящему времени существенно изменилась. Появились доступные для приобретения и использования русскоязычные распознаватели компаний Nuance, США, [ и Loguendo, Италия, [ находятся на стадии тестирования продукты отечественных компаний Vocative [ и Центр речевых технологий [ Качество передачи речи по сети также улучшилось благодаря изменениям в сетевой инфраструктуре: происходит модернизация магистральных сетей, внедряются цифровые технологии, оптические кабели, высокоскоростной цифровой абонентский доступ. Надежность распознавателей заметно повышается.
Таким образом, при современных тенденциях в развитии коммуникационной техники и речевых технологий в нашей стране и при возрастании значимости доступа к информационным ресурсам и сервисам условия для использования речевых технологий для доступа населения к системам массового обслуживания населения имеются. Предлагаемые решения предоставят населению возможность более широко использовать телефон для получения информации и услуг. Эти решения могут использоваться как в сетевых информационных системах, дополняя традиционный Интернет браузер голосовым браузером, так и в центрах телефонного обслуживания, значительно расширяя функции IVR. Сервисы самообслуживания дешевле, чем услуги операторов, они могут функционировать круглосуточно и на разных языках. Помимо этого, услуги и данные могут быть предоставлены комплексно, из разных систем, путем организации интеллектуального диалога с сервером самообслуживания и взаимодействия этого сервера с разнообразными прикладными системами, что также выгодно и удобно для пользователей. Одновременно, поставщики услуг, контакт центры и контент провайдеры могут повысить свою эффективность путем внедрения у себя сервисов самообслуживания, что позволит им сократить число операторов, сгладить пиковые нагрузки, снизить расходы на организацию инфраструктуры.
Отдельную область применений речевых технологий составляют нужды людей с ограниченными возможностями. Для таких людей речевые технологии позволяют создать сервисы, которые помогут им получать информацию, образование, профессиональные знания и успешно включаться в общественную и трудовую жизнь.
При внедрении речевых технологий приходится сталкиваться с целым рядом все еще нерешенных проблем, суть которых определяется спецификой самих речевых технологий и психофизиологическими особенностями человека, вступающего во взаимодействие с ними. Наиболее общий характер имеют проблемы, относящиеся к построению эффективного речевого человеко-машинного интерфейса, проблемы, связанные с повышением устойчивости систем с речевым интерфейсом к ошибкам распознавания и задачи оптимизации сценария диалога при различных вариантах организации процедур выявления и коррекции ошибок. Другую группу новых задач образуют задачи разработки математических моделей для расчета характеристик обслуживания заявок в центрах обслуживания вызовов, где речевые технологии применяются для организации функций самообслуживания, и задачи оптимизации функционирования таких центров. По всем этим вопросам был выполнен обзор публикаций, который позволил выявить современное состояние исследований в данных областях, показал актуальность перечисленных проблем и позволил конкретизировать задачи диссертации. При разработке принципов и методов создания эффективного речевого интерфейса эта конкретизация выразилась в объединении знаний из области компьютерного распознавания речи, когнитивной психологии и лингвистики, в экспериментальном изучении характеристик распознавателей и в применении теоретических знаний и практического опыта для создания рекомендаций по дизайну речевого интерфейса. Этим вопросам посвящена вторая глава диссертации. Проблема ошибок распознавания является одной из самых обсуждаемых в литературе по компьютерному распознаванию речи. В диссертации сделан акцент на решение задач, связанных с предотвращением ошибок, с их своевременным обнаружением и способах коррекции. Разработан и реализован метод автоматического накопления статистических данных об ошибках распознавания и алгоритм использования знаний об ошибках для повышения вероятности правильного распознавания, описанные в третьей главе. Решение задач оптимизации сценариев диалога с различными процедурами обнаружения и коррекции ошибок, описанное в четвертой главе, выполнено на основе минимизации оценок продолжительности диалога с обеспечением заданной вероятности его успешного завершения. Разработка математических моделей для описания функционирования и оптимизации работы центров обработки вызовов с сервисами самообслуживания на основе речевых технологий производилась с учетом особенностей, вносимых этими технологиями: необходимость перевода вызова на оператора по причине ошибок распознавания в процессе самообслуживания, разница в скоростях и стоимостях обслуживания вызовов портами самообслуживания и операторами. Эти результаты приведены в пятой главе диссертации.
Полученные научные результаты применены при создании первых в России прикладных систем телефонного самообслуживания различного профиля с речевыми технологиями. Разработанные принципы и методы использованы также в системах с нетрадиционным применением речевых технологий: веб-приложение Звуковой тренажер для людей с нарушением слуха и система управления объектами электронной карты г. Баку, в которой реализована идея применения для распознавания азербайджанской речи базового пакета распознавания для другого, фонетически близкого, языка.
Вторая глава посвящена исследованию и разработке речевого интерфейса к системам массового обслуживания населения как разновидности человеко-машинного взаимодействия.
Под унимодальным речевым интерфейсом понимается диалоговое человеко-машинное взаимодействие, где ввод запроса и вывод ответа осуществляется с помощью речи.
Речевой интерфейс отличается от графического наличием более серьезных ограничений по взаимодействию как с машинной стороны, так и со стороны человека. В связи с этим разработка принципов и методов создания эффективного речевого интерфейса включала, в первую очередь, исследование проблематики каждой из сторон интерфейса: распознавателей с одной стороны и человека с другой. На основании полученных результатов разработаны методы решения проблем и сформулированы правила проектирования эффективных интерфейсов для речевого взаимодействия клиентов с системами массового обслуживания.
Экспериментальные исследования свойств распознавателей
На Западе исследованию свойств и характеристик распознавателей речи уделяется серьезное внимание. Так, The National Institute of Standards and Technology (NIST), США, [ еще в 1980 годах начал работу по созданию речевых баз данных (речевых корпусов) и предоставлению их для отладки и тестирования систем, в которых используется распознавание американского и британского вариантов английской речи. Позднее были созданы базы речевых данных и выполнено тестирование систем для других языков.
Распознаватели для русского языка не исследовались. Речевые корпусы для русского языка представлены очень скудно.
Для исследования характеристик распознавателей русского языка и выявления зависимостей создана система, обеспечивающая доступ к реальным распознавателям через телефон. Система построена на компьютере Pentium 4 (операционная система Windows 2000/XP), дополненном многоканальной интерфейсной платой Dialogic, к которой подключены телефонные линии. Использовались системы распознавания речи разработки компаний Nuance Communications и Philips.
Для выполнения экспериментов был разработан речевой диалог, созданы речевые блоки и записаны аудио файлы для озвучивания текста.
Тестирование производилось различными людьми, разного возраста, пола и национальности, что позволило представить достаточно полный набор вариантов произношения.
Выбор грамматик (грамматика - текстовый файл, описывающий множество слов и фраз, которые могут быть произнесены клиентом на некотором шаге диалога) осуществлялся таким образом, чтобы исследовать с одной стороны специфичные для систем массового обслуживания грамматики (цифры, числа, даты, месяцы, пин коды, города, улицы, телефонные номера, названия валют и др.), и, с другой стороны, охватить все наиболее интересные для исследования аспекты проблем распознавания. Грамматики отличались размером, сложностью логики, длиной произносимых фраз, длиной слов.
Помимо лабораторных данных, использовались сохраняемые записи реальных вызовов, поступающих в работающую систему Автосекретарь, в которой применено распознавание речи. Для исследования были взяты двухнедельные фрагменты архива, содержащие около 3000 диалогов клиентов с системой каждый. Звуковым файлам с записями речи клиентов было поставлено в соответствие несколько информационных меток: смысловое значение, качество записанного звука, половая принадлежность клиента, темп и громкость речи. Смысловое значение использовалось для определения правильности распознавания имен. Грамматика системы Автосекретарь содержит около 300 слов, представляющих собой имена, фамилии, отчества. Исследование проводилось путём многократной обработки звуковых файлов системой распознавания при различных значениях параметров распознавателя с последующим запоминанием результатов экспериментов.
Критерием качества распознавания было выбрано относительное число правильно распознанных слов WRR (Word Recognition Rate):
WRR = R/N,
где R - число правильно распознанных слов,
N - общее число произнесенных слов.
Были получены зависимости WRR от сложности грамматики, от продолжительности высказывания, от типа моделей, от влияния шума, стиля произношения, темпа речи, громкости голоса, и другие.
Исследовано также влияние на результаты распознавания параметров распознавателей и величины порога уверенности распознавателя в результате. Полученные зависимости приведены в диссертации.
Проведенные экспериментальные исследования позволили сделать следующие выводы о поведении машинной части речевого человеко-машинного интерфейса:
- существуют зависимости качества распознавания от целого ряда факторов, и эти зависимости выявлены и представлены в диссертации;
- знание этих зависимостей позволяет разработчику управлять в определенных пределах поведением распознавателя, влияя на содержание ответов клиента путем формулирования вопросов в нужной форме;
- настройка параметров может повысить, и действительно повышает, качество распознавания.
Свойства человека в контексте речевого интерфейса
Главной проблемой унимодального речевого интерфейса является проблема невидимости: зрение не участвует в процессе взаимодействия с машинной стороной, и восприятие вопросов и ответной информации производится клиентом только лишь на слух. Исключение зрения из процесса взаимодействия с машиной приводит к значительному возрастанию когнитивной нагрузки на человека. Наибольшее внимание в процессе дизайна речевого интерфейса требуется уделять следующим составляющим когнитивной нагрузки: нагрузке на память, удержанию внимания и понятийной сложности. Ограничения, присущие человеку в этих областях его деятельности, довольно хорошо изучены, поэтому задачей исследования был поиск путей и средств для снижения когнитивной нагрузки.
Снижение нагрузки на память. Нагрузка на память - едва ли не самая существенная проблема для речевого интерфейса. Размер кратковременной слуховой памяти оценивается в способность запоминания в среднем 4-6 концептов. Известно также, что лучше всего запоминаются самые последние слова, которые человек слышит. Известны временные характеристики сохранения информации в кратковременной памяти. На основании этих данных разработаны и экспериментально проверены принципы конструирования меню и формулирования промптов (промпт - произносимый системой текст: вопрос, инструкция, пояснение, помощь, подсказка и т.п.), которые позволяют сократить нагрузку на память. Эти принципы следующие:
- меню не должно содержать более 5 пунктов. Оптимальный размер меню - 3-4 пункта;
- наиболее популярные пункты меню должны располагаться в начале списка; это позволит сократить диалог при использовании функции barge-in (возможность перебивать систему, не дожидаясь окончания проигрывания ее сообщения);
- концепт, который пользователь должен запомнить лучше всего, необходимо помещать в конец промпта;
- промпт должен сначала объяснять функцию и только потом называть соответствующее ей действие;
- первичные промпты-инструкции должны быть короткими и должны содержать только самую необходимую информацию; дополнительная информация должна быть размещена в промптах помощи, которые могут быть несколько продолжительнее.
Удержание внимания. Проблема удержания внимания клиента становится наиболее актуальной на этапе предоставления ему выходной аудио информации. Крайний случай - вывод всех данных сразу. Ограниченность кратковременной памяти и потеря внимания имеют следствием необходимость повтора всего вывода. Кроме того, с большой вероятностью может оказаться, что далеко не вся эта информация является одинаково важной для клиента. Деление выводимой информации на фрагменты смягчает эти проблемы, но требует, в свою очередь, дополнительных затрат времени на диалог по поводу вывода этих фрагментов. Оптимальное число фрагментов зависит от контекста конкретного приложения и делимости выводимой информации. Следует помнить также, что фрагмент должен включать ограниченное число элементов данных для запоминания (в среднем 3-4 элемента).
Снижение понятийной сложности
Предложены следующие правила для снижения понятийной сложности при взаимодействии пользователя с системой:
- Унификация действий и терминологии с целью формирования полезной привычки. Идея состоит в том, что если позволить клиенту выполнять похожие действия похожим образом и обеспечить на всем протяжении диалога постоянство терминологии, то клиент быстрее сможет понять принцип работы интерфейса и его работа с системой упростится. Однако при этом необходимо позаботиться о том, чтобы избежать монотонности, которая приведет к снижению внимания и ошибкам, а также может раздражать пользователя.
- Использование универсальных команд навигации, всегда доступных пользователю вне зависимости от приложения и контекста. Перечень таких команд обсуждался международным сообществом и даже рекомендован европейскими комитетами по телекоммуникациям. Опыт автора и эксперименты, выполненные применительно к российскому сообществу, позволили создать свой список рекомендуемых универсальных команд, который в основном совпадает с рекомендациями европейских комитетов, но несколько короче и включает 5 команд. На рис. 2.1 показана относительная частота использования универсальных команд. Из рисунка следует, что команды конец и до свидания практически не использовались, поэтому список универсальных команд, обязательных для отработки на любом шаге диалога, включает команды лоператор, помощь, повторить, назад, начало.
- Пояснения и примеры. Примеры и пояснения позволяют снизить число ошибок при вводе данных, помогая клиентам правильно сформулировать ответы на вопросы системы. На рис. 2.2 показано влияние использования примеров на число ошибок при вводе даты подачи машины в системе заказа такси: когда вместо вопроса Назовите дату подачи такси стал использоваться промпт Назовите дату подачи такси, например, сегодня, завтра, послезавтра или пятнадцатого мая, число ошибок значительно сократилось.
- Помощь, немедленная обратная связь (эхо-ответы), ориентация. Предоставление пользователю этих возможностей значительно повышает его уверенность в успехе, способствует сохранению спокойного стиля общения с системой, снижает задержки ответов, что способствует успешному распознаванию системой его ответов и снижению продолжительности диалога.
Рис. 2.1. Относительная частота использования универсальных команд. | Рис. 2.2. Влияние примера на снижение числа ошибок. |
Рекомендации по проектированию речевого интерфейса и грамматик
На основании проведенных исследований составлены рекомендации по проектированию речевого человеко-машинного интерфейса с системами обслуживания. Эти рекомендации касаются следующих проблем:
- Выбор голоса: мужской, женский, синтезированный, живой, тембр, тональность;
- Формулирование приветствия: задачи приветствия, продолжительность, состав инструкций;
- Реализация фазы ввода данных: выбор типа диалога, размер меню, порядок пунктов в списках, информационная поддержка и ориентация клиента, эхо-ответы, помощь, повторы, запросы подтверждения, примеры, использование извинений и вежливых слов и оборотов, информирование о завершении ввода;
- Процедуры коррекции ошибок: дифференциация подсказок, прогнозирование реакции клиента, число переспросов, переход к более простой грамматике, принцип нарастания подробностей в промптах помощи;
- Реализация фазы вывода информации: деление длинной информации на порции, способы запроса частей данных, правила навигации.
Разработаны также рекомендации по проектированию грамматик. Правильно спроектированные промпты и грамматики позволят добиться того, чтобы ответы клиентов соответствовали ожиданиям грамматик, в результате чего будет достигнута более высокая точность распознавания.
Для иллюстрации влияния на качество работы системы с распознаванием речи тщательного дизайна интерфейса, правильного согласования промптов и грамматик и оптимальной настройки параметров распознавателя на рис. 2.3 а) приведены обобщённые результаты работы ненастроенной системы Автосекретарь, а на рис. 2.3 б) показаны результаты работы той же системы после выполнения необходимых корректировок и настройки параметров.
а) ненастроенная система б) настроенная система Рис. 2.3. Обобщенные результаты работы системы Автосекретарь. |
На схемах использованы следующие обозначения:
a - правильные высказывания, характеристика исходной выборки;
b - неправильные высказывания (шумы, посторонние звуки и пр.), характеристика исходной выборки;
c - распознано правильных высказываний;
d - неверно распознано правильных высказываний;
e - не распознано правильных высказываний;
f - верно отброшено неправильных высказываний;
g - неверно распознано неправильных в ысказываний;
h - верные результаты работы;
i - нераспознанные высказывания;
j - неверно распознанные высказывания.
Как видно из приведенных рисунков, грамотно спроектированный интерфейс и оптимальная настройка параметров позволяет улучшить качество работы системы с распознаванием речи.
Таким образом, выполненная работа позволила дать практические рекомендации по дизайну эффективного речевого интерфейса для взаимодействия пользователей с системами массового обслуживания населения. Эти рекомендации основаны на экспериментально полученных данных о характеристиках распознавателей и на данных о функционировании действующих систем с распознаванием речи, спроектированных с участием автора. Они учитывают возможности человека, его слабые и сильные стороны, его опыт и ожидания. Оставаясь в определенной степени искусством, дизайн речевого интерфейса должен основываться также и на точных указаниях, содержащихся в составленных рекомендациях.
В третьей главе диссертации рассматриваются вопросы, связанные с обнаружением и исправлением ошибок. Стохастическая природа процессов, лежащих в основе работы распознавателей, обуславливает возможность появления на их выходе ошибочных результатов. Ошибки при распознавании снижают как полезность приложения, так и степень удовлетворенности пользователей. В связи с этим обнаружение и исправление ошибок распознавания является определяющим свойством речевых приложений.
Приводится классификация ошибок, возникающих при распознавании слов, и критериев, используемых для оценки качества работы распознавателей и речевых приложений.
Предложена общая стратегия обнаружения ошибок и способы их коррекции. Предложены новые методы прогнозирования и предупреждения ошибок и исследована их эффективность.
Выявление возможных ошибок на основе анализа показателя уверенности распознавателя в предлагаемой гипотезе.
Этот метод состоит в сравнении величины показателя уверенности распознавателя в результате распознавания с пороговым значением этого показателя, установленным для вызова процедуры подтверждения. Если показатель уверенности распознавателя в предлагаемой им гипотезе выше порогового значения, то считается, что вероятность ошибки невелика и гипотеза принимается, а диалог переходит на следующий этап. Если вероятность гипотезы ниже порога, то диалог развивается по пути активации процедуры подтверждения. Задача состоит в выборе оптимальной величины порога показателя уверенности в гипотезе.
Для определения оптимальной величины порога показателя уверенности в гипотезе использовался принцип минимума ожидаемых затрат, примененный автором ранее в работах по повышению эффективности автоматизированных систем массового обслуживания, связанных с распределением ресурсов между потоками разной доходности. Применительно к данной задаче этот принцип формулируется следующим образом: порог уверенности должен быть таким, чтобы суммируемые по всем состояниям ожидаемые затраты для выбранного в соответствии с ним действия были минимальными.
Ожидаемые затраты S для некоторого действия в некотором состоянии есть произведение вероятности этого состояния p на величину затрат s, соответствующих предпринимаемому действию.
Рассмотрим состояние системы, соответствующее возврату результата распознавания на некотором шаге диалога. Пусть надежность используемого на этом шаге блока распознавания характеризуется случайной величиной R, описывающей ожидаемую вероятность правильного распознавания. Показатель уверенности распознавателя в возвращаемой гипотезе представляется случайной величиной X, определенной на интервале [0,1], с плотностью вероятности f(x). Существует зависимость между вероятностью правильного распознавания R и показателем уверенности в гипотезе X, т.е. R=g(x). Эта зависимость может быть выявлена путем тестирования блока распознавания.
Пусть порог уверенности равен k. Если возвращаемый вместе с гипотезой показатель уверенности в ней x меньше порога уверенности k, то инициируется процедура подтверждения. Если гипотеза была верной, то в ответ на запрос подтверждения клиент отвечает положительно, что соответствует затратам sда. Если гипотеза была неверной, то затраты соответствуют процедуре исправления ошибки распознавания. Обозначим их через sнет.
Если возвращенный показатель уверенности в гипотезе больше или равен k, то процедура подтверждения не инициируется. При этом в случае правильного распознавания затраты равны нулю, а в случае ошибки они составляют величину sн/ош, соответствующую затратам, связанным с последующим исправлением ошибки, не обнаруженной на данном шаге. Обычно sн/ош > sнет > sда.
Таким образом, ожидаемые затраты S составляют:
. (3.1)
На рис. 3.1 и 3.2 показаны результаты обработки данных о работе блока распознавания имен в приложении Автосекретарь.
Рис. 3.1 показывает зависимость соотношения процентов правильно и неправильно распознанных слов от уверенности в распознавании. Уверенность распознавания лежит в границах от 0 до 1 и разделена на 10 интервалов: от 0 до 0,1; от 0,1 до 0,2 и т.д. Эта зависимость иллюстрирует связь вероятности правильного распознавания и уверенности в гипотезе R=g(x). На рис. 3.2 показано распределение процентного количества результатов распознавания по тем же интервалам значений показателя уверенности.
Как видно из (3.1), ожидаемые затраты зависят также от значений затрат sн/ош, sнет, sда, величина которых определяется конкретным приложением. Для удобства анализа целесообразно перейти к относительным затратам Sотн, разделив обе части уравнения (3.1) на sда: Sотн = S / Sда .
Рис. 3.1. Зависимость соотношения правильно/неправильно распознанных слов от уверенности в распознавании. | Рис. 3.2. Гистограмма распределения результатов распознавания по интервалам значений показателя уверенности в гипотезах. |
На рис. 3.3 показаны три составляющие ожидаемых относительных затрат и их сумма Sотн для соотношения между sн/ош, sнет и sда, равного 2:1,5:1. Графики соответствуют экспериментальным данным, представленным на рис. 3.1 и 3.2, и показывают зависимость ожидаемых затрат Sотн от порога уверенности k, установленного для вызова процедуры подтверждения.
Оптимальное значение порога уверенности kопт соответствует точке, где кривая суммарных ожидаемых относительных затрат достигает минимума.
Рис. 3.3. Зависимость ожидаемых относительных затрат Sотн от порога
уверенности k, установленного для вызова процедуры подтверждения.
Автоматизация накопления статистических данных о результатах распознавания.
Коррекция ошибок может быть значительно более эффективной, если использовать знания, накопленные в результате сбора и обработки статистических данных об ошибках. В базовых системах распознавания речи предусмотрены средства для сбора статистических данных. Процесс сбора статистики заключается в последовательном прослушивании диалогов, записанных в лог-файлах, и их описании. Описание диалогов состоит в оценке правильности распознавания и внесении дополнительных комментариев. Существующая процедура является трудоемкой и затратной по времени.
Предложен и программно реализован метод автоматизированного накопления статистики о результатах распознавания. Метод основан на анализе ответов на запросы подтверждения. Из ответа клиента на просьбу системы подтвердить гипотезу sj, который может быть сформулирован по-разному (Да, Да, правильно, Правильно, Да-да и т.д.), извлекается смысл (лда или нет) и фиксируется вместе со значением возвращаемой гипотезы sj и показателем уверенности в ней. Ответ да соответствует успешному распознаванию данного слова или фразы. Ответ нет соответствует ошибке, которая относится к разновидности замена. После ответа нет диалог переходит к фазе повторения ввода. Ответ да на запрос подтверждения повторного ввода (новой гипотезы si ) позволяет зафиксировать не только факт имевшей место ошибки распознавания, но и само искажение: распознавание слова si как sj . Ответ нет на запрос подтверждения повторного ввода инициирует новую процедуру подтверждения, если это предусмотрено алгоритмом. Он также фиксируется и может свидетельствовать о том, что произносимое клиентом слово или фраза отсутствует в грамматике или имеет ошибку в фонетической транскрипции, особенно если возвращаемая уверенность в гипотезе невелика.
Собранная таким образом статистика использовалась для проверки фонетических транскрипций, для выявления часто встречающихся лишних, т.е. отсутствующих в грамматике, слов и для составления таблиц искажений, которые использовались для коррекции ошибок, связанных с искажением слов, в соответствии с описанной ниже моделью.
Коррекция ошибок с учетом статистики искажения слов
Проверка правильности распознавания и исправление выявленной ошибки путем переспроса может быть неэффективным, если в диалоге встречаются слова с высокой вероятностью искажения типа i j, то есть слово часто распознается как слово . Однако если бы система учитывала сведения об искажениях, то поиск истинного слова осуществлялся бы быстрее, чем при переспросах без учета статистики искажений.
Предложен следующий алгоритм, учитывающий сведения об искажениях и способствующий сокращению числа переспросов.
Пусть задачей системы является распознавание слов из списка .
Система располагает статистическими данными о вероятности появления слов на входе в систему (i = 1, n) и о вероятностях искажения слов (i,j = 1,n) (- вероятность того, что слово распознано как ). Эти вероятности определяются статистически. Они используются для вычисления - вероятностей того, что произносилось слово при условии, что система приняла его за слово . Вероятности вычисляются по формуле условных вероятностей: , где - вероятность того, что система восприняла слово как . Вероятность вычисляется по формуле .
Когда клиент произносит некоторое слово, система пытается распознать его, выдает гипотезуи просит клиента сообщить, правильна ли она. В случае ответа да процедура заканчивается. В случае ответа нет система выбирает наибольшую вероятность из ряда, в котором нет величины , и предлагает слово в качестве новой гипотезы с просьбой подтвердить ее. Если и это не подтверждается, система ищет в ряду вторую по величине вероятность и предполагает, что было произнесено второе слово, и т.д.
Математическое ожидание числа переспросов равно , где - вероятности слов, предлагаемых последовательно системой в соответствии с данным алгоритмом при условии, что на первом шаге система распознала слово как .
Среднее число переспросов l вычисляется по формуле:
.
Проведено сравнение числа переспросов для алгоритма коррекции ошибок с учетом статистических данных об искажениях слов с числом переспросов для алгоритма без учета вероятностей искажений на примере распознавания произносимых пользователем цифр от 0 до 9. Вероятности были определены экспериментально и приведены в таблице 3.1. Вероятности были приняты равными между собой.
Таблица 3.1. Статистические данные о распознавании цифр
qij | 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 |
0 | 0,98 | 0,02 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
1 | 0 | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
2 | 0,02 | 0 | 0,98 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
3 | 0 | 0,02 | 0 | 0,86 | 0 | 0 | 0 | 0 | 0 | 0,12 |
4 | 0 | 0 | 0 | 0 | 0,94 | 0 | 0 | 0 | 0 | 0,06 |
5 | 0 | 0 | 0 | 0 | 0 | 1 | 0 | 0 | 0 | 0 |
6 | 0 | 0 | 0 | 0 | 0 | 0,18 | 0,76 | 0,04 | 0 | 0,02 |
7 | 0 | 0,04 | 0 | 0 | 0 | 0 | 0 | 0,96 | 0 | 0 |
8 | 0 | 0,04 | 0 | 0 | 0 | 0 | 0 | 0 | 0,96 | 0 |
9 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0,04 | 0 | 0,96 |
Среднее число переспросов по первому алгоритму составило 1,08, по второму 1,18, что свидетельствует о преимуществах алгоритма с коррекцией ошибок с учетом статистики искажений.
Предложенные методы и алгоритмы являются новым шагом в решении проблемы ошибок распознавания. Разработчики приложений, не имея возможности вмешаться во внутренние модели распознавателей и вынужденные рассматривать их как черный ящик, могут добиться достаточно высоких показателей качества работы приложения путем применения предложенных методов прогнозирования и коррекции ошибок и использования накопленных данных и знаний о работе распознавателя.
В четвертой главе рассматривается решение задач сравнительного анализа и оптимизации сценариев диалогов с различными процедурами обнаружения и коррекции ошибок и оценки их количественных характеристик.
Эти задачи возникают на этапе проектирования системы, когда принимаются решения относительно структуры и расположения элементов диалога и процедур подтверждения. Расчеты, проведенные на основании предложенных методов, позволяют выбрать из многочисленных сценариев и алгоритмов управления диалогом наиболее приемлемые и ограничить тем самым количество вариантов построения системы, которые подлежат последующему трудоемкому тестированию.
Выполнена классификация диалогов, в основу которой положены следующие признаки: типы элементов диалога, местоположение процедур выявления и корректировки ошибок, способ реализации процедур выявления и корректировки ошибок.
Элементы диалога могут быть простыми и составными. Простым элементом диалога назван такой ответ клиента на вопрос системы, который содержит одно самостоятельное смысловое понятие. Простой элемент диалога может состоять из одного или нескольких слов, распознаваемых как единое целое. Составным элементом диалога назван такой ответ клиента на вопрос системы, который содержит несколько самостоятельных смысловых понятий, после распознавания которых формируется несколько атрибутов. По признаку используемых типов элементов речевое взаимодействие клиентов с системой может быть организовано следующими способами:
- использование в ответах клиента только простых элементов,
- использование в ответах клиента простых и составных элементов,
- использование в ответе клиента единого составного элемента (монологовый тип взаимодействия).
Вторым признаком классификации является местоположение в диалоге процедуры выявления и корректировки ошибок по отношению к процессу формирования запроса клиента. Запрос подтверждения правильности распознавания и корректировка ошибок может осуществляться либо в процессе формирования запроса, либо после его окончания.
Разновидность процедуры выявления и корректировки ошибок распознавания является третьим признаком классификации. Она может осуществляться различными способами:
- по каждому элементу диалога, когда клиенту для подтверждения правильности распознавания его ответа на вопрос, заданный системой, последовательно озвучивается (в процессе диалога или после его окончания) каждый произнесенный им элемент диалога с просьбой подтвердить правильность его распознавания. В случае неподтверждения правильности распознавания система просит клиента повторить неправильно распознанный элемент диалога;
- клиенту после окончания формирования запроса единым блоком озвучиваются все зафиксированные элементы диалога с просьбой подтвердить правильность их распознавания одной общей репликой. Если клиент определит наличие одного или нескольких неправильно распознанных элементов, то он одной репликой отмечает факт наличия неправильного распознавания. Далее возможны два варианта определения неправильно распознанных элементов диалога:
1) система начинает последовательно опрашивать правильность распознавания элементов, заканчивая на последнем неправильно распознанном элементе;
2) клиент последовательно повторяет системе те элементы, которые, по его мнению, неправильно распознаны.
Классификационная схема речевого человеко-машинного взаимодействия с учетом рассмотренных классификационных признаков приведена на рис. 4.1.
Рис. 4.1. Классификационная схема речевого человеко-машинного взаимодействия.
Произведенная классификация позволяет охватить самые разные варианты организации взаимодействия клиентов с системой и производить сравнение этих вариантов.
Методика выполнения сравнительного анализа вариантов состоит в использовании модифицированного применительно к данной задаче принципа квантификации, когда варианты сравниваются на множестве одинаковых типовых количественных значений ряда параметров. Например, сравнительная оценка вероятности успешного завершения диалога осуществляется при одинаковом наборе значений вероятностей правильного распознавания речевых блоков и одинаковом допустимом числе переспросов для сравниваемых вариантов сценариев. Необходимость в таких допущениях диктуется большой размерностью моделей и широким диапазоном изменения параметров. Квантификация является достаточно популярным методом количественного анализа качества интерфейсов.
В качестве характеристик для сравнения вариантов выбраны два главных количественных критерия оценки качества речевого диалогового человеко-машинного взаимодействия: вероятность успешного завершения диалога и продолжительность диалога. Поиск оптимального сценария осуществляется на основе минимизации оценок продолжительности диалога с обеспечением заданной вероятности его успешного завершения.
Оценка вероятности успешного завершения диалога.
Для оценки вероятности успешного завершения диалогов вначале определяются вероятности правильного распознавания элементов диалога, а затем выводятся формулы вероятности успешного завершения диалогов, отличающихся типами элементов и местоположением и способами реализации процедур выявления и корректировки ошибок.
Вероятность правильного распознавания элемента диалога зависит главным образом от надежности соответствующего данному шагу диалога речевого блока. Однако при взаимодействии клиентов с системой проявляется так называемый человеческий фактор, который чаще всего негативно отражается на вероятности распознавания. Вероятность правильного распознавания простого элемента, учитывающую как внутреннюю вероятность распознавания, так и влияние человеческого фактора, обозначим через p0. Ее можно трактовать как фактическую или номинальную вероятность правильного распознавания.
Выявление и исправление ошибок осуществляются путем вызова процедуры подтверждения и переспроса. Перед переспросом система, как правило, просит клиента говорить более четко, или дает пример ответа, или предлагает сделать выбор из более узкого множества. Эти действия снижают негативное влияние человеческого фактора и позволяют повысить вероятность распознавания переспрашиваемого элемента диалога до величины p01 при первом переспросе, до величины p02 - при втором переспросе и т.д., в пределе до величины внутренней вероятности распознавания. Это положение принято в качестве общего случая при последующем анализе процесса переспроса в диалоге из простых и составных элементов.
Вероятность правильного распознавания элемента диалога
Простой элемент
Обозначим через p0j вероятность правильного распознавания элемента диалога при j-м переспросе. Тогда вероятность правильного распознавания элемента диалога при n переспросах определяется формулой:
, n=1, 2, 3Е, (4.1)
где p0 - номинальная вероятность правильного распознавания элемента диалога.
В условиях однородности процесса распознавания, когда вероятность распознавания при каждом переспросе равна p0, вероятность правильного распознавания элемента диалога представляется усеченным геометрическим распределением:
, n=0,1, 2, 3Е. (4.2)
Величина , вычисленная по формуле 4.2, представляет собой нижнюю оценку вероятности правильного распознавания элемента диалога при n переспросах. Численные значения этой вероятности при различных значениях номинальной вероятности распознавания элемента и числа переспросов приведены в табл. 4.1.
Таблица 4.1.
Вероятность правильного распознавания
простого элемента диалога
p0 | P1 | P2 | P3 | |
0,6 | 0,84 | 0,936 | 0,974 | |
0,7 | 0,91 | 0,973 | 0,9919 | |
0,8 | 0,96 | 0,992 | 0,9984 | |
0,9 | 0,99 | 0,999 | 0,9999 | |
0,95 | 0,9975 | 0,9999 | 0,9999 |
Из таблицы видно, что при p0 > 0,7 один-два переспроса могут обеспечить вероятность распознавания элемента диалога более 0,99.
Составной элемент
Составной элемент, согласно определению, содержит смысловых понятий (составляющих), распознаваемых самостоятельно. Вероятность распознавания каждой составляющей (p0l) аналогична номинальной вероятности распознавания простого элемента. При этом номинальная вероятность распознавания всего составного элемента p0c определяется соотношением:
, (4.3)
Вероятность правильного распознавания составного элемента зависит от реализуемых в процессе диалога процедур выявления и корректировки ошибок распознавания, которые могут быть реализованы тремя способами:
- запрос подтверждения по всему составному элементу с последующей корректировкой путем переспроса всего составного элемента;
- запрос подтверждения по всему составному элементу с последующей корректировкой путем переспроса каждой из составляющих этого элемента;
- запрос подтверждения по каждой составляющей с последующей корректировкой путем переспроса каждой составляющей.
Для определения вероятности правильного распознавания составного элемента процедуры выявления и исправления ошибок рассматриваются как марковские процессы. Для каждого варианта определяется множество состояний элемента, строится граф переходов между состояниями, составляется матрица вероятностей переходов и выводятся формулы для вероятности состояний, соответствующих правильному распознаванию. В табл. 4.2 4.4 содержатся вычисленные по этим формулам вероятности правильного распознавания составного элемента для трех вышеназванных способов выявления и корректировки ошибок.
Таблица 4.2.
Вероятность правильного распознавания составного элемента: запрос
подтверждения и переспрос производится по всему составному элементу
p0 | |||||
0,8 | 2 | 0,640 | 0,870 | 0,953 | 0,983 |
3 | 0,512 | 0,762 | 0,884 | 0,943 | |
4 | 0,410 | 0,652 | 0,795 | 0,879 | |
5 | 0,328 | 0,548 | 0,698 | 0,798 | |
0,9 | 2 | 0,810 | 0,964 | 0,993 | 0,998 |
3 | 0,729 | 0,926 | 0,980 | 0,994 | |
4 | 0,656 | 0,882 | 0,959 | 0,986 | |
5 | 0,590 | 0,832 | 0,931 | 0,972 |
Таблица 4.3.
Вероятность правильного распознавания составного элемента:
запрос подтверждения производится по всему составному элементу,
корректировка Ц путем переспроса каждой из составляющих этого элемента
p0 | p0c | ||||
0,8 | 2 | 0,640 | 0,861 | 0,970 | 0,994 |
3 | 0,512 | 0,734 | 0,941 | 0,988 | |
4 | 0,410 | 0,605 | 0,907 | 0,980 | |
5 | 0,328 | 0,487 | 0,872 | 0,970 | |
0,9 | 2 | 0,810 | 0,962 | 0,996 | 0,999 |
3 | 0,729 | 0,921 | 0,992 | 0,999 | |
4 | 0,656 | 0,869 | 0,986 | 0,998 | |
5 | 0,590 | 0,811 | 0,979 | 0,997 |
Вычисления произведены при следующих значения параметров: номинальная вероятность распознавания составляющей p0 = 0,8 и 0,9, количество составляющих M = 2 - 5, допустимое число переспросов n = 1 - 3.
Сравнительный анализ таблиц 4.2 4.4 показывает, что наилучшие результаты обеспечивает вариант выявления и корректировки ошибок по каждой составляющей составного элемента.
Таблица 4.4.
Вероятность правильного распознавания составного элемента:
запрос подтверждения и переспрос производится по каждой составляющей
p0 | |||||
0,8 | 2 | 0,921 | 0,984 | 0,9997 | |
3 | 0,885 | 0,976 | 0,995 | ||
4 | 0,849 | 0,968 | 0,993 | ||
5 | 0,815 | 0,960 | 0,992 | ||
0,9 | 2 | 0,980 | 0,998 | 0,999 | |
3 | 0,970 | 0,997 | 0,999 | ||
4 | 0,962 | 0,996 | 0,999 | ||
5 | 0,951 | 0,995 | 0,999 |
Вероятность успешного завершения диалога
Вероятность успешного завершения диалога Pдn, состоящего из комбинации простых и составных элементов, каждый из которых может переспрашиваться n раз, определяется следующим соотношением:
, (4.4)
где Ц | общее число элементов в диалоге, |
Ц | число составных элементов в диалоге. |
Анализ результатов
Полученные формулы были использованы для вычисления вероятностей успешного завершения диалогов при различных сценариях и при разных вариантах организации процедур выявления и корректировок ошибок распознавания. Расчеты производились для следующих значений параметров: номинальная вероятность правильного распознавания элемента p0 = 0.9 и 0.8, общее количество элементов диалога N=10, допустимое число переспросов n = 1, 2, 3. Результаты расчетов сведены в таблицы. Сравнительный анализ таблиц позволил сделать следующие выводы:
- наилучшие результаты с точки зрения вероятности успешного завершения диалога дает диалог из простых элементов;
- сравнение диалогов из составных элементов показало, что наибольшая вероятность успешного завершения диалога обеспечивается при процедуре выявления и корректировки ошибок по каждой составляющей составных элементов;
- процедура выявления и корректировки ошибок путем запроса подтверждения и переспроса составных элементов целиком дает наихудший результат для вероятности успешного завершения диалога;
- в диалоге смешанного типа с увеличением числа составных элементов вероятность его успешного завершения уменьшается, стремясь к величине, соответствующей вероятности успешного завершения диалога, состоящего из одних составных элементов.
Полученные формулы не только позволяют выполнить сравнительный анализ вариантов организации сценариев, но и могут быть использованы для вычисления вероятности успешного завершения конкретных диалогов с элементами разных типов и для разных вариантов организации процедур выявления и коррекции ошибок. Исходными данными для расчетов являются оценки надежностных характеристик блоков распознавания, получаемых путем их предварительного тестирования, число и типы элементов диалога, ограничения на число переспросов.
Продолжительность диалога
Для анализа диалогов по критерию их продолжительности были введены количественные меры для оценки временных затрат на выполнение элементов диалога, получены формулы для вычисления времени выполнения элементов диалога с учетом переспросов, предложены типы оценок продолжительности диалогов, позволяющие выполнять сравнительный анализ вариантов, и произведено сравнение различных вариантов управления диалогом.
Время правильного распознавания элемента диалога при переспросах
Каждый iЦй элемент диалога характеризуется средним временем речевого обмена ti, которое складывается из времени, затрачиваемого на задание клиенту вопроса типа назовитеЕ, времени, затрачиваемого на ответ клиента, времени запроса подтверждения правильности распознавания ответа системой и времени, требуемого клиенту на сообщение системе своей оценки правильности проведенного распознавания.
В общем виде среднее время распознавания одного элемента диалога при переспросах определяется соотношением:
, (4.5)
где: Ц | время, затрачиваемое на запрос и ответ при первоначальном вопросе и каждом j-ом переспросе i-го элемента диалога; |
p0 Ц | вероятность правильного распознавания ответа клиента в системе распознавания при первоначальном вопросе; |
nдоп Ц | предельное число переспросов элемента диалога, установленное в системе; |
Ц | вероятность j-го переспроса элемента диалога. |
Среднее время, затрачиваемое на простой элемент диалога, с учетом вероятности появления определенного числа переспросов определяется соотношением:
. (4.6)
Среднее время, затрачиваемое на один составной элемент диалога, определяется по формуле (4.5), но с учетом особенностей, вносимыми вариантами процедур выявления и корректировки ошибок.
Разновидности оценок продолжительности диалога
Продолжительность диалога определяется рядом факторов: количеством элементов диалога; алгоритмом управления диалогом; величиной вероятности правильного распознавания для элементов диалога; временными затратами на элемент диалога с учетом возможных переспросов при неправильном его распознавании.
Предложены две группы оценок продолжительности диалога:
- предельные оценки, позволяющие получить область значений продолжительности диалога с определенным алгоритмом управления;
- средняя оценка, учитывающая все возможные сочетания, число и взаимное расположение правильно и неправильно распознанных элементов диалога, вероятность каждого сочетания и их количество.
К предельным оценкам продолжительности диалога относятся:
- оценка снизу, определяющая минимально возможную продолжительность диалога с определенным алгоритмом управления;
- оценка сверху, определяющая максимально возможную продолжительность диалога с тем же алгоритмом управления.
Нижняя оценка вычисляется в предположении отсутствия неправильно распознанных элементов и характеризует алгоритм управления диалогом при идеальной системе распознавания. Оценка сверху характеризует тенденцию изменения продолжительности диалога при уменьшении вероятности распознавания элемента диалога.
Для удобства численного выражения величины нижней и верхней оценок продолжительности диалога введена условная единица измерения: временной квант - время, затрачиваемое на озвучивание системой или клиентом одного среднестатистического слова русского языка. Поскольку нижняя оценка продолжительности диалога соответствует правильному распознаванию всех N его элементов, то, в общем виде, она описывается следующим соотношением:
, (4.11)
Где Li Ц | количество временных квантов, затрачиваемых на i-й элемент диалога при правильном его распознавании (вопрос клиенту со стороны системы, ответ клиента, вопрос клиенту с просьбой подтвердить правильность распознавания его ответа, реплика клиента на эту просьбу). |
Верхняя оценка продолжительности диалога определяется при условии неправильного распознавания всех его элементов, что требует их переспроса. Для удобства оценки влияния переспросов на среднее время, затрачиваемое на элемент диалога, введен так называемый временной коэффициент переспроса , который показывает, во сколько раз увеличивается время, затрачиваемое на один переспрашиваемый элемент диалога при заданном числе переспросов nдоп:
,
где: Ц | среднее время распознавания элемента диалога при переспросах, определяемое по формуле (4.5), |
t Ц | время, затрачиваемое на речевой обмен вопросами и ответами между клиентом и системой. |
Тогда верхняя оценка продолжительности диалога выражается следующим соотношением:
, (4.12)
где: Ц | временной коэффициент переспроса; |
Ц | количество временных квантов на один элемент диалога при организации переспроса; |
Ц | количество временных квантов на распознаваемую реплику клиента при переспросе. |
Сравнение вариантов организации управления диалогом удобнее производить в виде безразмерных величин, которые могут быть получены делением обеих частей соотношений (4.11) и (4.12) на . Назовем получаемые величины соответственно коэффициентами нижней () и верхней () оценок продолжительности диалога.
Коэффициенты нижней и верхней оценок определяют только границы возможных значений продолжительности диалога. Более точная оценка может быть получена с помощью среднего времени продолжительности диалога и соответствующего ему коэффициента средней продолжительности, которые учитывают все возможные сочетания, число и взаимное расположение правильно и неправильно распознанных элементов диалога, вероятность каждого сочетания и их количество.
При определении среднего времени продолжительности диалога учитывалось наличие двух разновидностей алгоритмов управления диалогом:
- алгоритмы управления, обеспечивающие независимость продолжительности диалога от взаимного расположения правильно и неправильно распознанных элементов диалога по отношению друг к другу. Примером может служить алгоритм, при котором проверка правильности распознавания и корректировка осуществляются на каждом элементе в процессе формирования запроса клиента. Будем называть такие алгоритмы позиционно независимыми;
- алгоритмы управления, при реализации которых имеет место зависимость продолжительности диалога от взаимного расположения правильно и неправильно распознанных элементов диалога, например управление диалогом, когда проверка правильности распознавания и корректировка производятся после завершения формирования запроса по опросу системы до последнего неправильно распознанного элемента. Будем называть такие алгоритмы позиционно зависимыми.
Среднее время продолжительности диалога при использовании позиционно независимых алгоритмов управления диалогом определяется следующим соотношением:
, (4.13)
где: Ц | первое слагаемое в квадратных скобках показывает общее количество временных квантов во всех правильно распознанных элементах диалога при наличии в нем N элементов и m неправильно распознанных; |
Ц | второе слагаемое в квадратных скобках показывает общее количество временных квантов во всех m неправильно распознанных элементах, включая затраты на организацию переспроса неправильно распознанных элементов; составляющие временных затрат и порознь или совместно могут отсутствовать в конкретных вариантах алгоритмов управления диалогом. |
При определении средней продолжительности при использовании позиционно зависимых алгоритмов управления диалогом учитывались дополнительные временные затраты на опрос правильно распознанных элементов диалога, который заканчивается при определении последнего из неправильно распознанных элементов. Эти временные затраты зависят от числа и взаимного расположения правильно и неправильно распознанных элементов, от вероятности появления различных вариантов их взаимного расположения, от количества таких вариантов. Средние дополнительные временные затраты определяются следующим образом:
, (4.14)
где Ц | среднее число временных квантов, затрачиваемое на опрос одного правильно распознанного элемента и на подтверждение этого клиентом. |
Сравнительный анализ диалогов с различными стратегиями управления
Выполнен сравнительный анализ вариантов речевого человеко-машинного взаимодействия с различными стратегиями управления диалогом. В соответствии с классификацией методов речевого взаимодействия были проанализированы следующие варианты организации диалогов:
- диалог из простых элементов;
- диалог из простых и составных элементов;
- режим монолога.
Для каждого варианта были рассмотрены различные процедуры выявления и корректировки ошибок. Варианты сравнивались по критериям продолжительности диалога при обеспечении заданной достоверности распознавания элементов диалога.
Выполненный анализ дал следующие результаты:
- при использовании в диалоге только простых элементов наилучшие показатели по совокупности критериев имеет диалог с проверкой правильности и корректировкой распознавания по каждому элементу диалога;
- использование составных элементов улучшает временные характеристики диалогов со стратегией выявления и корректировки ошибок по каждому элементу после формирования запроса. Это улучшение тем больше, чем выше надежность речевых блоков, используемых в элементах диалога.
- режим монолога с проверкой правильности и корректировкой распознавания по каждому элементу после формирования запроса имеет лучшую нижнюю оценку его продолжительности лучше, чем его аналог, состоящий из простых элементов, что свидетельствует о том, что при надежных речевых блоках этот алгоритм может быть предпочтительнее;
- наилучшие характеристики по продолжительности в диапазоне реальных надежностных характеристик речевых блоков имеет диалог из простых элементов с проверкой правильности и корректировкой распознавания по каждому элементу диалога. При отсутствии конкретных данных о надежности распознавания рекомендуется выбирать этот вариант построения диалога. Однако получение более точных данных о вероятности правильного распознавания для всех элементов диалога позволит принять более обоснованные решения по дизайну диалога.
На основе предложенных критериев определения эффективности стратегии управления диалогом создана методика выбора оптимальных сценариев и алгоритмов управления диалогом. Эта методика была использована при создании конкретных приложений: получение справки о рейсах, заказ такси, управление электронными кошельками.
Таким образом, полученные результаты позволяют:
- определять необходимое число переспросов клиента для получения требуемой достоверности распознавания элементов диалога;
- определять среднее время, затрачиваемое на элемент диалога с учетом рассчитанного для заданной достоверности распознавания числа переспросов;
- вычислять вероятности успешного завершения диалогов различной структуры;
- анализировать и сравнивать между собой различные стратегии управления диалогом по предложенным критериям продолжительности диалога и при обеспечении требуемой вероятности успешного завершения диалогов;
- производить обоснованный выбор сценариев и алгоритмов управления диалогом для конкретных задач на основе разработанной методики.
В пятой главе рассматриваются математические модели для расчета характеристик обслуживания заявок и оптимизации функционирования центров обработки вызовов современной архитектуры, имеющих сервисы самообслуживания на базе речевых технологий. Разработка математических моделей производилась с учетом особенностей, вносимых этими технологиями: необходимость перевода вызова на оператора по причине ошибок распознавания в процессе самообслуживания, а также разница в скоростях и стоимостях обслуживания вызовов портами самообслуживания и операторами. Примерами систем обработки вызовов с сервисами самообслуживания на базе речевых технологий могут служить система Автодиспетчер для приема заявок на подачу такси, система Автосекретарь для диспетчеризации телефонных вызовов и др.
Математические модели для расчета характеристик обслуживания заявок в центрах обслуживания вызовов с сервисами самообслуживания
Для описания функционирования центра обслуживания вызовов с сервисами самообслуживания использована открытая экспоненциальная сеть массового обслуживания с двумя узлами, первый из которых описывает порты самообслуживания, а второй - операторскую группу. Узел i сети представляет собой многолинейную СМО с идентичными приборами, i = 1, 2. Поток заявок из внешнего источника является пуассоновским интенсивности и поступает в узел 1 или 2 в зависимости от рассматриваемой дисциплины обслуживания. Время обслуживания заявки в узле i распределено экспоненциально с параметром i.
С вероятностью 1 - p обслуживание заявки в первом узле является успешным и в момент завершения обслуживания эта заявка покидает систему. В противном случае с вероятностью p обслуживание является неудачным (в ходе обработки запроса произошла ошибка, и запрос должен быть обработан оператором), и заявка переходит во второй узел (рис. 5.1).
Рис. 5.1. Схема сети массового обслуживания с двумя узлами.
Задачей является нахождение характеристик обслуживания заявок в системе при различных моделях управления очередью на входе и различном числе мест для ожидания в узлах.
Пусть число мест для ожидания в первом узле ограничено числом N (N < ), а во втором узле - неограниченно. Если в узле 2 есть свободные приборы или в узле 1 нет свободных мест для ожидания, то заявки из внешнего источника поступают на узел 2, в противном случае заявки поступают на узел 1. Если также в узле 2 освобождается прибор, и нет заявок в очереди узла, то заявка, стоящая первой в очереди узла 1 (если очередь не пуста), переходит в узел 2 и занимает освободившийся прибор.
Введен случайный процесс, описывающий состояние сети в момент времени t:
,
где - число заявок в i-м узле, i = 1, 2. Процесс является однородным, марковским и при выполнении условия является эргодическим. Рассмотрены стационарные вероятности
Уравнения баланса для стационарных вероятностей системы имеют вид:
; (5.1)
,
, ; (5.2)
, ; (5.3)
; (5.4)
, ; (5.5)
; (5.6)
,
, , ; (5.7)
, , ; (5.8)
, , (5.9)
где - функция-индикатор события E.
Введены в рассмотрение векторы стационарных вероятностей
, ,
где для , .
После преобразования уравнений (5.1)-(5.9) в векторно-матричную форму получены следующие уравнения для векторов ,:
,
, ,
где матрицы , имеют вид
, , (5.10)
, ,
, ,
,
, ,
, ,
, ,
где . - диагональная матрица размера n с диагональными элементами , и - соответственно, нулевые матрицы размера n с под-н и наддиагональными элементами .
Алгоритм для вычисления стационарных вероятностей
Данный алгоритм основан на матрично-аналитическом подходе к анализу многомерных цепей Маркова, имеющих не более одной счетной компоненты.
1) Вычисляются матрицы , :
, ,
, ,
где матрица G является минимальным неотрицательным решением матричного уравнения
(5.11)
для произвольного . Необходимо отметить, что в силу (5.10) матрицы, входящие в уравнение (5.11), не зависят от m.
2) Вычисляются матрицы:
, , .
3) Векторы ,, находятся как , , а вектор Ц
как решение системы уравнений
,
в которой одна из строк заменяется на условие нормировки , где e - вектор-столбец, состоящий из единиц.
После вычисления стационарных вероятностей вычисляются характеристики обслуживания.
- Среднее число занятых приборов в первом и втором узлах
, .
- Среднее число заявок в системе
.
- Вероятности того, что заявка, поступив в систему, попадает в первый узел и второй узел, соответственно,
, .
- Среднее время ожидания в системе (находим по формуле Литтла)
.
- Среднее время ожидания заявки во втором узле
.
Приведены также модели и получены формулы для расчета характеристик обслуживания для других вариантов организации очередей ожидания в узлах: отсутствие мест для ожидания в первом узле, неограниченные очереди в узлах.
Задача оптимизации числа приборов в узлах
Введена следующая структура штрафов за функционирование системы:
Ц | стоимость в единицу времени ожидания в очереди узла k, |
Ц | стоимость в единицу времени использования прибора в узле k, |
Ц | стоимость в единицу времени простоя прибора в узле k, |
Ц | фиксированная стоимость включения системы мониторинга состояний. |
Задача состоит в минимизации функционала потерь:
,
который в данном случае имеет вид
,
где и обозначают среднее число заявок в очереди kЦго узла,
и обозначают среднее число занятых приборов в k -ом узле,
и обозначают среднее число свободных приборов в k -ом узле,
- средняя длительность цикла между соседними посещениями состояния (0, 0).
В качестве примера рассмотрена система со следующим набором параметров: = (0.9, 0.5, 0.7, 0.001, 5.5, 2.5, 0.001, 0.005, 0.001, 0.005, 0.9). Для такой системы оптимальное число приборов равно = (3, 4) и оптимальное значение функционала потерь = 0.247.
Для случая = (2.5, 0.5, 0.7, 0.001, 5.5, 2.5, 0.01, 0.05, 0.01, 0.05, 2.9) оптимальные значения определяются как: =(6, 4), =1.011. Зависимость функции от числа приборов показана на рис. 5.2.
а) б)
Рис. 5.2. Значение функции в зависимости от числа приборов:
а) = (3, 4); б) = (6, 4).
Оптимальное управление очередью для центра обслуживания вызовов с быстрыми и медленными приборами.
Для центров обслуживания вызовов с сервисами самообслуживания характерным является разница в скоростях и стоимостях работы приборов первого и второго узлов. Узел 1, моделирующий порты самообслуживания на базе ненадежного распознавателя речи, имеет более низкую скорость обслуживания, но при этом малые затраты на обслуживание. Узел 2, моделирующий работу операторов, является надежным, более быстрым и одновременнно более дорогим по сравнению с узлом 1. Задача оптимального управления общей очередью в такой системе принадлежит к области задач управляемых марковских систем массового обслуживания.
Применительно к центрам с функциями самообслуживания задачей является поиск оптимального управления общей очередью с целью минимизации среднего времени пребывания заявок в системе.
Центр обслуживания вызовов с функциями самообслуживания вновь рассматривается как открытая экспоненциальная сеть массового обслуживания с двумя узлами, каждый из которых представляет собой многолинейную систему массонвого обслуживания типа M/M/ni с идентичными приборами. Поток заявок в сеть является простейшим с параметром . Заявка, прибывающая в сеть, поступает в узел 1 или 2 в зависимости от числа заявок в узле 2. Если последнее равно или превышает пороговый уровень q2 (q2> n2), то заявка направляется в узел 1, в противном случае - в узел 2.
Как только число заявок в узле 2 уменьшается до q2 - 1, а в узле 1 есть ожидаюнщие заявки, то заявка, стоящая в начале очереди узла 1, переходит в конец очереди узла 2. Выбор данного вида управления обусловлен тем фактом, что время обслуживания в узле 1 может превышать время ожидания в узле 2, так как приборы узла 2 имеют более высокую скорость обслуживания.
Для решения задачи вводится случайный процесс , обозначаюнщий состояние сети в момент времени t, где - число заявок в i-м узле сети в момент времени t, i = 1,2. Через E = {x=(i,j):i,j 0} обозначается множество состояний процесса , где состояние (i, j) случайного процесса означает, что в узле 1 находится i заявок, а в узле 2 - j заявок. Случайный процесс , описывающий поведение этой системы, является однородным и марковским. В предположении, что существуют стационарные вероятности
,
выписывается система уравнений равновесия.
Результатом решения задачи является доказательство существования мультипликативной формы стационарных вероятностей с представлением всех вероятностей системы в виде функции, зависящей от вероятности , которая, в свою очередь, вычисляется из условия нормировки.
Вычислив стационарное распределение вероятностей состояний сети, можно получить характеристики обслуживания вызовов, формулы для которых приведены в диссертации.
Оптимизация порогового уровня и численные примеры
Для оптимизации порогового уровня q2 введена следующая структура штрафов:
c0,k - стоимость ожидания заявки в очереди узла k в единицу времени,
cu,k Ц стоимость работы одного прибора в узле k в единицу времени.
Задача состоит в минимизации функционала потерь
, (5.12)
который в данном случае имеет вид
. (5.13)
Замечание. Из формулы (5.13) следует, что:
- если c0,k = cu,k = l, , то задача сводится к минимизации среднего числа заявок в системе или времени пребывания .
- если c0,k = 1, cu,k = 0, , то задача сводится к минимизации среднего числа заявок в очереди или времени ожидания .
На рис. 5.5 показаны оптимальные пороговые уровни для различных значений стоимостей и интенсивностей обслуживания при некоторых заданных значениях параметров сети. На рис. 5.5 (а) для = 0.9 показано влияние вероятности р ошибки при обслуживании в узле 1, а на рис. 5.5 (b) - влияние интенсивности поступления новых заявок для р = 0.01 на функционал потерь . Очевидно, что увеличение значений параметров р и приводит к увеличению оптимального поронгового уровня q2, так как в этом случае возрастает нагрузка на систему и возникает необходимость более интенсивного использования быстрого, но при этом дорогого узла 2.
a) b)
Рис. 5.5. Значение функции для различных значений q2, p и .
В дополнение к аналитическим моделям для описания функционирования и оптимизации центров обслуживания вызовов с распознаванием речи создана методика и приведены формулы приближенного расчета числа и типов плат компьютерной телефонии для организации сервисов самообслуживания.
Разработан также метод расчета потребности в вычислительных ресурсах для программной реализации приложений на базе речевых технологий и создан программный инструмент для выполнения этих расчетов, который позволяет определить количество процессоров заданной производительности и их загрузку при решении конкретной задачи. Разработанная программа является простым и удобным инструментом, пригодным для приближенного расчета потребности в вычислительных ресурсах на ранних стадиях проектирования приложений.
Таким образом, в этой части диссертационной работы выполнены исследования, относящиеся к этапу включения приложений с использованием речевых технологий в состав центров обслуживания вызовов с целью организации сервисов самообслуживания. Разработаны аналитические модели таких центров, получены формулы для расчета характеристик обслуживания вызовов, решены оптимизационные задачи: оптимизация числа приборов в узлах и оптимальное управление очередью. Эти исследования являются важным дополнением существующего теоретического аппарата для описания, исследования и оптимизации центров обслуживания вызовов современной архитектуры. Методика приближенного расчета потребности в платах компьютерной телефонии и программный инструментарий для расчета необходимых вычислительных ресурсов для систем на базе речевых технологий предназначены для выполнения инженерных расчетов на ранних стадиях проектирования таких систем.
В шестой главе описаны применения полученных выше научных результатов для создания двух систем с нетрадиционным использованием дикторонезависимых распознавателей речи.
Первая система представляет собой звуковой тренажер для обучения людей с нарушениями слуха правильному произношению звуков русского языка. Принцип действия тренажера состоит в спектральном преобразовании входного аудио сигнала, выявлении его характеристик, сравнении с эталоном и в возврате и представлении результата. В нашей стране по данным Всероссийского общества глухих сотни тысяч людей страдают нарушениями слуха. Включение их в трудовую и общественную жизнь тесно связано с обучением их устной вербальной речи. Как правило, артикуляционный аппарат этих людей не нарушен, но пользоваться им они не умеют без специального обучения. Целью создаваемого компьютерного тренажера являлась не замена сурдопедагога, а предоставление пользователям возможностей для дополнительных самостоятельных занятий. Такие возможности особенно важны при обучении детей с пониженным слухом или с нарушениями артикуляции, поскольку к процессу обучения детей могут подключаться родители, да и сами дети получат возможность отрабатывать артикуляцию дома, а не только в кабинете педагога.
Размещение подобных программ в интернете и предоставление онлайн доступа к ним значительно увеличивает число людей, получающих возможность тренировать звукопроизношение с домашних компьютеров.
Для решения поставленной задачи было принято решение использовать компьютерное распознавание речи в качестве анализатора поступающего от пользователя аудио сигнала. Ядро распознавателя и соответствующие программы обработки и управления располагаются в центральной части обрабатывающего комплекса, размещаемого на сервере. Пользователи получают на экран необходимые изображения, инструкции и подсказки. Специальная справочная информация дает пользователям общие сведения о звуках и подробное описание способа произнесения каждого отрабатываемого звука. Разработанная в рамках данного проекта система представляет собой тренажер для обучения и отработки звуков русского языка с онлайн доступом через интернет.
На рис. 6.1 представлена программная архитектура приложения Звуковой тренажер, в основе которой лежит концепция клиент Ч веб-сервер Ч сервер приложений.
Рис. 6.1. Архитектура программного приложения Звуковой тренажер.
Система состоит из следующих компонентов:
- Клиент, которым является приложение, написанное на платформе Adobe Flash и встроенное в веб-страницу.
- Программный фреймворк клиентского приложения Adobe Flex 4.
- Веб-сервер nginx.
- Сервер приложений Ч медиа-сервер Red5.
- Распознаватель речи Nuance Recognizer 9.
В ходе работы приложения на стороне сервера также используется программное обеспечение для кодирования и декодирования медиа-информации ffmpeg.
Фреймворк Adobe Flex 4, сервера nginx и Red5, ffmpeg являются программным обеспечением с открытым исходным кодом и, соответственно, распространяются бесплатно.
Большое внимание было уделено привлекательности интерфейса. На рис. 6.2 представлен пользовательский интерфейс. Как показали проведенные исследования, наиболее важную информацию неслышащие люди получают, наблюдая движения губ. В связи с этим было принято решение поместить на экран два окна, где демонстрируется движение губ при произнесении выбранного звука (вид анфас и в профиль). Используется также окно, где можно наблюдать анимационное изображение работы артикуляционного аппарата для выбранного звука. Приводится текстовое описание работы речевого тракта и предоставлена возможность демонстрации звука путем нажатия соответствующей кнопки. Пользователю также обеспечена возможность контроля движения своих губ при произнесении им выбранного звука, если к его компьютеру подключена веб-камера. Для обеспечения обратной связи предусмотрена визуализация звука: на экран выводится изображение импульсно-кодовой модуляции эталонного и произнесенного звука.
Оценка качества произнесения звука производится как в числовой форме по 100-балльной шкале, так и графическим методом путем вывода на экран смайлика (используется условная 5-балльная шкала).
Рис. 6.2. Пользовательский интерфейс.
Разработка является новой и оригинальной. В России и в мире отсутствуют тренажеры для тренировки и коррекции звукопроизношения с онлайн доступом через интернет.
Развитие функциональности тренажера идет в следующих направлениях: добавление функций тренировки дифтонгов, слогов и слов, разработка методики корректировки произношения, ведение индивидуального дневника учащегося и создание индивидуального учебного курса, который подстраивается под пользователя в процессе обучения, создание сервисов для педагогов, использующих данный тренажер.
Второй проект представляет собой систему речевого доступа на азербайджанском языке к объектам электронной карты города Баку.
Идея этого проекта состоит в том, чтобы использовать для распознавания азербайджанской речи фонетические и лингвистические модели для распознавания другого, близкого по звучанию, языка. Разработка базовой системы распознавания для любого языка является весьма дорогостоящим делом, поэтому к настоящему времени созданы распознаватели только для наиболее распространенных в мире языков и диалектов. Распознавателей для азербайджанского языка нет в их числе.
Для создания речевого доступа к электронной карте города Баку был выбран базовый пакет для распознавания турецкого языка. Выбор диктовался тем, что оба языка, турецкий и азербайджанский, принадлежат к тюркской группе, имеют много общего в произношении большинства звуков и слов, их алфавиты отличаются лишь одной буквой.
Были произведены эксперименты с использованием турецкого языкового пакета распознавателя речи Nuance Recognizer 9. Для этой цели были выбраны названия 100 объектов, содержащихся на электронной карте Баку, и составлена соответствующая грамматика. В турецком языке отсутствует буква азербайджанского алфавита, поэтому при написании грамматик она была заменена на букву e. Затем был программно сгенерирован словарь автотранскрипций по внутренним правилам фонетического транскрибирования для турецкого языка. Анализ словаря автотранскрипций показал, что большинство слов получило фонетическое описание, адекватно отражающее их звучание на азербайджанском языке. Однако для 16 слов из 100 транскрипции пришлось изменить. Например, турецкое слово heyder произносится на турецком языке как hEdEr, т.е. буква y опускается при произношении, но то же слово heyder на азербайджанском языке звучит как hEjdEr, т.е. буква y должна быть отражена в фонетической транскрипции.
В табл. 6.1 приведен список слов, для которых были сделаны исправления в фонетических транскрипциях, и указаны сами эти исправления.
Таблица 6.1.
Список исправленных транскрипций
для азербайджанских названий улиц Баку
Слово в словаре | Автотранскрипция | Исправленная транскрипция | Буква | Транскрибирование | |
ошибочное | правильное | ||||
heyder | hEdEr | hEjdEr | y | j | |
azadlq | azadlIk | azadl1g | I | 1 | |
mustafa | mUsdafa | mUstafa | t | d | t |
babek | babEk | ba:bEk | a | a | a: |
tbilisi | tbIlIsI | tIbIli:sI | i | I | i: |
neftiler | nEftdZIlEr | nEftSIlEr | dZ | S | |
ba | ba | bag | g | ||
geray | gEra | gEraj | y | j | |
vurun | vUrUn | vUrgUn | g | ||
semed | sEmEd | samEt sEmEt | d | d | t |
reid | rESId | rESIt | d | d | t |
behbudov | bEhbUdQv | pEhbUtQv | d | d | t |
seferli | sEfErlI | safErlI | e | E | a |
eliaa | ElIaa | ElIjaga | g | ||
dairesi | darEsI | da:jrEsI | a i | a | a: j |
ukrayna | Ukrajna | Ukra:jna | a | a | a: |
После внесения изменений в фонетические транскрипции доля правильно распознанных слов составила 0,94. Этот результат подтвердил возможность и целесообразность применения турецкого языкового пакета для распознавания азербайджанской речи.
На рис. 6.3 представлена архитектура системы речевого доступа к объектам электронной карты.
Рис. 6.3. Архитектура системы речевого доступа к объектам
электронной карты.
Обращение к объектам электронной карты оператор осуществляет голосом через микрофон или гарнитуру с помощью проводной или беспроводной связи. В ходе короткого диалога формируется в текстовой форме адрес нужного объекта. Поддерживается возможность уточнения деталей местонахождения искомого объекта. Результат диалога транслируется в модуль динамического управления объектом карты. Разработка была применена в системе управления безопасностью города Баку.
Данная архитектурная модель была использована также для создания речевого интерфейса к электронной карте Москвы, где был применен русскоязычный распознаватель.
Речевой интерфейс к электронной карте города облегчает оператору работу и повышает эффективность оперативного наблюдения за ситуациями с целью обеспечения безопасности города и быстрого реагирования на чрезвычайные ситуации.
В заключении диссертации подведены итоги проведенных исследований и кратко изложены основные выводы.
В приложении приводится описание других конкретных прикладных систем, реализованных по результатам диссертации и в ходе исследований.
Основные научные и практические результаты диссертации
В результате проведенных автором исследований разработаны теоретические положения, совокупность которых можно квалифицировать как новый вклад в теорию создания автоматизированных систем массового обслуживания с речевыми технологиями и ее применения.
- Выполнен обзор и анализ современного состояния и тенденции развития систем массового обслуживания с целью поиска путей повышения их открытости, эффективности и доступности для более широких масс населения.
- Разработан информационно-вычислительный аппаратно-программный комплекс для автоматизации исследований свойств и характеристик распознавателей речи и процессов самообслуживания.
- Впервые в отечественной практике экспериментально исследованы характеристики распознавателей речи в контексте создания речевого доступа к услугам и сервисам систем массового обслуживания населения. Выявлены зависимости качества распознавания от фонетической модели, порога уверенности в распознавании, структур речевых блоков, от внешних влияний. На основе выполненных экспериментов получен ряд методических рекомендаций, которые позволяют разработчику речевых приложений прогнозировать показатели качества и обеспечивать их стабильность.
- Исследован речевой интерфейс как относительно малоизученный тип человеко-машинного взаимодействия, определены присущие ему ограничения с учетом слабостей человека и ошибок машинной стороны и выработаны практические рекомендации для проектировщиков. Разработана методология создания прикладных систем с речевым интерфейсом.
- Реализован метод автоматизированного накопления статистических данных об ошибках распознавания речи и разработаны модели и алгоритмы коррекции результатов распознавания на основе знаний об ошибках.
- Разработана система оценок и аналитические модели для анализа и оптимизации речевого диалога с различными процедурами обнаружения и коррекции ошибок на основе применения принципа квантификации.
- Созданы математические модели для расчета вероятностно-временных характеристик обслуживания вызовов и оптимизации функционирования контакт-центров с сервисами самообслуживания на базе речевых технологий.
- Разработанные принципы, модели и методы внедрены:
- в системах с нетрадиционным применением речевых технологий: веб приложение Звуковой тренажер, предназначенное для онлайн-обучения людей с нарушением слуха правильному произношению звуков русского языка, и система речевого управления электронной картой г. Баку, в которой реализована идея применения для распознавания азербайджанской речи пакета другого, фонетически близкого, языка;
- в первых в России прикладных системах телефонного самообслуживания различного профиля с речевыми технологиями (получение справок об авиарейсах, заказ такси, автосекретарь, речевое управление электронными кошельками и др.);
- в универсальных блоках распознавания русской речи, включающих словари и грамматики: цифры, числа, города, даты, время суток, денежные суммы, номера телефонов, названия улиц Москвы и др., и соответствующей им базе аудио-файлов.
Публикации по теме работы
а) Публикации в рецензируемых журналах ВАК
1. | Фархадов М.П. Распознавание речи в системах массового обслуживания населения // Труды СПИИРАН. 2011. Вып. 19. |
2. | Фархадов М.П., Петухова Н.В., Ефросинин Д.В., Семенова О.В. Моделирование гибридного центра связи с сервисами самообслуживания и пороговым управлением размещением заявок / Управление большими системами. 2010. №30-1. С. 352-370. |
3. | Фархадов М.П., Петухова Н.В., Ефросинин Д.В., Семенова О.В. Двухфазная модель с ограниченными очередями для расчета характеристик и оптимизации речевых порталов самообслуживания / Проблемы управления. 2010. № 6. С. 53-57. |
4. | Фархадов М.П., Васьковский С.В., Ревонченкова И.Ф. Построение интеллектуальных информационных контакт-центров // Автоматизация и современные технологии. 2011. № 4. С. 14-23. |
5. | Билик Р.В., Жожикашвили В.А., Петухова Н.В., Фархадов М.П. Анализ речевого интерфейса в интерактивных сервисных системах I. / Автоматика и телемеханика. 2009. №2. С. 80-89. |
6. | Билик Р.В., Жожикашвили В.А., Петухова Н.В., Фархадов М.П. Анализ речевого интерфейса в интерактивных сервисных системах II. / Автоматика и телемеханика. 2009. №3. С. 97-113. |
7. | Петухова Н.В., Фархадов М.П., Трощенко А.Ю. Анализ эффективности голосовой системы самообслуживания с распознаванием речи // Автоматизация и современные технологии. 2008. № 10. С. 21-27. |
8. | Жожикашвили В.А., Билик Р.В., Вертлиб В.А., Мясоедова З.П., Петухова Н.В., Фархадов М.П. Интеллектуальные телефонные услуги на основе речевых технологий // Информационно-измерительные и управляющие системы. 2007. № 2. С. 75-78. |
9. | Жожикашвили В.А., Билик Р.В., Трощенко А. Ю., Петухова Н.В., Фархадов М.П. Интеграция автоматизированных систем массового обслуживания на основе речевых технологий и web-сервисов // Проблемы управления, 2007, № 3. С. 54-58. |
10. | ЖожикашвилиаВ.А., Трощенко А. Ю.а, аПетуховааН.В., аФархадоваМ.П. аАрхитектура и тенденции развития контакт-центров // Автоматизация и современные технологии. 2007. № 3. С. 19-31. |
11. | Фархадов М.П., Жожикашвили А. В. Математическая модель для расчета среднего числа переспросов при компьютерном распознавании речи // Проблемы управления. 2006. №2. С. 38-41. |
12. | Жожикашвили В.А., Петухова Н.В., Фархадов М.П. Компьютерные системы массового обслуживания и речевые технологии // Проблемы управления. 2006. № 2. С. 3-7. |
13. | ЖожикашвилиаВ.А., АндрейчукаА.Ю., ПетуховааН.В., ФархадоваМ.П. аМетоды повышения устойчивости систем с распознаванием речи и оценка временных параметров речевого интерфейса // Автоматизация и современные технологии. 2005. № 10. С. 22-28. |
14. | Жожикашвили В.А., Билик Р.В., Вертлиб В.А., Жожикашвили А.В., Петухова Н.В., Фархадов М.П. Открытые системы массового обслуживания с распознаванием речи // Проблемы управления. 2003. № 4. С. 55-62. |
15. | Жожикашвили В.А., Жожикашвили А.В., Петухова Н.В., Фархадов М.П. Применение распознавания речи в автоматизированных системах массового обслуживания // Автоматизация и современные технологии. 2003. №11. C. 22-28. |
16. | Жожикашвили В.А.. Жожикашвили А.В., Петухова Н.В., Ребортович Б.И. Фархадов М.П. Построение структуры человеко-машинного интерфейса для автоматизированных систем массового обслуживания // Автоматизация и современные технологии. № 3. - 2000. - С. 5-9. |
17. | Ефросинин Д.В., Фархадов М.П. Оптимальное управление системой с постепенными и внезапными отказами / Надежность. 2009. №1 (29). С. 27-42. |
18. | ЖожикашвилиаВ.А., аНикифороваС.В., аТалыбоваЕ.Г., аФархадоваМ.П. Интегрированная автоматизированная система управления Ямбургского газоконденсатного // Автоматизация и современные технологии. №11. 2001 . |
19. | Ахмедов М.А., Талыбов Э.Г., Фархадов М.П. Создание динамической экспертной оболочки и организация обработки знаний в виде системы продукции в автоматизированных системах управления технологическими процессами газоконденсатного месторождения // Автоматика и Телемеханика. 1998. № 6. С. 172-178. |
б) Монографии
20. | Билик Р.В., Мясоедова З.П., Петухова Н.В., Фархадов М.П. Под ред. проф. Жожикашвили В.А. Анализ речевого интерфейса при взаимодействии клиента с автоматизированной системой массового обслуживания. М.: МАКС Пресс. 2007. 112 с. |
21. | Билик Р.В., Мясоедова З.П., Петухова Н.В., Фархадов М.П., Трощенко А.Ю. Принципы построения интерактивных систем самообслуживания с речевыми технологиями. М.: МАКС Пресс, 2008. - 142 с. |
22. | Вертлиб В.А., Фархадов М.П., Петухова Н.В. Электронное государство как Автоматизированная система массового обслуживания населения. М.: МАКС Пресс, 2008. - 148 с. |
23. | Билик Р.В., Мясоедова З.П., Петухова Н.В., Фархадов М.П. Инженерные методы расчета сетей при проектировании распределенных автоматизированных систем массового обслуживания; ИПУ РАН. - М.: МАКС Пресс, 2010. - 256 с. |
в) Статьи в научных сборниках и периодических научных изданиях
24. | Абраменков А.Н., Мясоедова З.П., Петухова Н.В., Фархадов М.П. Исследование влияния параметров настройки распознавателя на качество распознавания речи // Труды 2-ой Российской конференции с международным участием Технические и программные средства систем управления, контроля и измерения (УКИ-10). ИПУ РАН. 2010. С. 01-07. |
25. | Билик Р.В., Вертлиб В.А., Мясоедова З.П., Петухова Н.В., Фархадов М.П. Речевые технологии как инструмент улучшения информационного и сервисного обслуживания населения // Сборник материалов II Ежегодной всероссийской научно-практической конференции Перспективы развития информационных технологий. Новосибирск: СИБПРИНТ, 2010. С. 300-303. |
26. | Жожикашвили В.А., Петухова Н.В., Фархадов М.П. Мультисерверная архитектура интеллектуальных порталов самообслуживания // IY Международная конференция по проблемам управления (МКПУ-IV). - Москва. - 2009. - С. 1744-1748. |
27. | N. Petukhova, M. Farkhadov, A. Troshchenko. Multichannel Interactive Speech Self-Service Systems // Selected Lectures on Multiple Access and Queuing Systems (revised selected papers from MACOM-2008), SUAI, Saint-Petersburg, Russia, 2008, pp. 108-113. |
28. | Мясоедова З.П., Петухова Н.В., Фархадов М.П. Сурдосервер на основе речевых и мультимедийных технологий // IX Международный форум Высокие технологии XXI века - 2008. Материалы конференции. М.: ВК ЗАО Экспоцентр. 2008. С. 248-251. |
29. | Alexey Troshchenko, Mais Farkhadov. Web-Service enabled Voice Applications and Dialogue optimization techniques. Proc. of XII International Conference Speech and Computer (SPECOM'2007). Moscow: MSLU, 2007. P. 766-771. |
30. | Жожикашвили В.А., Трощенко А. Ю., Петухова Н.В., Фархадов М.П. Автоматизация контакт-центров на основе речевых технологий и web-сервисов // Материалы конференции Высокие технологии XXI века. VIII Международный форум. 2007. С. 310-314. |
31. | Жожикашвили В.А., Мясоедова З.П., Петухова Н.В., Фархадов М.П. Речевые технологии как основа повышения эффективности автоматизированных систем массового обслуживания // Международная научная конференция УПроблемы кибернетики и информатикиФ. Баку. 2006. С. 53-56. |
32. | Жожикашвили В.А., Билик Р.В., Вертлиб В.А., Мясоедова З.П., Петухова Н.В., Фархадов М.П. Речевые технологии как инструмент улучшения обслуживания населения в современном информационном обществе. // VI Международный форум Высокие технологии XXI века ВТ XXI - 2005. М.: ВК ЗАО Экспоцентр. 2005. С. 274-276. |
33. | Жожикашвили В.А., Билик Р.В., Вертлиб В.А., Мясоедова З.П., Петухова Н.В., Фархадов М.П. Компьютерное распознавание речи в автоматизированных системах массового обслуживания // Российский форум ПРОМЭКСПО. Современные технические и программные средства обеспечения АСУ и АСУ ТП. М.: ГАО ВВЦ. 2005. С. 19-22. |
34. | Жожикашвили В.А., Билик Р.В., Жожикашвили А.В., Петухова Н.В., Фархадов М.П. Распознавания речи в системах массового обслуживания. Труды Института. Том ХХIII. М.: Институт проблем управления им. В.А. Трапезникова. 2004. С. 110-116. |
35. | V.A. Zhozhikashvili, M.P. Farkhadov, N.V. Petukhova and A.V. Zhozhikashvili The first voice recognition applications in Russian language for use in the interactive information systems. Proceedings of the Ninth International Conference Speech and Computer SPECOMТ2004, Saint-Petersburg, 2004, p. 304-307. |
36. | Жожикашвили В.А., Жожикашвили А.В., Петухова Н.В., Фархадов М.П. Новый человеко-машинный интерфейс для автоматизированных систем массового обслуживания // Труды Института проблем управления РАН. - М.: ИПУ РАН им. В.А. Трапезникова. - 2000. - Т. IХ. - 5 с. |
37. | Жожикашвили В.А., Жожикашвили А.В., Петухова Н.В., Ребортович Б.И. Фархадов М.П. Голосовое управление в новом поколении больших автоматизированных систем массового обслуживания // Труды XIV международного симпозиума управление большими системами CONTROLТ2000. - Тбилиси. - 2000. - С. 119-121. |
38. | Жожикашвили В.А., Вертлиб В.А., Ребортович Б.И., Петухова Н.В., Фархадов М.П. Автоматизированные системы управления процессами массового обслуживания нового поколения // Труды Института проблем управления РАН. - М.: ИПУ РАН им. В.А. Трапезникова. - 1999. - Т. IV. - С. 17-26. |
39. | Zhozhikashvili V.A., Farkhadov M.P. and Zhozhikashvili A.V. Mathematical model of Man-machine Dialogue that Involves Natural Language in Queuing Systems of New Generation // International Conference Distributed Computer Communication Networks (DCCN-99), Theory and Application, Pros., Tel-Aviv, 1999. P. 230-235. |
40. | Жожикашвили В.А., Жожикашвили А.В., Фархадов М.П. Принципы построения системы общения с использованием естественного языка в больших автоматизированных системах массового обслуживания нового поколения // Массовое обслуживание. Потоки, системы, сети. Сборник материалов 14-й Белорусской зимней школы-семинара по теории массового обслуживания. Ц Минск. - 1998. С.190-194. |
г) Публикации в материалах научных мероприятий (международных и
российских конференциях)
41. | M. Farkhadov, N. Petukhova, D. Efrosinin, O. Semenova A model to control a queue in a voice self-service portal with fast and slow servers // The Third International Conference Problems of Cybernetics and Informatics September 6-8, 2010, Baku, Azerbaijan. Section №4 Applied Stochastic Analysis www.pci2010.science.az/4/29.pdf. Baku: Elm, 2010. P. 239-243. |
42. | Вертлиб В.А., Жожикашвили В.А., Петухова Н.В., Фархадов М.П. Интеллектуальные методы доступа к информации и услугам на основе речевого интерфейса / Материалы II Международной конференции Управление развитием крупномасштабных систем MLSD'2008. Том II. М.: ИПУ РАН, 2008. С. 76-78. |
43. | Вертлиб В.А., Мясоедова М.А., Петухова Н.В., Фархадов. Создание виртуального сурдопереводчика с применением технологии распознавания речи / V Всероссийская школаЦсеминар молодых ученых Управление большими системами. Региональная конференция молодых ученых. Липецк: 2008.Том 2. С. 12-13. |
44. | Mais Farkhadov. Architecture of the open server for interactive information and service systems / The Second International Conference Problems of Cybernetics and Informatics PCI'2008. V. I. Baku: Azerbaijan National Academy of Sciences, 2008. Pp. 153-154. |
45. | Radiy Bilik, Nina Petukhova, Mais Farkhadov. Creation of mathematical models for research of the speech interface // The Second International Conference Problems of Cybernetics and Informatics PCI'2008. V. I. Baku: Azerbaijan National Academy of Sciences, 2008. Pp. 154-155. |
46. | Жожикашвили В.А., Петухова Н.В., Фархадов М.П. Методы анализа речевого потока / Материалы Российской конференции с международным участием Технические и программные средства систем управления, контроля и измерения УКИТ08. М.: ИПУ РАН, 2008. С. 304-305. |
47. | Петухова Н.В., Мясоедова З.П.,аФархадов М.П. Сервер доступа для систем массового обслуживания / Материалы Российской конференции с международным участием Технические и программные средства систем управления, контроля и измерения УКИТ08. М.: ИПУ РАН, 2008. С. 306-307. |
48. | Жожикашвили В.А., Петухова Н.В., Трощенко А.Ю., Фархадов М.П. Автоматические информационные транспортные системы на основе речевых технологий и web-сервисов // Труды конференции MLSDТ2007. С. 125-126. |
49. | Фархадов М.П., Петухова Н.В., Трощенко А.Ю. Голосовые услуги с использованием речевых технологий и интернет-сервисов / Труды конференции Интеллектуальные услуги в телефонных сетях. Рынок VAS. Технологии и бизнес. М.: КомпТек, 2007. C.6-9. |
50. | Билик Р.В., Мясоедова З.П., Петухова Н.В., Фархадов М.П. Математические модели для выбора сценария в информационных системах с распознаванием речи // Труды Международной научно-практической конференции Информационные технологии и информационная безопасность в науке, технике и образовании (ИНФОТЕХ-2007). Севастополь: СевНТУ. 2007. С. 134-136. |
51. | Жожикашвили В.А., Петухова Н.В., Фархадов М.П. Речевые технологии в информационных и управляющих системах // Труды III Международной конференции по проблемам управления. - М.: ИПУ РАН. - 2006. - Т 1. - С. 119. |
52. | Жожикашвили В.А., Билик Р.В., Вертлиб В.А., Мясоедова З.П., Петухова Н.В., Фархадов М.П. Распознавания речи в системах массового обслуживания. Y-й Международный форум Высокие технологии XXI века, Материалы конференции. М.: ВК ЗАО Экспоцентр. 2004. С. 316-317. |
53. | Билик Р.В., Мясоедова З.П., Петухова Н.В., Фархадов М.П. Речевой интерфейс как разновидность человеко-машинного взаимодействия // Материалы международной научно-практической конференции Информационные технологии и информационная безопасность в науке, технике и образовании (ИНФОТЕХ-2009). Севастополь: СевНТУ, 2009. С. 279-282. |
ичный вклад автора в совместные публикации
В работах [2, 3, 41] автору принадлежат постановки задач, а также архитектура СМО с сервисами самообслуживания и математическая модель для расчета количественных характеристик системы. В [4, 7, 8, 25, 30, 31, 40] автором написаны разделы, относящиеся анализу эффективности систем с распознаванием речи, и получены соответствующие результаты. В [5, 6, 20, 36, 45, 50, 53] выполнена разработка аналитических моделей для оценки ряда характеристик человеко-машинного диалога, предложена классификация диалогов при речевом взаимодействии клиента с АСМО, разработаны методы анализа и оптимизации диалога на основе применения принципа квантификации. Вклад в работах [9, 10, 21, 27, 29, 49] заключается в разработке структуры для создания интеллектуальных интерактивных телефонных приложений с речевым интерфейсом и сервисами самообслуживания. В [11, 13, 14, 15, 35, 39] автором предложены методы повышения устойчивости систем с распознаванием речи, реализован метод автоматизированного накопления статистических данных об ошибках распознавания и разработаны модели и алгоритмы управления диалогом на основе знаний об ошибках. В [17, 18, 19] разработаны методические рекомендации по оптимальному управлению системой с отказами и создана динамическая модель управления и организации обработки знаний. В [24, 47] автором предложены методы тестирования распознавателей и экспериментально исследованы их характеристики в контексте создания речевого доступа к услугам и сервисам систем массового обслуживания населения. В [22, 23, 26, 33, 34, 52] написаны разделы относительно областей применения речевых технологий и предложена концепция их интеграции в СМО. В [28, 43] исследованы области нетрадиционного применения речевых технологий для поддержки людей с нарушением слуха. В [12, 32, 37, 38, 46, 48, 51] автором разработана серия интеллектуальных систем речевого диалога клиентов по телефону с АСМО на основе технологии распознавания речи.
Авторефераты по всем темам >>
Авторефераты по техническим специальностям