Авторефераты по всем темам >>
Авторефераты по техническим специальностям
На правах рукописи
Андреев Виктор Павлович
РАЗРАБОТКА НОВЫХ ПРИНЦИПОВ ПОСТРОЕНИЯ ИНФОРМАЦИОННО-ИЗМЕРИТЕЛЬНЫХ СИСТЕМ ТЕХНИЧЕСКОГО ЗРЕНИЯ МОБИЛЬНЫХ РОБОТОВ
Специальность 05.11.16 Информационно-измерительные и управляющие системы (промышленность)
Автореферат диссертации на соискание учёной степени доктора технических наук
Москва - 2011
Работа выполнена в Государственном образовательном учреждении высшего профессионального образования "Московский Государственный Университет Приборостроения и Информатики" (МГУПИ) и Институте прикладной математики им. М.В.Келдыша РАН (ИПМ РАН)
Научный консультант: доктор технических наук, профессор МГУПИ Валентин Евгеньевич ПРЯНИЧНИКОВ
Официальные оппоненты:
доктор технических наук, профессор Олег Сергеевич ИПАТОВ доктор технических наук, профессор Юрий Викторович ПОДУРАЕВ доктор технических наук, профессор Владимир Владимирович СЛЕПЦОВ
Ведущая организация: Открытое акционерное общество Научноисследовательский институт Кулон (ОАО НИИ Кулон)
Защита состоится "28" марта 2012 г. в 14.00 на заседании диссертационного совета Д 212.119.01 при Государственном образовательном учреждении высшего профессионального образования "Московский Государственный Университет Приборостроения и Информатики" (МГУПИ) по адресу: 107996 Москва, ул. Стромынка д. 20.
С диссертацией можно ознакомиться в библиотеке МГУПИ.
Автореферат разослан л ___ _______________ 2012 г.
Ученый секретарь специализированного совета доктор технических наук, профессор В.В.ФИЛИНОВ
ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ
Актуальность темы. В настоящее время, как в России, так и за рубежом широко ведутся разработки систем технического зрения (СТЗ) различного назначения. Практически все мобильные роботы (МР) снабжаются СТЗ. Это роботы, используемые в чрезвычайных ситуациях, для военного применения, патрулирования и охраны важных объектов, подводные роботы. СТЗ устанавливаются на дистанционно пилотируемые летательные аппараты (ДПЛА) и космические аппараты различного назначения, а также широко используются в домашних и учебных роботах. Наконец, это планетоходы, предназначенные для исследования поверхности других планет. Большое прикладное значение имеют специализированные СТЗ, работающие в ИК-диапазоне: это медицинские и военные тепловизоры, тепловизоры для роботов МЧС и ДПЛА.
В последнее время среди разработчиков МР сформировалось понимание того, что современные достижения науки и техники в большинстве случаев не позволяют создавать полностью автономные системы, оставаясь в рамках приемлемой стоимости таких МР. Поэтому всё большее внимание уделяется супервизорному управлению МР, при котором лишь часть функций выполняется автономно с помощью бортовых систем, а конечный анализ обстановки, принятие решений и выдача команд на включение тех или иных программ управления возлагается на оператора. При этом предлагаемые решения должны распространяться и на супервизорное управление группой мобильных роботов.
Отличительной особенностью подобных систем является: a) наличие в составе информационно-измерительной и управляющей системы (ИИУС) МР двух контуров управления - внутреннего и внешнего, которые разделены коммуникационной средой, причём в оба контура управления входит СТЗ, установленная на мобильной части ИИУС; b) во внешнем контуре управления присутствует человек-оператор. Коммуникационная среда может вносить существенные задержки, помехи и искажения, в то же время полнота информации о рабочем пространстве и её достоверность являются необходимым условием минимизации ошибок при формировании целей управления.
Полнота данных обеспечивается возможностью полного обзора места действия, а достоверность информации определяется как техническими характеристиками сенсоров, так и способами извлечения информации. Отсюда вытекает актуальная проблема: формирование на борту МР данных, удовлетворяющих требованиям полноты и достоверности, обеспечение их надёжной передачи по коммуникационному каналу и разработка робастных алгоритмов обработки этих данных в реальном масштабе времени.
Полный обзор места действия может быть обеспечен: a) использованием телекамеры, снабжённой поворотно-наклонным механизмом, b) установкой на борт нескольких телекамер, c) созданием специальных систем кругового обзора.
Применительно к МР с супервизорным управлением наиболее эффективным представляется вариант с многокамерной СТЗ, использующей телекамеры с управляемым поворотно-наклонным механизмом. Однако в этом случае требуется организовать передачу по радиоканалу видеосигналов от множества телекамер, что сопряжено с рядом технических и организационных трудностей. Поэтому актуальной является проблема поиска принципов организации и соответствующих технических решений передачи многопотокового видео по радиоканалу.
Полный обзор места действия также может быть обеспечен с помощью СТЗ кругового обзора, в которых изображение панорамы проецируется на плоскость фотоматрицы единственной телекамеры. Такое решение позволяет существенно сократить объём передаваемых по радиоканалу данных. Однако геометрия сцены на изображении в этом случае оказывается искажённой. Поэтому при решении задач навигации, возникает комплекс проблем, связанных разработкой соответствующего программного обеспечения для бортового модуля, выполняющего в масштабе реального времени анализ видеоданных для автоматического формирования цели управления, и актуальной становится проблема выделения объектов на изображениях со сложной геометрией и вычисление их координат для целеуказания.
Достоверность получаемой информации оказывает существенное влияние на формирование цели управления с точки зрения минимизации ошибок управления.
Достоверность информации в первую очередь определяется качественными характеристиками и точностными параметрами сенсоров. Повышение технических и эксплуатационных характеристик сенсоров обычно достигается как за счёт новых конструктивных решений, так и совершенствованием технологий их производства.
Более эффективным представляется путь построения математических моделей сенсоров, учитывающих не идеальность параметров датчиков, и на основе этих моделей разработка методов предобработки в реальном масштабе времени получаемого сигнала с целью коррекции вносимых искажений. Представление сигналов сенсоров в цифровом виде позволяет использовать современные достижения вычислительной техники для реализации такой предобработки.
Необходимо на конкретных примерах предложить эффективные методы повышения характеристик датчиков видеосигнала и предложить варианты реализации этих методов в виде функциональных схем цифровых спецпроцессоров.
При ликвидации последствий чрезвычайных ситуаций оказывается наиболее эффективным использование группы роботов, например, технологические роботы и роботы-наблюдатели. Решение данной задачи возможно посредством создания многоуровневой иерархической системы формирования и обмена информационными и управляющими потоками данных. В этом случае актуальной становится проблема разработки механизма, посредством которого можно организовать взаимодействие группы оснащенных СТЗ мобильных роботов, постов управления, обслуживаемых несколькими операторами одновременно, и командного пункта.
Задача группового управления МР непосредственно связана с возможностью удалённого управления организацией работ группировки МР, что невозможно без соответствующего информационного обеспечения, для которого требуется создание коммуникационного канала с ситуационным центром, обычно располагающимся за много километров от зоны работ. Решение данной задачи лежит в использовании сетевых технологий. В этом случае ИИУС всех мобильных роботов должны быть объединены в локальную вычислительную сеть (ЛВС) с мобильными узлами и входить в состав территориально распределённой ИИУС. Данное решение требует проведения исследований для определения оптимальной структуры такой системы и формулирования требований к параметрам устройств ЛВС.
Перечисленные особенности и проблемы построения управляемых многокамерных систем технического зрения для мобильных роботов с супервизорным управлением требуют разработки единого подхода к созданию подобных СТЗ.
В связи с отмеченным актуальным является комплексное решение следующих проблем: 1 - построение для МР систем технического зрения, обеспечивающих возможно больший обзор места действия робота для эффективного управления его исполнительными механизмами из безопасных для человека зон; 2 - организация удалённого группового управления мобильными роботами и обеспечение передачи сенсорных данных с МР в ситуационный центр;
3 - создание учебно-научных мобильных роботов и учебно-тренировочных классов электронных тренажёров (КЭТ) для подготовки операторов МР; 4 - создание виртуальных лабораторий, оснащённых мобильными роботами, для подготовки квалифицированных специалистов при отсутствии возможности прямого контакта с дорогостоящим оборудованием; 5 - улучшение технических и эксплуатационных характеристик СТЗ посредством цифровой предобработки видеосигнала.
Учитывая важность этих проблем, подобные исследования и разработки СТЗ активно ведутся во всех развитых странах. Благодаря деятельности таких видных учёных, как Д.Е.Охоцимский, Е.А.Девянин, А.Л.Ярбус, Л.Н.Курбатов, Е.И.Юревич, В.В.Клюев, А.К.Платонов, Ю.Ф.Голубев, С.Ю.Желтов и работам Д.Г.Лебедева, Д.С.Лебедева, Г.Г.Вайнштейна, В.Е.Пряничникова, С.М.Соколова, Ю.В.Визильтера, Н.В.Завалишина, К.И.Кия и др. были получены существенные результаты, продвинувшие исследования в данном направлении. Также широко известны работы таких зарубежных учёных, как Rosenfeld A. (University of Mariland), Roberts L.G. (MIT), Marr D. (MIT), Winston P.H. (MIT), Waltz D. (University of Illinois), Hunt E.B. (University of Washington), Hueckel M.H. (Stanford University), Lloyd J.M. (Radiation Center Lexington, Massachusetts) и других.
Однако, специфика супервизорного управления МР и использования управляемых систем технического зрения в контуре распределённых ИИУС не находит достаточного отражения в известных публикациях. Особенно это относится к использованию многопотокового видео и применения сетевых технологий для решения проблем удалённого и группового управления МР и формирования коммуникационной среды для получения и передачи данных. Это касается также методов цифровой предобработки сигналов с целью улучшения технических и эксплуатационных характеристик датчиков видеоинформации.
Диссертационная работа посвящена решению актуальной проблемы создания таких распределённых информационно-измерительных систем, как управляемые многокамерные системы технического зрения для мобильных роботов с супервизорным управлением, совершенствованию методов обработки видеосигналов и анализа изображений, разработке новых принципов построения таких систем, в том числе с использованием сетевых технологий и свойств зрения человека.
Целью исследований являлась разработка новых принципов построения и путей совершенствования распределённых (в том числе территориально распределённых) информационно-измерительных систем технического зрения мобильных роботов, базирующихся на современных технологиях, новых технических решениях и высокоэффективных методах обработки видеосигнала для улучшения их технических и эксплуатационных характеристик, а также создание новых действующих образцов таких систем, реализующих предлагаемые технические решения и методы обработки видеосигнала.
Для достижения указанной цели были поставлены следующие задачи:
1. Разработать общий подход и предложить концепцию построения управляемых многокамерных СТЗ для МР с супервизорным управлением, определить оптимальный состав необходимых технических средств. На их основе реализовать удалённое управление мобильными роботами, оснащёнными СТЗ, путем объединения через Internet робототехнического оборудования физически расположенного на разных территориях, в том числе в разных городах.
2. Разработать принцип объединения в локальную вычислительную сеть управляемых многокамерных СТЗ, передающих на большие расстояния с мобильных систем многопотоковое видео по радиоканалу. Создать метод построения ЛВС с мобильными узлами, который позволяет обеспечить устойчивую передачу многопотокового видео в стандарте Wi-Fi, в том числе при отсутствии прямой радиовидимости. Разработать интерфейс для оператора МР, обеспечивающий приём многопотокового видео и формирование полноформатных в телевизионном стандарте изображений одновременно с нескольких телекамер.
3. Показать эффективность использования разработанных сетевых технологий для группового управления МР на примере создания учебно-тренировочного класса электронных тренажёров, объединяющих модели нескольких роботов, действующих в одной трёхмерной сцене и моделирующих удалённое управление одновременно несколькими операторами группой роботов, снабжённых СТЗ.
4. Создать программно-аппаратные средства, которые обеспечивают выполнение задач автономной и супервизорной навигации МР на основе обработки кадровых последовательностей изображений, полученных с помощью СТЗ кругового обзора (360О) в недетерминированной искусственной среде.
5. С целью улучшения технических и эксплуатационных характеристик СТЗ разработать адаптивные (без использования эталонных источников излучения) способы и системы для борьбы с геометрическим шумом многоэлементных линейных и матричных приёмников излучения, применяемых при построении специальных СТЗ ИК-диапазона. Предложить варианты функциональных схем цифровых спецпроцессоров, работающих в реальном масштабе времени.
Методы исследований базировались на использовании математической статистики, теории ошибок и кластерного анализа, теории вычислительных систем и компьютерных сетей, теории и практики построения информационноизмерительных и управляющих систем, на использовании результатов психофизических исследований зрительной системы приматов. Достоверность результатов обеспечивалась аналитическими, вычислительными и экспериментальными методами верификации предлагаемых решений.
Научная новизна работы заключается:
1. В разработке концепции построения управляемых многокамерных СТЗ для мобильных систем с супервизорным управлением, которая позволяет найти единые принципы формирования СТЗ различного назначения, унифицировать их структуру и функциональный состав, обосновать технические требования к их компонентам в зависимости от решаемых задач.
2. В разработке методов и технических решений при использовании сетевых технологий для объединения компонент СТЗ и систем управления МР, а также группировки МР в локальную вычислительную сеть. Это позволило: обеспечить полноту получения видеоданных и исключить искажения сенсорной информации;
организовать устойчивую передачу видеоданных одновременно с нескольких телекамер по цифровому радиоканалу, в том числе при отсутствии прямой радиовидимости; объединить ИИУС нескольких мобильных роботов в территориально распределённую ИИУС посредством использования коммуникационного канала в условиях существенных задержек, помех и искажений (VPN-канал Internet); обеспечить на мониторах пульта управления формирование цветных изображений (25 кадров в секунду при формате 8006пикселей) одновременно с нескольких телекамер; разработать механизм удалённого (более 400 метров) и группового управления мобильными системами; обеспечить возможность динамического реконфигурирования распределённых ИИУС мобильных роботов.
3. В разработке эффективных, основанных на межкадровой разности методов комплексного анализа кадровой последовательности, получаемой с частотой 25 Гц, с целью идентификации специальных ИК-маяков, определения дальности до них и азимута по телевизионным изображениям, получаемым с помощью СТЗ кругового обзора. Это позволило реализовать возможность использования мобильными роботами видеоинформации от таких СТЗ (изображений с искажённой геометрией) для автономного решения навигационных задач мобильным роботом в реальном масштабе времени за счёт повышения линтелелектуальности их бортовых ИИУС.
4. В разработке комплекса новых эффективных методов адаптивной цифровой обработки видеосигнала для коррекции искажений, вызванных разбросом параметров многоэлементных линейных приемников излучения ИК-диапазона.
Эта обработка позволила повысить эксплуатационные и технические характеристики тепловизионных СТЗ и значительно (в разы) снизить стоимость производства сканирующих СТЗ за счёт отказа от установки в прецизионную систему оптико-механического сканирования эталонных источников ИК-излучения.
5. В разработке новых методов цифровой обработки видеосигнала для борьбы с геометрическим шумом матричных приёмников излучения ИК-диапазона, основанных на модели зрительной системы приматов. Предложенные методы позволили по-новому организовать предобработку изображений, учитывающую свойства зрения человека, и значительно повысить эксплуатационные и технические характеристики тепловизионных СТЗ за счёт применения дешёвых и удобных в эксплуатации фотоприёмных устройств (ФПУ), ранее считавшихся непригодными из-за их низких технических характеристик.
Практическая значимость работы.
1. Разработаны и изготовлены (на основе предложенной концепции построения управляемых многокамерных СТЗ) два комплекта СТЗ для робототехнических комплексов BROKK-110D и BROKK-330 в 294 Центре по проведению спасательных операций особого риска МЧС России. Каждый комплект имеет в своем составе 4 бортовые телекамеры (одна из которых - скоростная купольная), выносные - также скоростные купольные телекамеры и ретранслятор. Все элементы СТЗ объединяются в ЛВС посредством радиоканала Wi-Fi.
2. Предложено структурное решение построения СТЗ и разработано программное обеспечение (ПО), которые в совокупности позволили устойчиво передавать многопотоковое видео с бортовых телекамер на ПУ по радиоканалу на расстояние более 400 метров даже при отсутствии прямой радиовидимости.
3. Разработаны и изготовлены (на основе предложенной концепции) автономные учебно-научные мобильные роботы Амур-5м,5,6,7 и экспериментальный робот Марсоход, оснащённые развитой сенсорной системой (телекамеры, ультразвуковые сенсоры, одометры) и учебно-научные мобильные стенды (для ДВФУ и ИАПУ ДВО РАН - г.Владивосток и ИНОТиИ РГГУ - г.Москва).
4. Создан прототип виртуальной лаборатории, объединяющей по VPN-каналам в Internet робототехнические стенды ИПМ им.М.В.Келдыша РАН (г.Москва), ИНОТиИ РГГУ (г.Москва) и ИАПУ ДВО РАН (г.Владивосток).
5. На основе сетевых решений создан учебно-тренировочный класс электронных тренажёров для Московского филиала ФГУП АТЦ МИНАТОМА РОССИИ (ИТУЦР), позволяющий обучать групповому управлению МР одновременно до операторов.
6. Разработан и изготовлен учебный робот Кронус с СТЗ кругового обзора;
разработано ПО, позволившее по изображению круговой панорамы с искажённой геометрией, формируемому такой СТЗ, успешно решать навигационные задачи в изменяющейся искусственной среде.
7. Разработаны функциональные схемы цифровых спецпроцессоров, способных выполнять в реальном масштабе времени обработку видеосигналов с моногоэлементных приемников ИК-излучения с целью компенсации свойственного таким датчикам геометрического шума.
8. Разработан и изготовлен подключённый к ЭВМ научно-исследовательский стенд, предназначенный для проведения исследований по разработке методов улучшения технических характеристик тепловизионных СТЗ с матричными ФПУ; в его состав входит тепловизионная охлаждаемая фотоматрица формата 6464 элемента, германиевый объектив, управляемый от ЭВМ пьезокерамический дефлектор и телевизионный монитор с двухпортовой памятью.
Во всех перечисленных работах автор принимал личное участие в качестве ответственного исполнителя и руководителя проектов.
Основные научные результаты диссертации, на которых базируются перечисленные внедрения, получены лично автором в процессе работы по договорам и планам ИППИ им. А.А. Харкевича РАН по темам: Кворум (1986г., 1990г.), Ель-5-1АН (1987г.), Кримат (1988г.), Кордон (1988г.), Сплав (1989г.); ИПМ им. М.В. Келдыша РАН: по проекту Компьютерное зрение в рамках Соглашения о сотрудничестве в области перспективных проблем роботики между РАН и Национальным Центром Научных Исследований (НЦНИ) Франции (1995г., 1997г.); Института механики МГУ: гранты РФФИ 00-01-00403 и УР 99-54и научно-исследовательским работам ИПМ РАН - МЛ Сенсорика: грант РФФИ № 10-07-00612-a и других программ Российской академии наук, что подтверждает их высокий уровень, обоснованность и достоверность, направленность на решение крупных научных и практических задач при создании систем технического зрения.
Апробация работы. Основные положения диссертации докладывались на Международных и Российских конференциях (опубликованы 30 докладов) и семинарах, в том числе: Научная школа-конференция Мобильные роботы и мехатронные системы, Москва, 2000, 2001, 2004, 2011; XIX Международная конференция по компьютерной графике и зрению ГрафиКонТ2009 (приглашённый доклад), Москва (МГУ), 2009; XVIII, XIX, XXI и XXII Всероссийская науч.-технич. конф. Экстремальная робототехника, СПб, 2007, 2008, 2010, 2011; Межд. научно-технич. конф. Нано-,микро- и макророботы. СПб, 2008, 2009; Межд. шк.-сем. Адаптивные роботы (п. Дивноморское 2009); XVIII, XX, XXI, XXII Межд. симпоз. Интеллектуальное производство и автоматизация DAAAM Int. Vienna, 2007, 2009, 2010, 2011; VI Всероссийская научно-практич.
конф. Перспективные системы и задачи управления, Таганрог, 2010; I Междунар.
научно-практич. конф. Техника и технология: новые перспективы развития, Москва, 2011; Научно-технич. конф. Техническое зрение в системах управления, Москва (ИКИ РАН), 2011; XII Междунар. интерактивный форум образовательных технологий Дополняя реальность, Москва (РГГУ), 2011; семинар Сетевые международные гуманитарные исследования по проблемам информатики, мехатроники и робототехники, Москва (РГГУ), 2009 и на семинарах в ИПМ им.М.В.Келдыша РАН, Москва, 2008, 2009, 2010 и 2011.
Публикации. Основные положения диссертации и результаты научных исследований по теме диссертации отражены в 76 публикациях (17 без соавторов), в том числе в 1 монографии и 15 статьях в журналах по перечню ВАК РФ, 6 работ входят в список Web of Science (Conference Proceedings Citation Index of Thomson Reuters). Результаты также отражены в 38 докладах на Всесоюзных совещаниях и семинарах и докладах на Международных конференциях. Среди публикаций - авторское свидетельство, 1 свидетельство об официальной регистрации программы для ЭВМ и 8 зарегистрированных научно-исследовательских отчётов.
Структура и объём работы. Диссертация состоит из введения, шести глав, заключения, списка литературы и приложения. Общий объем диссертации - 379 с., в тексте имеется 103 рисунков на 91 с. Список литературы состоит из 2наименований. Приложение на 4 с. содержит акты о внедрениях.
СОДЕРЖАНИЕ РАБОТЫ
Во введении даётся общая характеристика диссертационной работы, обосновывается актуальность темы, формулируется цель исследований, определяются научная новизна и положения, подлежащие защите. Приводятся сведения об апробации, публикациях и практической значимости результатов работы.
В первой главе приведёно описание этапов развития СТЗ и рассмотрено современное состояние их использования в информационно-измерительной и управляющей системе (ИИУС) МР. На основе анализа решаемых МР задач и особенностей супервизорного управления выделены проблемы, возникающие при использовании СТЗ в мобильных системах. Для определения путей решения этих проблем рассмотрена операционная среда МР, т.е. информационное пространство его мультисенсорной системы. В заключительной части главы формулируются основные задачи исследования.
Системами технического зрения (computer vision) обычно называют совокупность аппаратных и программных средств получения, передачи, хранения и обработки изображений (а также шлейфов данных), включая автоматический анализ изображений и формирование решений (например, измерение параметров объектов на изображении) или выработку сигналов управления, которые подаются на исполнительные механизмы (например, при организации движения МР и манипулировании наблюдаемыми объектами). Под шлейфом данных будем понимать структурированный непрерывный поток данных от всех бортовых сенсоров МР и команды управления, которые выстраиваются в некоторую последовательность по определённым правилам.
Системы технического зрения, предназначенные для установки на МР, обладают рядом особенностей, которые в совокупности отличают их от иных СТЗ.
Во-первых, на входе имеется внешняя среда, характеризующаяся неопределенностью. Во-вторых, внешняя среда постоянно меняется, поэтому получение, формирование, передача и обработка поступающей видеоинформации должны выполняться со скоростью изменения внешней среды (реальное время).
В-третьих, супервизорное (и дистанционное) управление подразумевает наличие в ИИУС мобильного робота человека, который на основе анализа видеоинформации формирует цель управления и принимает решение о выполнении управляющего действия. В-четвертых, присутствие человека-оператора требует наличия в системе модуля формирования качественных и в нужном количестве (в разных ракурсах) растровых изображений окружающей среды. В-пятых, мобильный аппарат должен иметь беспроводную систему связи с пультом управления с тем, чтобы иметь свободу передвижения. Необходимо разработать единый подход (концепцию) к построению подобных СТЗ для МР различного назначения, который учитывает все перечисленные особенности. Этому посвящена глава 2.
Рассмотрим информационные потоки в ИИУС МР на примере его операционной среды, приведённой на рис.1 (проблемы, относящиеся к неокрашенным модулям на схеме, в работе не рассматриваются). ИИУС мобильных роботов, как и любая сложная управляющая система, включает функции оценки состояния внешней среды и состояния самой управляющей системы (УС), выработки сигнала обратной связи и сигнала управления. На основе анализа полученных данных выполняется формирование цели управления и составляется программа достижения этой цели, включающая набор команд, с помощью которых вырабатываются сигналы управления для исполнительных механизмов. Анализ данных и формирование цели управления может выполняться как с помощью удалённого интерфейса, так и с помощью внутреннего интерфейса, в зависимости от сложности решаемых задач.
Удалённый интерфейс входит в состав внешнего контура ИИУС. С его помощью человек-оператор выполняет анализ данных и Рис.1. Операционная среда МР формирование цели управления.
Известно, что человек получает более 80% информации через зрение.
Следовательно, информацию об окружающей МР среде ему необходимо предоставлять в привычном для него виде, т.е. в виде растрового изображения.
Поэтому в качестве основного дистанционного сенсора следует использовать телевизионную камеру (или несколько TV-камер). В видимом диапазоне это стандартные матричные телекамеры, в ИК-диапазоне - тепловизоры.
Видеосигналы от телекамер должны быть включены в шлейф данных, который необходимо подготовить для передачи по каналам связи (коммуникационная среда) на удалённый интерфейс. Для внутреннего интерфейса, который входит в состав внутреннего контура ИИУС, могут быть использованы широкополосные цифровые каналы передачи данных, когда лочищенные от различного вида шумов цифровые изображения попадают непосредственно в мультипортовую память блока анализа данных. С таким огромным потоком данных обычный компьютер не справится, поэтому предварительно, выполняется сегментация изображений с помощью специализированных процессоров.
Коммуникационная среда обычно представляет собой либо кабельный, либо беспроводной канал связи. При использовании аналоговых радиоканалов для передачи стандартных телевизионных видеосигналов от множества телекамер возникает проблема полосы пропускания, которая в этом случае должна быть достаточно широкой, что очень сложно и дорого обеспечить. Кроме того, известна низкая помехоустойчивость аналоговых радиоканалов. Переход на цифровой способ передачи данных по радиоканалам решает эти проблемы. В главе 3 на примере создания управляемых многокамерных СТЗ для робототехнических комплексов (РТК) МЧС приведены конкретные результаты решения проблемы передачи многопотокового видео по радиоканалу через объединение компонент СТЗ в ЛВС с мобильными узлами.
Альтернативный путь многопотоковому видео лежит в создании СТЗ кругового обзора, когда оптическое изображение окружающей среды проецируется на фотоматрицу единственной телекамеры с помощью специального зеркального конуса. В этом случае формируемое цифровое изображение панорамы сцены имеет вид, непривычный для человека (специфические геометрические искажения), поэтому может быть использовано только для работы внутреннего блока анализа изображений и формирования цели управления. Возможности использования такой СТЗ для выполнения ряда задач автономной навигации МР посвящена глава 4.
Достоверность получаемой на борту МР информации зависит не только от качества коммуникационного канала. Качественные характеристики и точностные параметры сенсоров в первую очередь определяют достоверность получаемых данных. На примере разработки методов борьбы с геометрическим шумом линейных и матричных приёмников оптического излучения, в главе 5 рассмотрены пути повышения технических и эксплуатационных характеристик тепловизионных СТЗ. Предложена модель изображения, основанная на сильных корреляционных связях смежных строк, позволившая разработать метод предобработки видеосигнала, исключающий обычное в таких случаях использование эталонных источников ИК-излучения. Приведены варианты функциональных схем цифровых спецпроцессоров, реализующих разработанный метод. Разработан метод борьбы с влиянием на видеосигнал разброса параметров матричных приёмников ИКизлучения, основанный на свойствах зрения приматов. Метод позволяет использовать в таких СТЗ фотоматрицы, обычно считающиеся непригодными по своим низким техническим характеристикам.
Современное представление об использовании МР ориентируется на групповое управление, как наиболее эффективное. В главе 6 предложен механизм, позволяющий осуществлять многоуровневое управление группировкой, когда каждым МР управляет человек-оператор, и имеется командный пункт, где формируется общая цель и с которого осуществляется групповое управление. В основе такого механизма лежит использование сетевых технологий для создания территориально распределённой ИИУС. Приводятся результаты разработки и создания класса электронных тренажёров, как прототипа механизма группового управления МР. Исследование сетевого взаимодействия элементов территориально распределённой системы позволило создать виртуальную лабораторию, объединяющую в ЛВС с мобильными узлами отдельные группы учебно-научных МР, физически расположенных в разных городах (г. Владивосток и г. Москва).
Во второй главе на основе подробного анализа особенностей СТЗ, предназначенных для установки на мобильные аппараты, приведён комплексный подход к построению подобных систем, составляющий концепцию построения управляемой многокамерной СТЗ.
Основные функции рассматриваемых СТЗ подразумевают наличие, как минимум, следующих компонент:
1. Один или несколько датчиков оптического излучения с соответствующей оптикой и электронной системой формирования видеосигнала (телекамера).
2. Система сбора видеоданных и фильтрации видеосигнала (аналоговая или цифровая) для коррекции искажений видеосигнала и формирования изображения (например, спецпроцессор для предобработки видеосигнала и/или видеосервер для преобразования аналогового видеосигнала в цифровую форму, его сжатия и приведения к стандарту Ethernet, и т.п.).
3. Система формирования радиоканала (приём-передача) для связи между бортовым модулем (БМ) и пультом управления (коммуникационная среда). Канал связи может использоваться как для передачи видеоданных (и телеметрии), так и для передачи на борт управляющих команд, например, при использовании телекамер, установленных на поворотно-наклонной платформе.
4. Пульт управления (ПУ), включающий систему формирования радиоканала (приём-передача), интерфейс оператора (пульт оператора с элементами управления) и систему преобразования видеосигнала в растровое изображение на мониторах (это может быть стандартный ПК или специализированный вычислитель).
5. Системы питания электронных блоков, в том числе автономного для мобильных модулей.
6. Вычислительное устройство БМ мобильного робота с супервизорным управлением, выполняющее анализ данных и формирование цели управления.
7. Выносные модули (ВМ) с установленными на них управляемыми телекамерами;
ВМ (лспутники) размещаются в непосредственной близости от места работы МР и позволяют оператору со стороны наблюдать за работой его исполнительных механизмов. Эти устройства должны быть автономны (должны иметь элемент формирования радиоканала для непосредственной связи с ПУ). ВМ могут размещаться на упрощённом подвижном шасси (на роботе-наблюдателе).
При использовании на МР многокамерной СТЗ возникает проблема передачи по радиоканалу многопотокового видео. Использование широкополосного радиоканала, защищённого от индустриальных и иных помех, - это затратный путь, поскольку он требует установки на обеих сторонах дорогостоящей высокочастотной многоканальной аппаратуры и получение частного решения Государственной комиссии по радиочастотам (ГКРЧ) на использование радиоканала в разрешённом диапазоне частот. Иной путь подсказывают современные разработки из области сетевых технологий. Переход от аналоговой техники к цифровой позволяет использовать аппаратное сжатие изображений, что позволяет решить эту проблему более дешёвым и надёжным способом. Для цифрового способа представления видеосигнала существенно упрощается создание радиоканала, например, если использовать беспроводную технологию стандарта Wi-Fi. Тогда задача сводится к созданию ЛВС, мобильными узлами которой становятся цифровые телекамеры и вычислительные устройства, устанавливаемые в БМ и ВМ, с одной стороны, и вычислитель в ПУ, с другой стороны. В результате ЛВС становится элементом распределённой ИИУС мобильного робота.
СТЗ приобретает такие свойства ЛВС, как реконфигурируемость - возможность легко наращивать или изменять любые ресурсы СТЗ: телекамеры, вычислители, радиоканалы; распределённость - возможность распределять вычислительные ресурсы между модулями; многопользовательский режим - возможность получать изображения с телекамер одновременно на нескольких пультах оператора и управляемость одновременно с разных ПУ; управление через Интернет - возможность анализировать работу МР и выдавать управляющие команды на любых расстояниях через подключение к СТЗ через Интернет;
возможность цифровой обработки сигналов - использование спецпроцессоров и универсальных ЭВМ, что позволяет чисто алгоритмически постоянно совершенствовать используемые алгоритмы обработки изображений и программ управления; высокое качество изображений - возможность использования телекамер высокого разрешения и с высоким качеством цветопередачи;
функциональность - по цифровому каналу можно передавать как видеосигнал, так и сигналы управления элементами СТЗ (например, поворотно-наклонными платформами) и исполнительными механизмами МР; многопотоковость видео - возможность передавать видеосигналы одновременно с нескольких телекамер без снижения качества изображений, что достигается за счёт использования высокоэффективных алгоритмов сжатия последовательности кадров; объединение модулей СТЗ в ЛВС через радиоканал - использование стандарта Wi-Fi или Wi-Max (и т.п.); высокая помехозащищённость - в отличие от аналоговых систем цифровые каналы передачи данных обладают большей помехоустойчивостью; защищённость - возможность использовать методы защиты информации от несанкционированного доступа (например, VPN-каналы и/или шифрование).
Особенностью использования МР является их работа в экстремальных условиях, в первую очередь это касается РТК для МЧС и, отчасти, учебных роботов (вандалозащищённость). В этом случае телекамеры должны быть уличного исполнения и быть работоспособными в большом диапазоне температур окружающей среды. Такие IP-телекамеры очень дороги и их повреждение, например, при разборе завалов, может привести к дорогостоящему ремонту.
Поэтому на мобильной части следует устанавливать относительно дешёвые аналоговые телекамеры, а обработку видеосигнала (преобразование в цифровую форму, сжатие и приведение к стандарту Ethernet) следует производить с помощью видеосервера, который должен устанавливаться в защищенном месте.
Известно, что устройства Wi-Fi имеют ограниченный радиус действия. Для его увеличения следует идти несколькими путями. Самый простой из них - повышение мощности точки доступа (приёмо-передатчика), что не всегда возможно из-за сложного порядка регистрации и получения частного решения ГКРЧ. Второй путь - это использование узконаправленных антенн, что, как правило, затруднительно в случаях мобильных систем. Третий путь - создание повторителей (репитеров) радиосигнала на тех же точках доступа. В этом случае радиоканал между неподвижным (или малоподвижным) репитером и ПУ организуется с помощью узконаправленных антенн, формируя тем самым устойчивый радиоканал большой дальности, и репитер, который устанавливается недалеко от МР, в свою очередь формирует радиоканал с БМ с помощью всенаправленной антенны.
С помощью репитеров решается проблема работы МР в условиях городских кварталов, когда распространению радиосигнала мешают здания и иные препятствия. Известна способность оборудования Wi-Fi работать на отражённых сигналах. Кроме того, точка доступа (с антенной), питание которой осуществляется по стандарту PoE, может быть вынесена от пульта оператора на расстояние до 1метров при их соединении с помощью кабеля типа витая пара (UTP), что позволяет управлять работой МР даже в условиях подвалов или из-за защитной стены. Такой вынос антенны от приёмо-передатчика при использовании аналоговых систем невозможен из-за сильного затухания сигнала в ВЧ-кабеле.
В третьей главе приведены результаты использования предложенной концепции при разработке управляемых многокамерных СТЗ для РТК BROKK-110D и BROKK-330 (Рис.2a и b). На основе предложенной концепции были разработаны и изготовлены также учебно-научные МР типа АМУР (Рис.2c) и МР на основе макета марсохода (Рис.2d). Их объединяет использование унифицированной элементной базы для объединения компонент СТЗ в ЛВС.
a) b) c) d) Рис. 2. Робототехнические комплексы BROKK-110D (a) и BROKK-330 (b), МР типа АМУР (c) и робот высокой проходимости Марсоход (d) Работы по созданию СТЗ для РТК были проведены для 294 Центра по проведению спасательных операций особого риска МЧС России. В рамках данного проекта на борт каждого РТК установлено 3 стационарно закреплённых телекамеры с ИК-подсветкой (одна сзади и две спереди по бортам) и одна скоростная купольная телекамера, снабженная управляемым поворотно-наклонным механизмом и системой 10-кратного оптического масштабирования (PTZ). Кроме того, изготовлено три выносных модуля (ВМ): один для BROKK-110D и два для BROKK-330, снабжённых такой же купольной телекамерой, и два репитера (по одному на каждый РТК). Имеется система дистанционного программного управления системой PTZ всех купольных телекамер (как на борту, так и на ВМ).
Все компоненты СТЗ объединены в ЛВС. Для обеспечения надежного радиоканала были проведены исследования по поиску оптимальных настроек всех компонент системы. Разработано специальное программное обеспечение (ПО), которое совместно с соответствующими настройками параметров видеосерверов и точек доступа обеспечило надёжную и устойчивую передачу стандартного видеосигнала на расстояние более 200 м от всех пяти/шести телекамер на ПУ в зоне прямой радиовидимости. Для увеличения дальности связи (более 400 м) было изготовлено устройство-ретранслятор с автономным питанием для ретрансляции на пульт управления (ПУ) радиосигналов с бортового модуля (БМ) и ВМ. Точка доступа ПУ подключается к системам ПУ по кабелю FTP длиной до 100 м;
совместно с ретрансляторами данное конструктивное решение позволило обойти условие прямой радиовидимости. Был разработан программный модуль, обеспечивающий устойчивую работу с видеопотоками (в том числе устойчивость к пропаданию отдельных кадров), и выполняющий на ПУ формирование изображений в телевизионном стандарте на экранах двух мониторов от всех телекамер одновременно. Удаленное управление системой PTZ всех купольных телекамер и переключением 6 экранов на 2-х мониторах осуществляется с помощью специально разработанного ПО.
Основой для ПО является операционная система (ОС) Linux Ubuntu. При разработке программ использован язык программирования Python, который позволяет выполнять быструю разработку и отладку программ за счет динамической типизации языка, что дает возможность оперативно вносить изменения в архитектуру ПО.
Использование данных результатов подтверждено актом о внедрении, выданным автору руководством 294 Центра по проведению спасательных операций особого риска МЧС России. РТК с установленными на них СТЗ в 2009 - 2011гг.
прошли испытания в реальных условиях при ликвидации аварий, что подтверждает обоснованность предложенной концепции.
В четвертой главе исследуется возможность использования СТЗ кругового обзора с одной телекамерой (рис.3) для решения ряда навигационных задач МР в автономном режиме. Решение данной проблемы позволяет обеспечить полноту получения видеоданных без использования многокамерной СТЗ. Цель - разработать методы анализа видеоданных, на основании которых возможно формирование цели управления средствами бортовых систем.
Одновременно с достижением основной цели решалась задача создания площадки для проведения практических занятий для студентов старших курсов механико-математического факультета МГУ. Был разработан и изготовлен робот Кронус, предназначенный для участия в Рис. 3. Схема оптической соревнованиях Фестиваля Мобильные роботы.
системы робота Кронус Круговой обзор обеспечивается установленным в оптической системе СТЗ зеркальным конусом, с помощью которого круговая панорама проецируется на поле фотоматрицы телекамеры.
Основная задача СТЗ такого робота - обнаружение специального ИК-маяка и определение азимута и расстояния до него. Как сами объекты-маяки, так и фон имеют на плоском изображении специфический вид - маяк из практически точечного объекта превращается в вытянутое пятно. На изображении проявляются блики от любых источников света, попадающих в поле зрения оптической системы телекамеры. На рис.4а приведён Рис. 4. Этапы фильтрации изображения маяка пример такого изображения.
Маяки имеют ряд особых признаков, позволяющих выделить их на изображении. Во-первых, маяк является источником ИК-излучения; следовательно, часть ложных объектов можно отфильтровать с помощью ИК-фильтра (рис.4б).
Видно, что флуктуационные шумы остаются весьма значительными и часть ложных объектов всё ещё проявляется на изображении; поэтому были применены методы сегментации изображения. В первой версии робота Кронус был использован адаптивный метод пороговой сегментации. Опыт показал, что метод обладает низкой точностью и требует больших вычислительных мощностей для организации динамической адаптации к быстро меняющемуся при движении робота изображению.
Во-вторых, маяк мигает с частотой 16 Гц. Было предложено использовать межкадровую разность с целью выделения объектов и подавления помех. Метод основан на предположении, что объекты, не являющиеся маяками, за короткий промежуток между двумя последовательными кадрами не могут изменить мощность своего излучения сильнее, чем это сделает маяк. На рис.4в приведён пример разностного изображения между двумя соседними полукадрами (модуль разности). Основная часть ложных объектов исчезает; остаётся лишь высокочастотный флуктуационный шум. Теперь можно использовать простой пороговый метод сегментации с постоянным значением порога.
Однако на разностном изображении всё ещё остаётся часть шумовых элементов. С целью повышения помехоустойчивости алгоритма было предложено использовать метод фильтрации по связности. Анализ связности проводится в предположении, что объект (маяк) формирует на разностном цифровом изображении достаточно плотное множество точек.
Определение. Метод фильтрации по признаку n-связности - это преобразование матрицы изображения A M(mn) B M(mn) :
к матрице 0, (A)(i, j) n B(i, j) A(i, j), (A)(i, j) n На рис.4г приведен пример фильтрации разностного изображения для n = 3.
С целью локализации объектов-маяков определяются их азимуты и дальности до них. Цифровое изображение разбивается на сектора с углом в центре, и вычисляется сумма значений яркостей пикселей разностного изображения, принадлежащих каждому из секторов. В результате получим массив чисел, который назовем развёрткой по окружности. Угол, образованный лучом, соответствующим направлению движения робота, и лучом, соответствующим направлению на локальные максимумы полученной функции, определяет азимут объекта-маяка.
Дальность до объектов-маяков определяется расстоянием их образов от центра изображения, совпадающего с оптическим центром. Выполняется проекция всех точек секторов, которые пересекаются с выделенным на первом этапе объектом, на луч, проходящий через центр изображения и точку на окружности, соответствующую локальному экстремуму, полученному на предыдущем этапе суммирования на окружность. Далее, луч разбивается на отрезки и вычисляется сумма значений пикселей разностного изображения, попавших в каждый из отрезков (суммирования на радиус). В результате получается функция, локальные максимумы которой, соответствуют центрам объектов.
Оказалось, что вычислить с необходимой точностью расстояние до маяков по их проекциям на фотоматрице телекамеры не удаётся вследствие не идеальности оптической системы. Была построена математическая модель реальной оптической системы, учитывающая неточности её изготовления, для двух вариантов конструкции оптической системы (q < 0 и q > 0, см. рис.3). Было показано, что изза ошибок в расположении и ориентации зеркального конуса, объектива и фотоматрицы окружность радиуса L на плоскости маяков преобразуется на плоскости фотоматрицы в улитку Паскаля (рис.5, для q < 0), причём для определения закона преобразования пространственных координат объекта в координаты проекции объекта на плоскости фотоматрицы достаточно на этапе калибровки сделать всего 4 измерения.
На основе видеоданных, получаемых с помощью СТЗ кругового обзора, роботом Кронус были успешно решены следующие элементы автономной навигации:
Рис.5. Улитки Паскаля движение из произвольной точки полигона на маяк, прохождение ворот, образованных двумя маяками, движение вокруг двух маяков - восьмёрка, прохождение нескольких ворот с последующим выходом на одиночный маяк - змейка, прохождение по траектории, образованной несколькими маяками - куча.
Для распознавания бело-чёрной полосы на чёрнобелом шахматном поле полигона робот был снабжён дополнительной телекамерой. Полоса имеет сложную траекторию, и задача состояла в организации автономного движения робота по этой траектории. Был разработан алгоритм, использующий кластерный анализ, который практически нечувствителен к таким помехам как блики.
Рис.6. Пример Пример работы алгоритма приведен на рис. 6.
распознавания полосы Таким образом, экспериментально показана эффективность предложенных методов комплексной сегментации изображений при использовании СТЗ кругового обзора для автономного решения навигационных задач.
В пятой главе рассматривается вопрос обеспечения достоверности получения сенсорных данных за счёт улучшения технических и эксплуатационных характеристик используемых в СТЗ линейных и матричных многоэлементных приёмников оптического излучения посредством обработки видеосигнала с помощью специализированных цифровых процессоров.
Предложены методы обработки видеосигнала, отличающиеся высокой эффективностью, приведены варианты функциональных схем соответствующих спецпроцессоров.
I. СТЗ, использующие сканирующую линейку фотодатчиков.
Подобные системы обычно используются в тепловизорах, когда фотоприёмные устройства (ФПУ) с линейкой устанавливаются в систему оптикомеханического сканирования. В таких системах видеосигнал формируется в процессе последовательной коммутации фотодатчиков, которые, как единое целое, перемещаются в направлении, перпендикулярном расположению фотодатчиков на линейке. В процессе сканирования каждый из N фотодатчиков формирует электрический сигнал Ui(x), величина которого пропорциональна потоку излучения Ei(x), попадающему на фотодатчик через объектив. В результате каждый фотодатчик формирует одну строку изображения.
В большинстве случаев функция преобразования излучения в электрический сигнал фотодатчика может быть описана следующей моделью:
Ui (x) SiEi (x) Vi, для i = 1,2,Е, N, (1) где: Si - интегральная чувствительность i-го фотодатчика (0 < Si 1);
Vi - составляющая, обусловленная темновым током фотодатчика (Vi 0 ).
Несоответствие сигнала Ui(x) изображению Ei(x) возникает вследствие разброса значений { Si } и значений { Vi }. Данное явление принято называть геометрическим шумом многоэлементного ФПУ. Особенно сильным геометрическим шумом отличаются ФПУ ИК-диапазона.
Учитывая линейный характер модели фотодатчика (1) можно выполнить коррекцию видеосигнала:
Ui'(x) KiUi (x) Ci, для i = 1,2,Е, N, (2) где: Сi - аддитивный корректирующий сигнал (Ci = - Vi );
Ki - мультпликативный корректирующий сигнал (Ki = A/Si).
В процессе эксплуатации линейки фотодатчиков под воздействием целого ряда факторов происходит изменение параметров { Si } и { Vi }. Время, в течение которого чувствительность фотодатчика изменится на величину, соизмеримую с его пороговой чувствительностью, много раз больше времени сканирования одного кадра изображения.
Процесс коррекции разделяется естественным образом на две части:
одна - это собственно компенсация неравномерности видеосигнала по формуле (2), которую следует выполнять с частотой опроса фотодатчиков линейки, и другая - это вычисление корректирующих коэффициентов, которое может выполняться с более медленной скоростью.
Недостатком известных способов эталонной коррекции геометрического шума является низкая точность компенсации вследствие большой сложности организации равномерной засветки (особенно в ИК-диапазоне), а также из-за влияния флуктуационных шумов датчиков и эталонных источников излучения.
Известен безэталонный способ, основанный на предположении, что изображение есть случайная функция яркости, обладающая свойством эргодичности. Однако использовать свойство эргодичности можно лишь в случае, когда имеется совокупность нескольких тысяч или миллионов кадров.
Предлагается метод, использующий модель изображения, основанную на сильных корреляционных связях смежных строк изображения. Это позволяет повысить точность вычисления корректирующих коэффициентов при малой длине реализаций. Изображение рассматривается как N реализаций (строк) конечной длины (X = L) случайной функции яркости Ei(x), где i - номер строки, которые обладают следующими свойствами:
1. Вероятность того, что в пределах одного кадра дисперсии функции яркости Di(E) и Di+1(E) смежных строк одинаковы (событие Ai,i+1), много больше вероятности того, что они различны (событие Bi,i+1): P(Ai,i1) P(Bi,i1).
2. Вероятность того, что в пределах одного кадра средние значения функции яркости Ei и Ei1смежных строк одинаковы (событие Fi,i+1), много больше вероятности того, что они различны (событие Hi,i+1): P(Fi,i1) P(Hi,i1).
3. События Ai,i+1 и Bi,i+1, а также Fi,i+1 и Hi,i+1 образуют соответственно полную группу событий: P(Ai,i1) P(Bi,i1) 1 и P(Fi,i1) P(Hi,i1) 1.
Используя данные свойства, можно вычислить относительные значения { Si*} и { Vi*} из итерационных формул:
* Sk Vk*,i k;,i k;
* Si* Gi,i1,i k;, Vi* Vi*1 Gi,i1,i k;, (3) S Q i1 i,i1 * *,i k,,i k, Si1 /Gi,i1 (Vi1 Qi1,i ) / Gi,iгде Gi,i1 Di(U) Di1(U), Qi,i1 Ui Gi,i1 Ui1, для каждого кадра;
D - дисперсия видеосигнала, k - номер опорного фотодатчика.
p p Повысить точность вычисления переходных коэффициентов Gi,i1 и Qi,iможно простым усреднением по p значений этих параметров, полученных для последовательности из P кадров (P 3). Очевидно, что с увеличением числа разносюжетных кадров возрастает точность вычисления данных параметров.
Введём в модель изображения еще одно свойство, основанное на сюжетных различиях в кадрах:
4. События Ai,i+1 и Bi,i+1, а также Fi,i+1 и Hi,i+1 для любой из N-1 пар смежных строк в разных (m и n) кадрах независимы:
n n P(Aini1, Bim1) P(Aini1 ) P(Bim1) и P(Fi,i1,Him1) P(Fi,i1 ) P(Him1).
,,i,,i,i,i p Так как { Si } имеют случайный характер, то и {Gi,i1 } в пределах одного p-го кадра будут иметь случайные значения. Однако для каждой пары p соответственных смежных фотодатчиков значение Gi,i1 будет повторяться во всех (J Ji,i1) li,i1 кадрах. Тогда для каждой пары смежных фотодатчиков переходные коэффициенты, вычисленные по разным кадрам, в большинстве случаев будут иметь близкие (типовые) значения, и лишь для отдельных m кадров будут от них отличаться. Используя терминологию теории ошибок, значения {Gi,m1 } назовём аномальными. Аналогичный результат имеет место и i p для {Qi,i1}. Повысить точность вычисления переходных коэффициентов можно посредством отбрасывания аномальных значений. Для этого можно использовать критерий Шовене или методы кластерного анализа.
На основании предложенного метода были разработаны варианты спецпроцессоров, способных со скоростью сканирования выполнять компенсацию разброса параметров линейки фотодатчиков (Рис.7).
a) b) Рис.7. Функциональные схемы спецпроцессоров Решение на рис.7a, требует использования многоразрядного скоростного аналого-цифрового преобразователя (АЦП) из-за больших темновых токов фотодатчиков (Si Ei(x) Vi), что потребует соответственного увеличения разрядности ОЗУ и регистров, необходим более сложный и более дорогой микропроцессор. В решении на рис.7b за счёт обратной связи аддитивная составляющая вычитается из входного сигнала до АЦП. Однако такое решение потребует усложнения алгоритма работы микропроцессора.
Для исключения высокочастотных шумов коммутации, предлагается изменить схемотехническое решение ФПУ (рис.8).
Вводится дополнительный коммутатор аналоговых сигналов (I), на который синхронно подаются значения аддитивного корректирующего сигнала.
Вводятся N элементов хранения аналогового сигнала (ЭП) и на каждый канал фотодатчика устанавливается аналоговый сумматор (СМi). Тогда между сменой кадров коммутатор передает значения корректирующих сигналов на соответствующие ЭП, которые сохраняют эти значения неизменными во время активной части сканирования. Сумматор 10 из схемы исключается, весь тракт компенсации аддитивной составляющей оказывается низкочастотным, что существенно Рис.8. Вариант ФПУ повышает помехоустойчивость устройства.
Было выполнено компьютерное моделирование спецпроцессора (рис.7a). В качестве исходных использовались 16 разносюжетных цифровых чёрно-белых изображений формата 512512 пикселей при 2уровнях квантования видеосигнала.
Параметры линейки были сгенерированы генератором псевдослучайных чисел с равномерным распределением с пределами разброса параметров 0,1 < Si 1,0 и 0 Vi 230. Было реализовано три метода вычисления корректирующих коэффициентов по нескольким кадрам: метод накопления статистики (рис.9a), метод усреднения переходных коэффициентов (рис.9b) и метод усреднения с отбрасыванием Рис.9. Результаты экспериментов по коррекции геометрического шума аномальных значений (рис.9с).
Все методы испытывались на одинаковых последовательностях изображений.
В качестве критерия была использована зависимость количества ложных контуров n, появившихся на скорректированном изображении ровного фона, от значения модуля лапласиана (величина контурного сигнала), попадающего в заданный диапазон, поскольку воздействие геометрического шума приводит к появлению на таком изображении контуров подобного типа. Выбор данного критерия определяется его согласованностью со свойствами зрения человека.
Метод накопления статистики показал наилучшие результаты даже при небольшом количестве исходных изображений, причём при использовании семи и более входных изображений наблюдаются практически одинаковые показатели эффективности. Можно предположить, что метод с отбрасыванием аномальных значений при той же эффективности будет более устойчив к качеству входных изображений.
Сократить количество анализируемых кадров и повысить точность коррекции можно за счёт организации сканирования одного и того же участка изображения соседними светочувствительными элементами линейки. Тогда согласно (3) даже для одного изображения за время двух сканирований можно получить точные значения переходных коэффициентов. Однако при подвижных изображениях будет возникать существенная ошибка. Кроме того, подобное внесение изменений в систему сканирования является сложной технической задачей.
Предлагается подобную организацию сканирования выполнять за счёт движения самого изображения. Если в течение времени нескольких кадров оптическое изображение перемещается по прямолинейной траектории в направлении, перпендикулярном направлению сканирования со скоростью, существенно меньшей скорости сканирования, то достаточно найти критерий, по которому можно определить момент, когда изображение переместится на величину межэлементного расстояния. Сложность решения данной задачи заключается в наличии сильного геометрического шума в видеосигнале.
В соответствии с (1) отсчеты j выходного сигнала смежных фотодатчиков при сканировании соответственно i-й и (i - 1)-й строк оптического изображения можно представить (пока без аддитивной составляющей) в дискретном виде:
Ui, j Si Ei, j и Ui1, j Si1 Ei1, j.
В процессе перемещения линейки фотодатчиков перпендикулярно направлению сканирования (i - 1)-й фотодатчик постепенно будет приближаться к участку изображения с яркостью Ei,j, и в тот момент, когда (i - 1)-й фотодатчик займет место i-го фотодатчика, т.е. будет сканировать i-ю строку оптического изображения, для всех j отсчетов строки L(,ji)1 Ln(Ui, j ) Ln(Ui1, j ) Ln(Si) Ln(Si1) L Const.
i Для фиксации этого момента необходимо сначала для i-го фотодатчика и для ] всех j его отсчетов запомнить значения L[ii,]j Ln(Ui[,ij ), где индекс [i] означает номер сканируемой строки оптического изображения, и с периодичностью сканирования q] выполнять вычисления по формуле L(,j) L[ii,]j Ln(Ui[1, j ) при каждом q-м i iсканировании. В идеальном случае, когда (i - 1)-й фотодатчик займет место i-го фотодатчика, для каждой пары отсчетов m и n (из M отсчетов на строке) n) m) Ji(,m,1 L(,i1 L[ini]1 0 для всех m n. Тогда можно предложить следующий i i, интегральный критерий, позволяющий работать с реальным изображением:
M r r Ji, jr (d) L(,j) (dq ) L[i,ji1](dq ), i i1 jгде dq - линейное расстояние между i-й строкой оптического изображения и центром чувствительной площадки (i - 1)-го фотодатчика при q-м сканировании, r = m - n 1. Минимум функционала Ji,j-r(d) соответствует моменту, когда (i - 1)-й фотодатчик будет сканировать i-ю строку изображения.
Предложенный критерий можно применить и к случаю, когда в видеосигнале фотодатчика присутствует аддитивная составляющая. Для этого достаточно выполнить дифференцирование видеосигнала вдоль строки и использовать модуль полученных значений в качестве входных данных.
Эффективность метода была проверена путем моделирования на ЭВМ работы сканирующей линейки фотодатчиков с использованием двух цифровых изображений разного контраста формата 2790480 пикселей, полученных из аэрофотоснимков. Параметры модели приведены на рис.10. Значение выходного сигнала (отсчет) есть нормированная сумма значений яркости цифрового изображения в окне aa (a = 20) пикселей исходного цифрового изображения. Фотодатчики располагаются по вертикали (h = 25 пикселей).
Разброс по чувствительности составляет 25%.
Рис.10. Моделирование Считается, что сканирование выполняется сканирования изображения в горизонтальном направлении, и отсчёты фотоприемной линейкой видеосигнала производятся с шагом h пикселей.
В результате одного сканирования исходного изображения формировалось цифровое изображение формата N M элементов дискретного растра (M = 80).
Перемещение оптического изображения в направлении, перпендикулярном направлению сканирования, моделировалось смещением локон, на один пиксель исходного изображения (x = y) за один кадр. В результате через 50 кадров каждый фотодатчик займёт на исходном изображении место своего предшественника (смежного фотодатчика). Результаты моделирования для контрастного входного изображения приведены на рис.11.
Рис.11. Результаты моделирования отслеживания строки Рис.11а соответствует эксперименту, когда r = 1. Рис.11b - исходный вариант при r = 5: использование менее коррелированных отсчётов приводит к улучшению вида функции - она становится более гладкой с хорошо выраженным экстремумом.
Рис.11c - моделируется движение исходного изображения под углом = 5,7О к нормали относительно направления сканирования. С увеличением угла (до 11О) экстремум функции становится менее выраженным и происходит небольшое смещение положения экстремума. Рис.12d - вариант с дифференцированием видеосигнала вдоль строк при r = 1: многомодальность определяется, по-видимому, существенным снижением количества ненулевых значений разностного сигнала.
Моделирование показало: а) критерий позволяет зафиксировать смещение изображения на величину межэлементного расстояния с точностью до долей этого расстояния; b) критерий устойчив к разбросу параметров фотодатчиков линейки;
c) критерий устойчив к качеству исходного изображения; d) критерий устойчив к изменению направления смещения (в пределах 11О) оптического изображения относительно направления сканирования.
II. СТЗ, использующие матрицу фотодатчиков. Широкое применение фотоматриц дальнего ИК-диапазона в системах СТЗ наталкивается на проблему геометрического шума. Одним из известных методов выравнивания параметров фотоматриц является метод эталонирования, недостатки которого были описаны ранее. Воспользуемся методом временной задержки и накопления (ВЗН), который широко применяется в специальных приборах с зарядовой связью (ПЗС).
Особенность режима ВЗН заключается в организации перемещения ПЗС-матрицы относительно оптического изображения в направлении, перпендикулярном строкам, и синхронно с ней электрических зарядов. В результате суммирования на выходе формируется электрический сигнал, эквивалентный тому, который был бы получен чувствительным элементом фотоматрицы с параметрами, усредненными по столбцу элементов.
Используем принцип ВЗН для смотрящих фотоматриц, работающих без систем оптико-механического сканирования. Введем в оптическую систему дефлектор, способный отклонять оптическое изображение на малые углы (на 1 - 3 межэлементного шага Рис.12. Модель микросканирования фотоматрицы в любую сторону).
Введем три взаимно параллельные плоскости I, II и III, как показано на рис.12. Оптическое изображение задаётся в плоскости I в системе координат (X, Y).
Путем ортогональной проекции отобразим координатные оси плоскости I на плоскости II и III. Построим координатные сетки с одинаковым шагом x = y равным межэлементному шагу фотоматрицы. В начальный момент времени проекция точки O1 совпадает с точками O2 и O3. Управляемое смещение оптической проекции изображения по полю фотоматрицы опишем как смещение сетки (n, m), жестко связанной с фотоматрицей в плоскости II, относительно системы координат (X, Y), связанной с оптическим изображением E(x,y). Смещение может производиться лишь на целое число шагов (p, u), причем величина шага совпадает с межэлементным шагом фотоматрицы.
Согласно (1) функция преобразования излучения в электрический сигнал:
i, j Ui, j (x, y) Si, j E (x, y) Vi, j, i, j где E (x, y) - значение функции яркости участка оптического изображения с i, j координатами (x, y), проецируемого на (i, j)-й фотодатчик ( E (x, y) 0).
Используя переходные уравнения: x = x(n + p) и y = y(m + u), можно записать выходной сигнал фотодатчиков при смещении на (p, u) шагов:
( Un,p,u) Sn,m E(n p) x,(m u) yVn,m.
m Выполним смещение полученного цифрового изображения в обратном направлении на (-p, -u) шагов с тем, чтобы компенсировать первоначальный сдвиг оптического изображения. Проекция смещённого цифрового изображения с плоскости II на плоскость III дает выходное изображение (p, u)-й реализации, записанное на дискретной сетке (i, j) через уравнения перехода: i = n + p и j = m + u.
В результате (p, u)-я реализация цифрового изображения Ui(,p,u) Si p, ju E(i x, j y) Vi p, ju.
j Конечным итогом метода является цифровое изображение, полученное методом усреднения отдельных реализаций:
r1 r1 r1 r1 Ui(,j ) E(xi,y j) , (4) Si p, ju Vi p, ju pr1 ur1 pr1 urгде - число усредняемых реализаций (для квадратного растра, образуемого сдвигами, r1 = ( 1)/2).
Используя (4), получим выражение для дисперсии выходного сигнала:
DV E2(i x, j y) DS.
DUi(,j ) Видно, что в результате пространственно-временного накопления по окрестности в элементов происходит снижение дисперсии видеосигнала, вызванной неоднородностью параметров фотодатчиков матрицы, в раз. Назовём предлагаемый метод пространственно-временным накоплением (ПВН).
Для существенного снижения влияния геометрического шума методом ПВН необходимо усреднение по большому числу элементов фотоматрицы, что сопряжено с трудностями организации большого смещения оптического изображения относительно фотоматрицы. Кроме того, это приводит к увеличению числа кадров, необходимых для усреднения.
Анализ модели зрительной системы человека приводит к совершенно иному способу борьбы с разбросом параметров матричных ФПУ. Обработку видеосигнала можно организовать аналогично той, которая предположительно используется в зрительной системе человека, когда выделение контуров происходит за счёт использования дрейфа зрительных осей глаз. Для восстановления изображения применяется способ анализ-синтез: выделение контурного сигнала изображения (анализ) и затем восстановление изображения из контуров (синтез) путем сложения с низкочастотной компонентой изображения.
Сам по себе способ анализ-синтез геометрический шум не устраняет.
Существенным является способ пространственно-временного выделения контуров, заимствованный из модели зрительной системы человека и реализованный с помощью управляемого дрейфа оптической проекции изображения на поле фотоматрицы и процессорной обработки.
Способ заключается в сдвигах оптического изображения относительно ФПУ, преобразовании этого изображения в электрический сигнал при каждом сдвиге, запоминании отсчетов в памяти, выделении с помощью процессорной обработки высокочастотной и низкочастотной компонент изображения и суммировании этих компонент в определенных пропорциях. В отличие от других способов, использующих суммирование частотных компонент, в данном способе для выделения сигнала высокочастотной компоненты используются сигналы от точки входного оптического изображения и точек её окрестности, которые считаны одним и тем же светочувствительным элементом фотоматрицы.
Вернемся к рис.12. Возьмем разность значений сигналов, считанных (i, j)-м элементом фотоматрицы, при отсутствии сдвига и при сдвиге на (p, u):
Ui(,0,0) Ui(,p,u) Si, j Ei x, j y Si, j E(i p) x,( j u) y. (5) j j Выполним усреднение разностных сигналов (5), полученных при всех значениях (p, u) сдвигов оптического изображения (для r = ( 1)/2):
r r Ui(,j) Si, Ei x, j y Si, j E(i p) x,( j u) y, j prur или после несложных преобразований r r Ui(,j) Si, j i x, j y E E(i p) x,( j u) y. (6) prur Разность между значением яркости в точке (ix, jy) и усреднённым значением яркости в ее окрестности дает высокочастотную компоненту оптического изображения, т.е. разностный лапласиан:
Ei(,j) Ei x, j y Ei( )i x, j y.
, j Тогда выражение (6) для выходного сигнала фотоматрицы принимает вид Ui(,j) Si, j Ei(,j). (7) Будем называть полученный сигнал контурным изображением.
Таким образом, выходной сигнал с элементов фотоматрицы представляет собой сигнал от высокочастотной компоненты оптического изображения, подверженный воздействию геометрического шума фотоматрицы.
Возникновение ложных контуров невозможно, так как все сигналы от (ix, jy)-й точки оптического изображения и точек ее окрестности, считаны одним и тем же (i, j)-м элементом фотоматрицы. Поэтому, согласно выражению (7), на тех участках исходного изображения, где контуры отсутствуют ( Ei(,j) 0 ), значение высокочастотной компоненты будет нулевым; там, где эти контуры есть ( Ei(,j) 0 ), они будут и на контурном изображении, правда искажённые воздействием геометрического шума. В соответствии со свойствами зрительной системы человека мультипликативная помеха, действующая на контурный сигнал, не оказывает влияние на восприятие синтезированного изображения.
Контурное изображение в совокупности с граничными значениями, взятыми из исходного изображения, содержит всю информацию об исходном изображении;
поэтому в обратном преобразовании (из контурного изображения в исходное полутоновое) формально нет необходимости. Это действительно так, если СТЗ выполняет автоматический анализ изображения. Если же в системе присутствует человек-оператор, например в системах с супервизорным управлением, то задача обратного преобразования становится обязательной.
Для восстановления полутонового изображения воспользуемся методом суммирования высокочастотных и низкочастотных компонент, который используется в системах с латеральным торможением. Основная операция Ч это однократное расфокусирование:
1 k k k k k k Ei(,kj1) Ei(1), j Ei(1), j Ei(,kj) Ei(,kj) Ei(1), j1 Ei(1), j1 Ei(1), j1 Ei(1), j1 Ei(,kj), 1 5 где Ei(,g ) - яркость (i, j)-го элемента цифрового изображения после g-го шага j расфокусировки; A - оператор однократной расфокусировки.
Тогда Li, j Ei(,0) Ei(,0) Ei(,0), (8) j j j Ei(,0j) где - яркость элемента исходного цифрового изображения.
Изображение, расфокусированное на g шагов, получается последовательным применением оператора однократной расфокусировки A:
Ei(,g ) Ei(,0) g Ei(,0). (9) j j j Таким образом, приходим к задаче восстановления исходного изображения по контурному изображению (8) и изображению, расфокусированному на g шагов (9).
Низкочастотную компоненту также можно получить, считывая одним и тем же (i, j)-м элементом фотоматрицы сигналы от точек окрестности.
На рис.13 приведены результаты экспериментов, выполненые на специальном научном оборудовании, состоящем из подключённого к ЭВМ самостоятельно изготовленного тепловизора с фотоматрицей размера 64хэлемента, охлаждаемой с Рис.13. Обработка изображения объекта помощью жидкого азота.
с реальной фотоматрицы ИК-диапазона Фотоматрица имеет максимальную интегральную чувствительность к излучению в диапазоне =3Ц5мкм.
Для организации смещения оптического изображения относительно фотоматрицы был использован пьезокерамический дефлектор, управляемый от ЭВМ.
На рис.13а приведена фотография изображения, снятая с экрана полутонового дисплея тепловизора. Увидеть малоконтрастный объект на этом изображении не представляется возможным, вследствие значительного геометрического шума.
На рис.13b приведена фотография изображения, соответствующего высокочастотной компоненте, выделенной пространственно-временным оператором. Можно видеть, что малоконтрастный объект (металлическая стрелка на ровном фоне) четко проявляется своими контурами. На рис.13с приведена фотография синтезированного изображения.
Применение пространственно-временного оператора для выделения сигналов высокочастотной и низкочастотной компонент изображения, привело к перемещению составляющей геометрического шума в сигнале из высокочастотной в низкочастотную компоненту сигнала, что дает возможность избавиться от возникновения ложных контуров и, тем самым, существенно снизить влияние геометрического шума фотоматрицы на качество выходного изображения.
Таким образом показано, что повышение достоверности получаемой информации может быть обеспечено за счет цифровой предобработки видеосигнала.
В шестой главе приводятся результаты исследований по созданию механизма группового управления МР на базе разработанного класса электронных тренажёров. Предложено объединение нескольких МР в единую распределённую ИИУС. На примере создания учебно-научных МР, оснащённых развитой сенсорной системой (включающей СТЗ), и их объединения в территориально распределённые виртуальные классы приведены результаты удаленного управления МР через каналы Internet.
Разработка учебно-научных роботов имеет целью создание МР, предназначенных для обучения молодых специалистов (студентов и аспирантов) навыкам программирования и математического моделирования реальных мобильных робототехнических систем, оснащенных набором различных сенсоров.
В рамках данного направления были разработаны и изготовлены учебнонаучные роботы типа АМУР (см. рис.2c) и робот высокой проходимости на базе макета Марсохода (рис.2d). Эти роботы снабжены развитой сенсорной системой, включающей телекамеру, ультразвуковой датчик и одометрические датчики, установленные на колесах. На борту каждого робота имеется видеосервер, который преобразует аналоговые сигналы сенсоров в цифровую форму, и микропроцессор, который управляет электродвигателями исполнительных механизмов. Этот микропроцессор имеет канал связи с установленным на борту ПК (типа Netbook), который, в свою очередь, связан по беспроводному каналу Wi-Fi с вычислителем ПУ. При разработке был использован принцип, полностью соответствующий предложенной концепции, описанной в главе 2. Это позволило объединить ИИУС нескольких учебно-научных МР в распределённую ИИУС посредством создания из компонентов МР локальной вычислительной сети с мобильными узлами, создав тем самым группировку роботов. Было разработано программное обеспечение, учитывающее сетевую структуру распределённой ИИУС.
При создании данных систем были решены следующие задачи. Определён состав комплектующих, обеспечивающих полноту функциональности робота.
Определена технология разработки программных комплексов, обеспечивающих удобные средства и интерфейс для удалённого динамического перепрограммирования бортового компьютера. Главная особенность этой технологии состоит в том, что на бортовой вычислитель могут передаваться не только отдельные команды, но и целые программные модули, которые сразу же интерпретируются бортовым вычислителем и исполняются. Это позволило часть сложного процесса обработки сенсорной информации и формирования цели управления переложить на центральный процессор ПУ, а подготовку сенсорной информации к передаче на ПУ и исполнение принятых решений возложить на бортовой вычислитель. Тем самым решается фундаментальная проблема робототехники, заключающаяся в создании программных технологий, обеспечивающих динамическое перепрограммирование бортовых систем МР в процессе исполнения ими локомоционных задач. Разработаны соответствующие функциональные и электрические схемы.
Три учебно-научных робота АМУР с супервизорным управлением (колесный, гусеничный и шагающий) с соответствующим ПО были разработаны и поставлены в ДВФУ и ИАПУ ДВО РАН (г. Владивосток). Использование данных результатов подтверждено актами о внедрении.
Развитием данного направления явилось создание виртуальной территориально распределённой лаборатории. Использование сетевых технологий для создания СТЗ МР позволило применить тот же подход для объединения ИИУС нескольких МР в территориально распределённую ИИУС. В качестве среды передачи информации был использован Internet (рис.14). Для обеспечения защищённости от несанкционированного доступа объединение было выполнено посредством VPN-каналов. Проведены работы по объединению ЛВС учебнонаучных робототехнических стендов в Институте новых образовательных технологий и информатики РГГУ, в здании ИПМ РАН в Москве и в ИАПУ ДВО РАН (г. Владивосток). Показана возможность осуществлять удалённое управление несколькими МР с одного ПУ или одним МР с нескольких ПУ. В этом случае особую роль приобретают выносные модули, с помощью которых можно удалённо наблюдать за действиями робота со Рис.14. Виртуальная распределённая лаборатория стороны, контролируя их визуально.
Разработанное ПО позволяет не только удалённо видеть сцену, но и удалённо управлять этими роботами по созданной технологии преодоления неравномерностей и задержек в каналах связи. Вычислительная сеть построена на базе стека протоколов tcp\ip, поскольку такие сети хорошо масштабируются и имеют множественные технические реализации, что позволяет объединять различные программно-аппаратные модули всех МР в единую сеть.
Использование сетевых технологий даёт возможность организовать удалённое управление работой группировки МР. В этом случае должна быть построена трёхуровневая система управления. Первый уровень - это автономные ИИУС отдельных роботов. Второй уровень - операторы МР: один робот - один оператор. Третий уровень - системы правил верхнего уровня, контролируемые и изменяемые командиром, выполняющим координацию работы операторов. В этом случае командир должен видеть всю сцену и получать видеоинформацию c СТЗ всех участвующих в работе МР и выносных модулей. При построении вычислительной сети достаточно включить в эту сеть ПК командира и обеспечить компоненты системы соответствующим ПО по предложенной технологии.
Показано, что в качестве основы для создания такого ПО можно использовать программные решения учебно-тренировочного класса электронных тренажёров (КЭТ), разработанного и созданного для ИТУЦР. Класс был создан на основе программного комплекса RobSim-4 и включал в себя 8 ПК и один сервер, которые составили ЛВС. КЭТ позволяет выполнять одновременное обучение и тренировку до 7 операторов МР одним преподавателем. Здесь, помимо определения структуры сети, была решена задача формирования общей сцены при сетевом взаимодействии до семи роботов, управляемых семью операторами. Тренажёр функционирует в клиент-серверном и одиночном режимах.
В процессе исследования был выявлен и исправлен ряд особенностей работы основного программного комплекса RobSim:
1. Использование рабочей станции в качестве сервера в некоторых ситуациях приводит к потере плавности при перемещении роботов у всех участников обучения. Была предложена структура ЛВС с выделенным сервером, на котором рассчитывается физическая модель, а клиенты лишь визуализируют эту модель. В результате данный эффект пропадает.
2. Было показано, что использование многопроцессорных компьютеров (или многоядерных процессоров) не приводит к росту производительности.
3. Если окно тренажёра перестает быть активным, то выполнение рабочего цикла тренажёра приостанавливается. Преодоление данной проблемы было решено путем изменения алгоритма основного цикла обработки сообщений приложенияинтерфейса.
Такая сетевая и программная структура симулятора, использующая взаимодействие компьютерных моделей мобильных роботов, эквивалентна сетевому взаимодействию элементов трёхуровневой территориально распределенной ИИУС, предназначенной для удалённого управления группировкой МР и может быть перенесена (с определённой доработкой и модернизацией) на реально действующий комплекс из нескольких МР, ИИУС которых объединены в локальную вычислительную сеть. В качестве командира в этом случае выступает инструктор (преподаватель). Автором получен соответствующий акт о внедрении результатов.
Основные результаты исследования и выводы Благодаря проведенным исследованиям получены следующие результаты:
1. Разработана новая концепция построения управляемых многокамерных СТЗ для мобильных систем с супервизорным управлением, которая позволила сформировать единые принципы их построения и получить соответствующие технические решения, унифицировать функциональный состав систем и обосновать технические требования к их компонентам. Доказана обоснованность данной концепции путём реализации соответствующих технических решений в виде действующих образцов СТЗ: по единым принципам были разработаны и изготовлены управляемые многокамерные СТЗ для РТК МЧС BROKK-110D и BROKK-330, а также учебно-научные МР с супервизорным управлением серии АМУР и экспериментальный робот Марсоход.
2. Разработаны методы и получены конкретные решения использования сетевых технологий для объединения как компонент СТЗ, устанавливаемых на борту МР, так и систем удалённого управления в локальную вычислительную сеть с мобильными узлами. Это позволило: организовать устойчивую передачу многопотокового видео по радиоканалу в стандарте Wi-Fi, в том числе при отсутствии прямой радиовидимости; обеспечить отображение в телевизионном стандарте на мониторах пульта управления полноформатных растровых изображений одновременно с нескольких телекамер; выявить пути совершенствования супервизорного управления мобильными системами.
3. Применение предложенной концепции и сетевых технологий позволило объединить ИИУС нескольких учебно-научных МР в распределённую ИИУС, создав тем самым группировку роботов с возможностью её динамического реконфигурирования. Реализована возможность динамического перераспределения процесса обработки сенсорной информации и формирования цели управления между бортовым вычислителем и центральным процессором ПУ. Такое распределение вычислительных ресурсов в рамках поставленной задачи позволило создать программную технологию, обеспечивающую динамическое перепрограммирование бортовых систем МР в процессе исполнения ими различных локомоционных задач, что решает одну из фундаментальных проблем робототехники.
4. Показана возможность использования модернизированного программного комплекса RobSim для построения эффективной системы многоуровневого удалённого управления группировкой МР, что особенно важно для решения задач МЧС.
5. Разработано ПО, позволяющее удалённо наблюдать окружающую обстановку и эффективно управлять роботами на основе созданной технологии преодоления неравномерностей и задержек в каналах связи. Это дало возможность посредством использования VPN-каналов в Internet объединить в территориально распределённую ИИУС робототехническое оборудование, физически расположенное в разных городах, создав тем самым виртуальную лабораторию, и обеспечить полнофункциональную связь между командным пунктом группировки МР и ситуационным центром.
6. Успешно решена проблема локализации объектов на изображениях с искажённой геометрией, что доказало возможность использования видеоданных СТЗ кругового обзора (360О) с зеркальным конусом в оптической системе для выполнения анализа изображений и формирования цели управления средствами бортовой ИИУС МР. Показана возможность использования такой СТЗ для выполнения задач автономной навигации МР по световым маякам. Показан путь совершенствования супервизорного управления через повышение линтеллекта бортовой ИИУС МР.
7. Разработаны новые методы эффективной борьбы с геометрическим шумом многоэлементных линейных ФПУ, применяемых в специальных сканирующих СТЗ ИК-диапазона. Эти методы позволяют исключить технически сложное использование эталонных источников оптического излучения в прецизионных оптических системах и значительно улучшить технические и эксплуатационные характеристики СТЗ. Предложены варианты построения цифровых спецпроцессоров (в виде функциональных схем).
8. Разработаны новые методы снижения влияния геометрического шума многоэлементных матричных ФПУ на качество выходного изображения.
Использование специальных методов обработки видеосигналов, имитирующих обработку сигналов в зрительной системе приматов, позволило качественно улучшить технические и эксплуатационные характеристики тепловизионных СТЗ.
Кроме того, эти методы позволяют использовать ранее считавшиеся непригодными ФПУ из-за их низких технических характеристик, что приведёт к существенному снижению стоимости таких систем.
Внедрение перечисленных решений позволило создавать эффективные информационно-измерительные и управляющие системы мобильных роботов, а также обеспечить успешное тиражирование соответствующих аппаратнопрограммных средств для широкого применения в других областях техники.
Совокупность полученных теоретических и технических результатов позволяет сделать вывод о том, что в представленной работе решена крупная научно-техническая задача, связанная с развитием нового направления в создании мобильных систем с супервизорным управлением на базе сетевых технологий. При этом создана научная и технологическая база для построения высокоэффективных территориально распределённых информационно-измерительных и управляющих систем мобильных роботов, использующих в контуре управления многокамерные управляемые СТЗ.
Основные положения диссертации опубликованы в следующих работах:
Статьи в периодических изданиях по перечню ВАК 1. Андреев В.П. Опыт построения набора основных алгоритмов для задач анализа зрительной информации / Андреев В.П., Вайнштейн Г.Г., Москвина Е.А. // Вопросы радиоэлектроники, сер. Общетехническая. - 1974. - Вып.14. - С.114 - 125.
2. Андреев В.П. О выделении трехмерного объекта в сложном изображении / Андреев В.П., Вайнштейн Г.Г., Москвина Е.А. // Вопросы радиоэлектроники, сер.
Общетехническая. - 1975. - Вып.8. - С.62 - 69.
3. Анализ изображений трехмерных сцен по их текстурным свойствам / Андреев В.П., Вайнштейн Г.Г., Еги М.Г., Завалишин Н.В., Мучник И.Б., Шейнин Р.Л. //.
"Автоматика и телемеханика". - 1976. - №1. С.164 - 173.
4. Андреев В.П. Устройство для ввода телевизионного изображения в электронную вычислительную машину / Андреев В.П., Вайнштейн Г.Г. // Приборы и техника эксперимента, 1979. - №5. - С.106-109.
5. Андреев В.П. Особенности использования ассиметричных VLAN для построения структурированной локальной вычислительной сети / Андреев В.П., Врублевский В.В. // Информационно-измерительные и управляющие системы. - М.: Изд-во "Радиотехника", 2009. - Т.7, №6. - С.109 - 113.
6. Построение системы технического зрения мобильного робота с использованием беспроводной технологии Wi-Fi/Андреев В.П., Кирсанов К.Б., Прысев Е.А., Пронкин В.Ю., Пряничников В.Е., Травушкин А.С.//Информационно-измерительные и управляющие системы. - М.: Изд-во "Радиотехника", 2009. - Т.7, №6. - С.49 - 63.
7. Проблемы построения сети интернет-лабораторий с использованием автономных мобильных учебных роботов "АМУР" / Андреев В.П., Денисов В.И., Кирсанов К.Б., Кувшинов С.В., Левинский Б.М., Пряничников В.Е. // Информационно-измерительные и управляющие системы. - М.: Изд-во "Радиотехника", 2009. - Т.7, №6. - С.124 - 131.
8. Создание класса электронных тренажёров на основе быстродействующей локальной вычислительной сети / Андреев В.П., Кирсанов К.Б., Левинский Б.М. [и др.] // Информационно-измерительные и управляющие системы. - М.: Изд-во "Радиотехника", 2009. - Т.7, №6. - С.82 - 92.
9. Андреев В.П. Адаптивный метод коррекции видеосигнала для систем технического зрения со сканирующей линейкой фотодатчиков / Андреев В.П. // Информационно-измерительные и управляющие системы. - М.: Изд-во "Радиотехника", 2011. - Т.9, №9. - С.77 - 84.
10. Андреев В.П. Метод отслеживания подвижного изображения по видеосигналу сканирующей фотоприёмной линейки в тепловизионных системах контроля продукции / Андреев В.П. // Вестник МГТУ Станкин, 2011. - Т.2, №4. - C.38 - 42.
11. Андреев В.П. Система технического зрения с круговым обзором для мобильного робота / Андреев В.П. // Мехатроника, Автоматизация, Управление, 2011. - №6. - С.8 - 14.
12. Андреев В.П. Система технического зрения, использующая свойства зрения человека для борьбы с геометрическим шумом / Андреев В.П. // Информационноизмерительные и управляющие системы. - М.: Изд-во "Радиотехника", 2011. - Т.9, №9. - C.50 - 55.
13. Андреев В.П. Спецпроцессор для системы технического зрения со сканирующей линейкой фотодатчиков, выполняющий адаптивную коррекцию видеосигнала / Андреев В.П. // Приборы, 2011. - №4. - С.33 - 40.
14. Мобильные технологические роботы: система сжатого описания и анализа цветных изображений в реальном масштабе времени / Пряничников В.Е., Андреев В.П. Ивченко В.Д. [и др.] // Информационно-измерительные и управляющие системы. М.: Радиотехника. - 2011. - Т.9, №9. - С.56 - 62.
15. Технологии модернизации и очувствления мобильных роботов специального назначения / Пряничников В.Е., Андреев В.П., Кирсанов К.Б. [и др.] // Известия Южного Федерального университета. Технические науки. ISSN 1999-9429. - Таганрог: 2011. - №3. - С.166 - 171.
Авторские свидетельства СССР, патенты РФ 16. А.С. СССР SU №1282106 A1 от 24.12.1984 по заявке 3828829. Устройство для ввода информации / Андреев В.П., Соколов С.М.
17. Свидетельство об официальной регистрации программы для ЭВМ № 990510. - РОСПАТЕНТ, г.Москва, 16 июля 1999г. Комплексная система спасения базы данных на дисках серверов (УServSaveФ) / Андреев В.П., Заев С.Н. - 1999.
Статьи в изданиях, включенных в систему цитирования Web of Science (Conference Proceedings Citation Index of Thomson Reuters) 18. Intelligent head design for local navigation and distributed control of mobile robots with ultrasonic and TV sensors / Andreev V., Kirsanov K., Kuvshinov S. [et al.] // Annals of DAAAM for 2007&Proc. of the 18th Intern. DAAAM Symp. УIntelligent Manufacturing & AutomationФ, ISSN 1726-9679, Zadar, Croatia 2007. - P.615 - 6(золотая медаль - лучшая работа года).
19. Pryanichnikov V. Computer vision and control for special mobile robots / Pryanichnikov V., Andreev V., Prysev E. // Annals of DAAAM for 2009&Proc. of the 20th Intern. DAAAM Symp. УIntelligent Manufacturing & AutomationФ 25-28th Nov., 2009, Vienna, Austria. ISSN 1726-9679. 2009. - P.1857 - 1858.
20. Andreev V. Multi-access control of distributed mobile robotic systems on the base of networking technologies / Andreev V., Pryanichnikov V., Prysev E. // Annals of DAAAM for 2010&Proc. of the 21st Intern. DAAAM Symp. УIntelligent Manufacturing & AutomationФ 20-23rd October 2010 Zadar, Croatia. ISSN 1726-9679. 2010. - P.15 - 16.
21. Andreev V. Video Signal Correction for Scanning Photocell Array in the IR-Computer Vision Systems / Andreev V. // Annals of DAAAM for 2010&Proc. of the 21st Intern.
DAAAM Symp. УIntelligent Manufacturing & AutomationФ 20-23rd October 2010 Zadar, Croatia. ISSN 1726-9679. 2010. - P.17 - 18.
22. Adaptive environment for developing and programming of mobile robots / Pryanichnikov V., Andreev V., Ivchenko V. [et al.] // Annals of DAAAM for 2011&Proc.
of the 22th Intern. DAAAM Symp. УIntelligent Manufacturing & AutomationУ 23-26th Nov., 2011, ISSN 1726-9679, Vienna, Austria 2011. - V.22, No 1. - P.609 - 610.
23. Andreev V. Operation environment of mobile robots with supervision control / Andreev V., Pryanichnikov V. // Annals of DAAAM for 2011&Proc. of the 22th Intern.
DAAAM Symp. УIntelligent Manufacturing & AutomationФ 23-26th Nov. 2011 Vienna, Austria, ISSN 1726-9679, 2011. - V.22, No 1. - P.21 - 22.
Монографии 24. Эксперименты с машинным зрением: монография / Андреев В.П., Белов Д.А., Вайнштейн Г.Г., Москвина Е.А. - М.: Наука, 1987. - 128с.
Доклады, опубликованные на международных конференциях 25. Концепция программного обеспечения управления интеллектуальных мобильных роботов / Кирсанов К.Б., Левинский Б.М., Пряничников В.Е., Андреев В.П. // Труды ХIX науч.-техн. конф. с междунар. участием: Экстремальная робототехника:. - СПб.: Изд-во Политехн. Ун-та, 2008.Ц С.257 - 265.
26. Распределенная система IAR и ее применения для симуляции, моделирования гусеничных и шагающих роботов, навигационных, управляющих систем с дистанционными сенсорами / Андреев В.П., Кирсанов К.Б., Кий К.И. [и др.] // Труды междунар. научно-технич. конгресса Мехатроника и робототехника МиР2007. - СПб.: Изд-во Политехнического ун-та, 2008. - С.211 - 215.
27. Система технического зрения для супервизорного управления роботизированных средств, построенная с использованием беспроводной технологии Wi-Fi / Андреев В.П., Кирсанов К.Б., Пронкин В.Ю. [и др.] // Материалы XX Междунар. научно-технич. конф.: Экстремальная робототехника. Нано- микро- и макророботы (ЭР-2009). - Таганрог: Изд-во ТТИ ЮФУ, 2009. - С.364 - 368.
28. Algorithms of Mobile Robots with Remote Sensors / Pranichnikov V., Andreev V., Kirsanov K. [et al.] // Extreme robotics. Nano- micro- and macrorobots (ER-2009). Proc. of XX Intern. Scientific-and-Technological Conf. - Taganrog: TTI SFEDU, 2009.ЦP.216Ц219.
29. Андреев В.П. Коррекция искажений видеосигнала для систем технического зрения, использующих сканирующую линейку фотодатчиков с большим разбросом параметров /Андреев В.П. //Труды XXI Междунар. научно-технич. конф.:
Экстремальная робототехника. - СПб.: Изд-во Политехника-сервис, 2010. - С.418 - 427.
30. Андреев В.П. Групповое управление мобильных роботов средствами Ethernetтехнологий / Андреев В.П., Пряничников В.Е., Прысев Е.А. // Труды XXI Междунар. научно-технич. конф.: Экстремальная робототехника. - СПб.: Изд-во Политехника-сервис, 2010. - С.427 - 430.
31. Пряничников В.Е. Интеллектуализация специальных мобильных роботов, включая обеспечение возврата в зону устойчивого радиоприёма / Пряничников В.Е., Андреев В.П. // Мехатроника и робототехника (МиР-2010): Итоговый сборник статей. - СПб.: Изд-во Политехника-сервис, 2010. - С.104 - 107.
32. Андреев В.П. Исследование эффективности метода стабилизации изображения для сканирующих систем технического зрения, использующих линейку фотодатчиков с большим разбросом параметров / Андреев В.П., Умнов А.В. // Труды Междунар. научно-технич. конф.: Экстремальная робототехника (ЭР-2011). - СПб.: Изд-во Политехника-сервис, 2011. - С.376 - 381.
Доклады и труды, опубликованные в российских изданиях 33. Зрительный модуль для робототехнических комплексов и гибких производственных систем / Александров Е.И., Андреев В.П., Жданов А.А., Соколов С.М. // В кн: Всесоюз. научно-технич. конф. УАгрегатно-модульное построение техникиФ. Тез. докл. - Иркутск: Ир.ЦНТИ, 1987. - С.38 - 41.
34. Андреев В.П. Система технического зрения для анализа сложных трехмерных сцен. Искусственный интеллект: Справочник: В 3 кн. Кн.1: Системы общения и экспертные системы: под ред. Э.В.Попова / Андреев В.П. - М.: Радио и связь, 1990.
Ц Кн.1. - С. 184 - 190.
35. Мобильный робот "КРОНУС" / Безоян М.Г., Беляев А.С., Горбушина О.А., Соколова А.А., Андреев В.П., Буданов В.М., Девянин Е.А. // Мобильные роботы и мехатронные системы: Материалы научной школы-конференции (Москва, 5-декабря 2000г.). - М.: Изд-во Моск. ун-та, 2000. - С.68 - 88.
36. Андреев В.П. Анализ телевизионных изображений в системе технического зрения робота "Кронус" / Андреев В.П., Трушкин Ф.А. // Мобильные роботы и мехатронные системы: Материалы научной школы-конференции (Москва, 3-декабря 2001г.). - М.: Изд-во Моск. ун-та, 2001. - С.42 - 53.
37. Разработка системы управления и навигации мобильного робота с ультразвуковым и ТВ-сенсорами / Пряничников В.Е., Андреев В.П., Баранов И.А. [и др.] // Экстремальная робототехника: Материалы ХVIII науч.-техн. конф. - СПб.:
СПбГТУ. - 2007. - С.36 - 39.
38. Концепция построения программного обеспечения управления интеллектуальных мобильных роботов / Андреев В.П., Кирсанов К.Б., Левинский Б.М., Пряничников В.Е. // Материалы ХIX научно-технич. конф. Экстремальная робототехника. - СПб.: СПбГТУ. - 2008. - С.96 - 97.
39. Андреев В.П. Коррекция геометрического шума в СТЗ со сканирующей линейкой фотодатчиков методом отслеживания строк подвижного изображения / Андреев В.П. // Техническое зрение в системах управления - 2011. Тезисы докладов научно-технич. конф. (15 - 17 марта 2011г.). - М.: ИКИ РАН, 2011. - С.37 - 39.
40. Андреев В.П. Системы технического зрения мобильных роботов с супервизорным сетевым управлением / Андреев В.П., Пряничников В.Е. // Техническое зрение в системах управления - 2011. Тез. докладов научно-технич.
конф. (15 - 17 марта 2011г.). - М.: ИКИ РАН, 2011. - С.26 - 27.
Отчеты по научно-исследовательским работам 41. Андреев В.П. Разработка безэталонного метода фильтрации геометрического шума линейных фотоприемников и оценка его эффективности посредством моделирования на ЭВМ: Научно-технический отчет, шифр Кворум / Андреев В.П., Лебедев Д.Г. - М.: ИППИ АН СССР, 1986. - 30с.
42. Андреев В.П. Требования к построению измерительных систем технического зрения: отчёт по договору с Московским городским центром информатики ГКВТИ СССР от 05.05.1989 / Андреев В.П. - М.: Ин-т проблем передачи информации АН СССР, 1989. - 38с.
43. Андреев В.П. Разработка метода фильтрации геометрического шума линейного фотоприёмника, основанного на статистической обработке видеосигнала: Научнотехнический отчёт по хоз.дог. №28/92 от 01.10.1992. / Андреев В.П., Лебедев Д.Г. - М.: Ин-т проблем передачи информации АН СССР, 1992г. - 32с.
44. Опытный образец учебно-тренировочного класса для подготовки операторов подвижных аппаратов: Отчет по ОКР / Андреев В.П., Травушкин А.С., Орлянский Д.Л., Пряничников В.Е., Левинский Б.М., Кирсанов К.Б. - М.: Московский филиал ФГУП АТЦ МИНАТОМА РОССИИ ИТУЦР - ООО ТехИнвест, 2007. - 75 с.
Авторефераты по всем темам >>
Авторефераты по техническим специальностям