На правах рукописи

КУДРЯШОВ Алексей Павлович ПОСТРОЕНИЕ ПРОСТРАНСТВЕННОЙ МОДЕЛИ ГОРОДСКОЙ ОБСТАНОВКИ ПО ОГРАНИЧЕННОЙ НЕКАЛИБРОВАННОЙ ПОСЛЕДОВАТЕЛЬНОСТИ ФОТОИЗОБРАЖЕНИЙ 05.13.11 - Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Владивосток - 2009

Работа выполнена в Учреждении Российской академии наук Институте автоматики и процессов управления ДВО РАН

Научный консультант: доктор технических наук Бобков Валерий Александрович

Официальные оппоненты: доктор физико-математических наук Мацокин Александр Михайлович кандидат технических наук Долговесов Борис Степанович

Ведущая организация: Институт прикладной математики РАН им. М.В. Келдыша

Защита состоится У22Ф декабря 2009 года в 15 часов на заседании диссертационного совета Д 003.061.02 при Институте вычислительной математики и математической геофизики СО РАН по адресу: 630090, г.

Новосибирск, проспект Академика Лаврентьева, 6.

С диссертацией можно ознакомится в библиотеке Учреждения Российской академии наук Института вычислительной математики и математической геофизики Сибирского отделения РАН.

Автореферат разослан л19 ноября 2009 г.

Ученый секретарь диссертационного совета Д 003.061.02 С.Б. Сорокин при ИВМиМГ СО РАН, д.ф.-м.н.

Общая характеристика работы

Актуальность работы Создание трехмерных моделей реальных объектов и сцен по последовательности фотоизображений или видеоинформации и, в частности, разработка систем с использованием простых и доступных технических средств, таких как цифровые фотоаппараты и видеокамеры, без привлечения сложной и дорогостоящей техники (лазерные дальномеры, системы GPS и INS) является на сегодняшний день актуальной проблемой компьютерной графики и компьютерного зрения. Одной из практически важных задач, которую можно решить с помощью таких систем, является трехмерная реконструкция объектов городской обстановки и создание виртуальной городской среды. Полученные трехмерные модели могут быть использованы для визуальной ориентации в городе (в том числе, такими структурами как МЧС и МВД), для градостроительства при эскизном проектировании новых архитектурных объектов в существующей застройке и т.д.

При создании подобных систем трехмерной реконструкции необходимо решать несколько взаимосвязанных задач, основными из которых являются: задача калибровки исходных изображений (вычисление внутренних и внешних параметров камеры); задача сопоставления точечных и линейных особенностей на исходных и векторизованных изображениях и, наконец, собственно реконструкция сцены с построением трехмерного, полигонального, текстурированного представления сцены с возможностью просмотра и редактирования 3D модели в распространенных графических редакторах.

На сегодня известны реализованные программные системы, в том числе и коммерческие, такие как, например, ImageModeler, PhotoModeler, ImageSculpturer и др. Достоинством первых двух систем является их универсальность, но для узкоспециализированных задач, примером которых является реконструкция объектов городской застройки, она же является и недостатком, поскольку в этих программах отсутствуют необходимые методы фильтрации и оптимизации полученной трехмерной модели.

Принципиальным недостатком таких систем является ручное выделению и сопоставление вершин и ребер объектов на фотоизображениях. Метод калибровки изображений в этих системах использует снимки специальной калибровочной таблицы, что усложняет работу пользователей системы.

Программа ImageSculpturer предполагает съемку объектов под определенными углами, что ограничивает применение системы при реконструкции крупномасштабных объектов. Поскольку объектами реконструкции в различных областях приложений могут выступать абсолютно разные предметы, такие как археологические находки, здания, рельеф местности, объекты живой природы и т.д., создание универсальной системы затруднительно. Поэтому для конкретных приложений целесообразна разработка специализированных систем, эффективность которых повышалась бы за счет учета специфики приложения. В задаче реконструкции объектов городской обстановки в качестве такой специфики используются ограничения, присущие основным архитектурным объектам - ортогональность и параллельность образующих линий.

К настоящему времени уже достигнут значительный прогресс в решении указанной задачи и разработке прикладных программных систем.

Вклад в теорию и практику создания систем реконструкции трехмерных сцен с использованием как фото- или видеоизображений, так и дополнительного оборудования связан с именами M. Pollefeys, A. Zisserman, A. Akbarzadeh, R.

Yang, P. Debevec и многих других. Существенные результаты в данной области получены в отечественных работах, выполненных в Институте прикладной математики РАН, Московском государственном университете, Московском физико-техническом институте и в др. организациях. Вместе с тем, существующие методы, алгоритмы и их программные реализации не в полной мере удовлетворяют основным требованиям, диктуемым практикой применения таких систем. К этим требованиям относятся: устойчивость к шумам и ошибкам измерений; геометрическая точность и качество визуализации создаваемых 3D моделей; степень автоматизации в процессе реконструкции и скорость обработки данных. Поэтому необходимы дальнейшие исследования, направленные на повышение эффективности разрабатываемых систем в рассматриваемой области.

Изложенные обстоятельства свидетельствуют об актуальности проблемы создания методов, алгоритмов и программных средств для трехмерной реконструкции объектов и сцен городской обстановки с использованием протяженных последовательностей фотоизображений.

Цель работы.

Целью диссертационной работы является разработка и исследование эффективных методов, алгоритмов и программных средств для построения трехмерных компьютерных моделей сцен городской обстановки по некалиброванной последовательности изображений.

Для достижения указанной цели решаются следующие задачи:

Х анализ существующих подходов, методов и алгоритмов построения трехмерных моделей сцен городской обстановки и определение требований к создаваемой технологии.

Х разработка метода отслеживания точечных особенностей на последовательности фотоизображений высокого разрешения.

Х разработка методики и алгоритмов калибровки последовательности фотоизображений.

Х разработка алгоритмов сопоставления отрезков на калиброванных, векторизованных изображениях.

Х разработка алгоритмов построения 3D моделей объектов реальных городских сцен по набору фотоизображений и их программная реализация.

Х разработка модели цифрового представления реконструируемых трехмерных объектов и средств конвертации данных в другие программные среды.

Х разработка средств визуализации и редактирования получаемых трехмерных объектов.

Х Программная реализация предложенных алгоритмов и методов.

Методы исследования.

При выполнении диссертации использовались методы компьютерного зрения, обработки изображений, компьютерной графики, векторной алгебры, оптимизации и теории вероятности.

Научная новизна работы 1. Предложена технология построения пространственных полигональных моделей объектов городской обстановки по некалиброванным фотоизображениям, обеспечивающая автоматическую обработку данных на этапах векторизации и калибровки изображений, сопоставления особенностей на видах и 3D реконструкции объектов.

2. Разработана новая методика и поддерживающие ее алгоритмы калибровки изображений, основанные на использовании вычисления точек схода (vanishing point), RANSAC-метода, методов нелинейной оптимизации и ограничений эпиполярной геометрии. Проведен анализ эффективности методики на реальных данных.

3. Разработан новый алгоритм отслеживания точечных особенностей на изображениях высокого разрешения, основанный на сравнении дескрипторов точечных особенностей и обладающий преимуществами в сравнении с аналогами.

4. Разработаны новые алгоритмы сопоставления линий на калиброванных изображениях (видах) с использованием трифокальной геометрии, корреляционного сравнения и преобразований плоской гомографии.

5. Разработан новый алгоритм полигональной реконструкции объектов городской обстановки по последовательности фотоизображений (видов).

Практическая значимость и реализация Разработаны и доведены до практической реализации методы и алгоритмы построения трехмерных сцен и объектов по протяженной последовательности фотоизображений. Программная реализация описываемых в диссертации методов удовлетворяет всем требованиям и ограничениям, сформулированным при постановке задачи. Разработанная автором программная среда для построения полигональных, текстурированных моделей трехмерных объектов по цифровым фотоизображениям обеспечивает автоматическую обработку данных на всех этапах с минимальным интерактивным участием пользователя. Отдельные программные компоненты разработанной программной среды могут использоваться самостоятельно для решения задач векторизации изображений, их калибровки и сопоставления точечных и линейных особенностей на видах. Программные средства в целом могут использоваться в системах виртуальной реальности для реализации режима виртуальной городской прогулки и создания 3D моделей фрагментов городской обстановки по фотоизображениям.

Результаты диссертационной работы использовались в: а) учебном процессе ДВГУ (г. Владивосток); б) в Приморском аэрогеодезическом предприятии (г. Владивосток) для создания 3D моделей городской застройки в интересах МЧС.

Апробация работы и публикации Основные результаты работы докладывались и обсуждались на следующих конференциях и семинарах:

Х на научных семинарах Института автоматики и процессов управления ДВО РАН в 2006 - 2009 гг.;

Х на Дальневосточных математических школах-семинарах им. академика Е.В. Золотова, Россия, Владивосток, 2006, 2008 гг.

Х На 13-ой всероссийской конференции Математические методы распознавания образов, Россия, Санкт-Петербург, 2007.

Х На пятой Дальневосточной научно-практической конференции Использование ГИС-технологий в Приморском крае, 2009.

Основные результаты работы изложены в 9 научных публикациях, в том числе 4 работы в рецензируемых журналах, входящих в Перечень журналов ВАК.

ичный вклад автора.

Все результаты, составляющие основное содержание диссертации, получены автором самостоятельно. В работах [1, 2, 3] автору принадлежат алгоритмы сопоставления особенностей и калибровки и совместная с соавторами программная реализация. В работе [8] автору принадлежат методика и алгоритмы калибровки, алгоритмы сопоставления особенностей и метод реконструкции 3D объектов с его программной реализацией.

Структура и объем работы Диссертация состоит из введения, 4 глав, заключения, списка литературы и приложения. Содержание работы изложено на 147 страницах (включая 7 страниц приложения). Список литературы включает наименования. В работе содержится 92 рисунка и 4 таблицы.

Содержание работы Во введении обосновывается актуальность темы, сформулированы цели и задачи диссертационной работы.

В первой главе дается обзор существующих методов, связанных с задачами калибровки изображений, сопоставления особенностей и трехмерной реконструкции сцен. За последние два десятка лет интенсивного развития области машинного зрения была разработана общая схема построения трехмерных объектов и сцен по изображениям. В самом общем виде она показана на рис. 1.

Получение изображений Калибровка изображений Вычисление трехмерных координат сопоставленных особенностей Построение 3D модели Рис. 1. Общая схема трехмерной реконструкции.

Этап получения изображений подразумевает цифровую фото или видео съемку интересующей сцены, а для модельной сцены - рендеринг в цифровое изображение. Количество изображений может быть разным. Одного снимка для 3D реконструкции недостаточно, хотя и существуют методы, позволяющие получить некое трехмерное представление о сцене с использованием только одного изображения, но с привлечением дополнительной информации. По двум и более фотоснимкам задача восстановление трехмерной модели решается методом триангуляции. При использовании видеосъемки дополнительно учитывается, что разница между соседними кадрами незначительна, что значительно облегчает задачу отслеживание особенностей и восстановления траектории камеры.

Калибровка изображений подразумевает нахождение внешних и внутренних параметров камеры, основными из которых являются фокус, положение и ориентация камеры относительно центра общей системы координат. Калибровка может быть известной, например, в методах с фиксированной стереопарой; частично известной, если, например, известны только внутренние параметры камеры; и полностью не известна, если используются только изображения, без дополнительной информации - это наиболее распространенный случай. Методы калибровки изображений рассмотрены в параграфе 1.1.1 диссертации. Задача нахождения и отслеживания особенностей подробно рассматривается в параграфе 1.1.2. В параграфе 1.1.3 описаны основные методы построения трехмерной модели.

В параграфе 1.2 рассматриваются несколько известных программных продуктов для реконструкции трехмерных объектов.

Вторая глава посвящена методам векторизации и калибровки изображений. Приведены общие понятия эпиполярной геометрии, используемые в алгоритмах калибровки и реконструкции. Представлена методика калибровки фотоизображений городской обстановки по последовательности видов, основанная на преимущественной параллельности / ортогональности линий сцены. Описываемая вычислительная схема охватывает этап автоматической векторизации изображений с отбором калибровочных семейств линий и решение задачи внешней калибровки при известных и неизвестных фокусах используемых камер. Предлагаемый в настоящей работе метод получения калибровки для последовательности фотоизображений, объединяя модификации некоторых известных решений и авторские алгоритмические решения, характеризуется следующим образом: