Козулин Ю.А., Белкин М.С. Анализ качества стереореконструкции модельной облачной сцены

Научная статья

Электронный журнал ИССЛЕДОВАНО В РОССИИ 1556а Козулин Ю. А. fmaksar79@mailru.com), Белкин М. С. ООО Астроинформ СПЕ

Введение

Одним из видов обработки, интерпретации и анализа данных дистанционного зондирования Земли является стереореконструкция или восстановление трехмерного рельефа исследуемой сцены по совокупности двух или более стереоснимков.

В основе любой системы стереореконструкции лежит некоторый метод установления соответствия между точками или фрагментами двух изображений стереопары, отвечающим одним и тем же элементам сцены. В результате сравнения соответствующих (сопряженных) пар мы получаем так называемое поле диспаратности - смещений точек на изображениях, связанных с рельефом сцены. Поле диспаратности с учетом геометрии съемки используется для восстановления трехмерной сцены. Под геометрией съемки понимают расположение и ориентацию камер, используемых для получения стереопары. Также при восстановлении используются геодезические параметры исследуемой сцены, условия съемки и характеристики регистрирующей аппаратуры.

В традиционных задачах стереореконструкции, имеющих дело с восстановлением статичного рельефа местности (построение топографических карт, цифровых моделей рельефа), облачность является помехой. Однако существуют задачи, где образования облачного типа (тропические циклоны, облачные фронты, шлейфы вулканических извержений, пожаров и т.д.) являются объектом изучения и необходимо получать данные об их трехмерных динамических характеристиках. Например, восстановление трехмерных полей скорости ведущих и конвективных потоков, связанных с тропическими циклонами, существенно для прогноза их развития.

Задача трехмерной реконструкции облачной сцены имеет ряд особенностей, требующих специфических методов решения. Это связано в первую очередь с диффузным, слабоконтрастным характером текстуры облачности, а так же с разрывностью (фрактальностью) рельефа облачной сцены. Кроме того, такого типа сцена достаточно динамична и, строго говоря, требует синхронной стереосъемки. Таким образом, задачи синхронного стереомониторинга облачных структур нуждаются в разработке новых средств 3D реконструкции и формулировке требований к системам стереосъемки на базе оценки их потенциальных возможностей. Данная статья посвящена анализу качества стереореконструкции облачной модельной сцены при различных параметрах геометрии наблюдения.

Электронный журнал ИССЛЕДОВАНО В РОССИИ 1557 Работа имела целью исследование зависимости качества восстановления облачной модельной сцены по стереопарам, полученным при модельной съемке серии изображений для разных положений наблюдателя, определяемых наклонной дальностью и ракурсами съемки.

Решение поставленной задачи состояло из следующих этапов:

Разработан алгоритм стереореконструкции облачных полей.
Сформирован набор стереопар на основе набора исходных изображений, полученных при различных ракурсах наблюдения.
Выделены параметры качества восстановления облачной сцены - точность и полнота восстановления облачной сцены. Под точностью восстановления понимается мера сходства восстановленной поверхности и реальной карты высот сцены. Под полнотой восстановления сцены понимается доля успешно восстановленной поверхности сцены.
Алгоритм обработки реализован в виде программных модулей, написанных на языке IDL (Interactive Data Language). IDL - это среда программирования, ориентированная на обработку массивов, и содержащая богатую библиотеку процедур математического анализа и визуализации данных. Пакет специально предназначен для инженерных и научных расчетов.
Произведен анализ полученных результатов.

Исходные данные

В качестве рабочего материала используются данные моделирования облачной синтетической сцены {Synthetic Clouds Scene), предоставленные американскими коллегами. Эта облачная сцена создана с помощью программного пакета CloudScapeо [1]. Исходные данные состоят из набора изображений модельной сцены облачного поля и карты высот верхней границы облачности модельного поля. Изображения сцены получены при наблюдении камерами спутников Lead и Trail под предварительно заданными зенитными углами. Наличие карты модельной сцены и изображений модельной облачности, полученных при известных параметрах геометрии съемки, предоставляет уникальную возможность для определения точности и полноты восстановления сцены в зависимости от зенитных углов наблюдения.

Для реконструкции сцены формируются стереопары на основе изображений модельной облачности. Геометрия съемки облачной сцены представлена на рис. 1. Орбита спутников Lead и Trail круговая. Земля в модели облачной сцены предполагается имеющей форму сферы. Высота орбиты спутников - 500.0 км. Модельная облачность представляет собой кучево-дождевые облака - тип Cumulonimbus (СЪ) по международной классификации облачности. Облачное поле расположено на высотах от 4.5 до 9.5 км. Точка пересечения оптических осей двух объективов находится на высоте 7.0 км над поверхностью Земли. Размер исходных изображений стереопар и карты высот верхней границы облачности: 1024 на 1024 пикселя. Поле зрения камер спутников Lead и Trail составляет 2.0 на 2.0 градуса. Пространственное разрешение карты высот - 25 м.

Электронный журнал ИССЛЕДОВАНО В РОССИИ 1558а

Рис. 1. Геометрия съемки

Далее будем считать, что зенитные углы, отсчитываемые против часовой стрелки, отрицательные, а зенитные углы, отсчитываемые по часовой стрелке, положительные. Введем понятие лугловой базы: под угловой базой будем понимать угол ав, равный разности (аь - ат) с учетом знаков углов. Для несимметричного случая съемки введем угол асимметрии ад равный (ат + ocl)/2.

Расчетные варианты и основные этапы обработки

Введем единую прямоугольную систему координат с началом, расположенным в точке 0С1 пересечения оптических осей объективов камер. Ось Z направлена вверх от поверхности Земли. Ось X направлена в направлении движения спутников (от Trail к Lead) параллельно касательной к точке 00Гь (см. рис. 1). Ось Y дополняет систему координат до правой. Данная система координат используется при вычислении поля высот облачности относительно горизонтальной плоскости, проходящей через точку Ось Окончательно поле высот пересчитывается относительно горизонтальной плоскости, проходящей через точку Ogr, т.е. относительно поверхности Земли.

Расчетный вариант №1 (Симметричный случай): Производится обработка стереопар для зенитных углов |ат|=|ось|: 1, 2, 3, 5, 7, 10 и 15 градусов.

Расчетный вариант №2 (Несимметричный случай): Производится обработка стереопар с угловой базой ав, равной 2, 3, 4 и 5 градусов.

Для восстановления поля высот облачности исходные изображения каждой стереопарыаа былиаа предварительноаа пересчитаныаа ваа единуюаа прямоугольнуюаа систему

Электронный журнал ИССЛЕДОВАНО В РОССИИ 1559а Если предположить, что две камеры жестко связаны между собой так, что их оптические оси параллельны и отстоят друг от друга на некоторое фиксированное расстояние, то восстановление сцены не составляет труда. Однако в реальности две камеры, с помощью которых получают стереопару, нельзя выставить идеальным образом. В самом деле, две камеры необходимо располагать таким образом, чтобы в их поле зрения попадали одни и те же элементы сцены, и оптические оси камер сходились друг к другу в области расположения элементов сцены.

Рис. 2. Приведение изображений к эпиполярной стереопаре

В геометрии съемки процесс взаимного положения и ориентации камер относят к задаче относительной ориентации, которая позволяет получить преобразование, связывающее два различных положения фиксированной относительно камеры системы координат сцены в различные моменты съемки. Иногда же возникает необходимость связать пространственные координаты, полученные при помощи стереопары, с координатами, измеренными в другой системе. Эту проблему относят к задаче абсолютной ориентации. Рис. 2 иллюстрирует некоторые особенности относительной ориентации в задачах стереореконструкции и понятие об эпиполярных линиях. Если нам известна относительная ориентация камер, то мы можем вычислить положение точки по ее известным координатам на левом и правом изображениях. На рис. 2 точка Р является элементом исследуемой сцены, Pl и Pr - ее отображениями на левом и правом изображениях, Sl и Sr - центы линз левой и правой камер. (Прямая линия, соединяющая центры объективов, называется стереобазой). Положение правой камеры отображается в точку Sl* на левом изображении, а так называемая точка схода для луча от правой камеры к элементу поверхности лежит в точке Cl*. Точки Sl*, Pl и Cl* лежат на одной прямой, которая образуется пересечением плоскости изображения с плоскостью, содержащей точки Р, Sl, Sr. Аналогичная прямая получается и для правого изображения. Обе эти линии называют эпиполярными линиями. Объект, изображенный на эпиполярной линии на левом снимке, на правом должен изображаться также на эпиполярной линии, если он вообще присутствует на правом снимке. В процессе стереореконструкции для эффективногоа восстановленияа применяюта преобразования,аа приводящиеа стереопаруаа к

Электронный журнал ИССЛЕДОВАНО В РОССИИ 1560а Таким образом, в результате приведения обрабатываемых изображений к эпиполярной стереопаре эпиполярные линии трансформированных изображений параллельны оси X (см. рис. 1) и диспаратность проявляется только вдоль этой оси.

Для установления соответствующих (сопряженных) точек, полученные трансформированные изображения, были обработаны при помощи корреляционного алгоритма. В корреляционном алгоритме производится сопоставление прямоугольных яркостных площадок изображений по величине нормированного взаимного коэффициента корреляции данных площадок [2][3]. Коэффициент корреляции выражает меру сходства сравниваемых площадок.

Если дана площадка на одном изображении, мы вычисляем для нее корреляцию со всем площадками, лежащими вдоль отрезка (области поиска) соответствующей эпиполярной линии. Размер области поиска вычисляется из геометрии съемки. Нормированная взаимная корреляция имеет максимальную величину, равную единице, тогда и только тогда, когда площадки изображений точно совпадают. В алгоритме площадки считаются сопряженными, если коэффициент корреляции превышает порог 0.9. Дискретность привязки площадок составляет 1 пиксель. В таблице 1 приведены параметры корреляционного алгоритма для симметричного случая.

Таблица 1

Зенитный угол ( а-г = аь ),	1	2	3	5	7	10	15
Размер области поиска по X, пике.	11	21	31	53	73	103	153
Размер площадки, пике. X пике.	15x15	15x15	15x15	15x15	15x15	25x25	25x25

Для всех полученных пар сопряженных точек был проведен расчет поля диспаратности. В качестве опорного кадра для всего набора стереопар был взят Lead-кадр. При восстановлении сцены исходное разрешение карты высот приводится к разрешению изображений путем интерполяции.

На основе данных геометрии съемки и полей диспаратности по X и Y были определены истинные положения сопряженных точек X и Y и высоты Z фрагментов облачного поля, отображенных в виде сопряженных пар точек в стереопарах. Данные высоты получены относительно точки пересечения линий визирования 7.0 км, поэтому полученное поле Z пересчитывается в высоты относительно поверхности Земли.

Электронный журнал ИССЛЕДОВАНО В РОССИИ 1561а Симметричный случай

Средняя высота и среднеквадратичное отклонение высоты облачной сцены по исходной карте высот составляют 7468 м и 1573 м соответственно. В таблице 2 приведены средние высоты и среднеквадратичные отклонения высоты облачности для восстановленной модельной сцены и для точек карты высот, соответствующих найденным сопряженным точкам.

Таблица 2

Геометрия съемки
Зенитный угол (\|ост\| = \|ocl\|),	1	2	3	5	7	10	15
Угловая база осв,	2	4	6	10	14	20	30
Восстановленное поле высот
Средняя высота, м	7808	7854	7874	7913	7906	7977	7998
Среднекв. отклонение, м	616	582	555	526	538	466	477
Карта высот по массиЕ	iy точек восстановленных фрагментов облачности
Средняя высота, м	7802	7809	7829	7875	7867	7940	7970
Среднекв. отклонение, м	648	644	619	586	604	552	555

На рисунке 3 приведено восстановленное поле высот модельной облачности (зенитный угол наблюдения (|ост|, |ocl|) 3 градуса) в сравнении с реальной картой высот, приведенной на рисунке 4. Градации серых тонов на изображениях соответствуют высоте. Для каждого из изображений на рисунке приведена шкала соответствия оттенка высоте.

Из анализа работы вычислительного алгоритма следует, что основной вклад в погрешности восстановления вносят ошибки интерполяции данных, ошибки корреляционного алгоритма и ошибки, обусловленные дискретизацией данных. В частности, ошибки, обусловленные дискретностью поля диспаратности, для зенитного угла 3 градуса (симметричный случай) приводят к неточности определения высоты порядка 100 м.

В качестве основных параметров качества восстановления сцены используются: доля восстановленной поверхности, среднее значение разности высот, среднеквадратичное отклонение (СКО) разности высот. Доля восстановленной поверхности (отношение количества восстановленных пикселей к количеству обрабатываемых пикселей) характеризует полноту восстановления сцены. При данном пороге корреляции доля восстановленной поверхности по площади при зенитном угле до 15 градусов для обеих камер превышает 40%.Среднеквадратичное отклонение разности поля и карты высот -точность восстановления. В результате обработки восстановленной поверхности

Электронный журнал ИССЛЕДОВАНО В РОССИИ 1562а

Рис. 3. Восстановленное поле высот облачной сцены

Из полученных угловых зависимостей (доля восстановленной поверхности, среднеквадратичное отклонение разности высот и средняя разность высот) можно заключить следующее: при задании исходных требований к полноте восстановления и точности результатов обработки возможно определение необходимых зенитных углов съемки.

Электронный журнал ИССЛЕДОВАНО В РОССИИ 1563а

8 . 3а km

2.2km

1.7аа km

1.1аа km

0 . &km

0 . 0а km

Рис. 4. Реальная карта высот облачной сцены

жПлощадь восстановленной поверхности, кмл2 жПлощадь обрабатываемой поверхности, кмЛ2

350

0аа 2аа 4аа 6аа 8аа 10 12 14 16 18 20 22 24 26 28 30 32 Угловая база, град.

Рис. 5. Площадь обрабатываемой и восстановленной поверхности (симметричный случай)

Электронный журнал ИССЛЕДОВАНО В РОССИИ 1564

н" 75

5аа ' о

?аа 70

со

саа RS

X (0

^ ЯП

О СО

II О

0 2 4аа 6 8аа 10 12 14 16 18 20 22 24 26 28 30 32 Угловая база, град.

Рис. 6. Доля восстановленной поверхности (симметричный случай)

0 2 4аа 6 8аа 10 12 14 16 18 20 22 24 26 28 30 32 Угловая база, град.

Рис. 7. Средняя разность высот (симметричный случай)

Электронный журнал ИССЛЕДОВАНО В РОССИИ 1565а

380 -,

370 -

360 -

350 -5 340 -8 330 -m 320 -Ьа 310

5 зоо -

га

? 290-

Оа 280-

270 -

260 -

250 -

240 -

0аа 2аа 4аа 6аа 8аа 10 12 14 16 18 20 22 24 26 28 30 32

Угловая база, град.

Рис. 8. СКО разности высот (симметричный случай)

Несимметричный случай

Симметричный случай является частным случаем геометрии съемки, в реальности зенитные углы съемки переменны и различны. Поэтому определение допустимых пределов изменения зенитных углов наблюдения Lead и Trail камер можно рассматривать как отдельную задачу с учетом требований по точности и полноте восстановления облачного поля.

Для определения допустимого диапазона изменения зенитных углов построены зависимости доли восстановленной поверхности и среднеквадратичного отклонения разности высот от введенного ранее угла асимметрии (см. рис. 9, 10). Из полученных угловых зависимостей следует, что в рассматриваемом диапазоне зенитных углов от -15 до +15 градусов среднеквадратичное отклонение не играет определяющей роли при выборе зенитных углов наблюдения. Кривая доли восстановленной поверхности имеет слабо выраженный максимум для симметричного случая съемки, однако величина этого максимума ослабевает с ростом угловой базы. Асимметрия кривых для угловой базы 3 и 5 градусов связана с отсутствием экспериментальных точек вследствие ограниченности набора исходных изображений.

Выводы

При реконструкции модельной сцены облачного поля были рассмотрены изображения, полученные для зенитных углов |ост| и |ocl|: 1, 2, 3, 5, 7, 10 и 15 градусов. На основе изображений сформированы стереопары. Восстановление сцены проведено путем приведения изображений к эпиполярным стереопарам и обработки корреляционным алгоритмом с последующим вычислением поля высот по известной геометрии съемки.

Электронный журнал ИССЛЕДОВАНО В РОССИИ 1566а Для симметричного случая на основе этих зависимостей возможно определение необходимых зенитных углов при задании точности и полноты восстановления сцены. Для несимметричного случая следует, что в рассматриваемом диапазоне зенитных углов от -15 до +15 градусов выбор угла определяется необходимой долей восстанавливаемой поверхности сцены. Из рассмотрения полученных зависимостей следует, что желательно проводит стереосъемку при зенитных углах, близких к симметричному случаю геометрии съемки с угловой базой 10-20 градусов.

Угловая база 2 градуса
Угловая база 4 градуса

Угловая база 3 градуса
Угловая база 5 градусов

i!зз

-3-2-10аа 1 2аа 3 Угол асимметрии, град.

Рис. 9. Доля восстановленной поверхности как функция угла асимметрии

Электронный журнал ИССЛЕДОВАНО В РОССИИ 1567

Угловая база 2 градуса

Угловая база 4 градуса

Угловая база 3 градуса
Угловая база 5 градусов

440

-4-3-2-10аа 1 2аа 3аа 4 Угол асимметрии, град.

Рис. 10. СКО разности высот как функция угла асимметрии

итература:

Б.К.П. Хорн, Зрение роботов, М.: Москва, 1989

У. Прэтт, Цифровая обработка изображений, М.:Мир, 1982

Методыаа компьютернойаа обработкиаа изображений,аа подаа ред.аа В.А.аа Сойфера, М.:Физматлит, 2001

Все научные статьи

Blog

Козулин Ю.А., Белкин М.С. Анализ качества стереореконструкции модельной облачной сцены