Авторефераты по всем темам >>
Авторефераты по техническим специальностям
На правах рукописи
Замятин Александр Владимирович
НАУЧНО-МЕТОДИЧЕСКИЕ ОСНОВЫ ПОСТРОЕНИЯ И ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ РЕГИОНАЛЬНОЙ СИСТЕМЫ МОНИТОРИНГА С ИНТЕЛЛЕКТУАЛЬНОЙ ВЫСОКОПРОИЗВОДИТЕЛЬНОЙ ОБРАБОТКОЙ ДАННЫХ
Специальность 05.11.13 - Приборы и методы контроля природной среды, веществ, материалов и изделий А В Т О Р Е Ф Е Р А Т диссертации на соискание ученой степени доктора технических наук
Томск - 2011
Работа выполнена в ФГБОУВПО Национальный исследовательский Томский политехнический университет
Официальные оппоненты: доктор технических наук, профессор Гагарина Лариса Геннадьевна доктор технических наук, профессор Рюмкин Александр Иванович доктор технических наук, профессор Оскорбин Николай Михайлович
Ведущая организация: Институт космических и информационных технологий Сибирского федерального университета (г. Красноярск)
Защита состоится л 16 марта 2012 г. в 14.30 часов на заседании диссертационного совета Д 212.134.04 при ФГБОУВПО Национальный исследовательский университет МИЭТ по адресу: г. Москва, Зеленоград, проезд 4806, д. 5.
С диссертацией можно ознакомиться в библиотеке ФГБОУВПО Национальный исследовательский университет МИЭТ по адресу:
г. Москва, Зеленоград, проезд 4806, д. 5.
Автореферат разослан л___________________2011 г.
Ученый секретарь диссертационного совета, доктор технических наук, профессор А.И. Погалов
ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ
Актуальность работы. Растущая динамика и масштаб изменений в среде обитания человека обеспечивают особое внимание к проблемам окружающей среды. Для задач экологического мониторинга природнотерриториальных комплексов, характеризующихся динамичностью, неоднородностью, большой площадью все более активно применяют аэрокосмические подходы, базирующиеся на методах дистанционного зондирования Земли (ДЗЗ), геоинформационных системах (ГИС) и технологиях. Регулярно получаемые и архивируемые в центрах приема, хранения и распространения значительные объемы данных ДЗЗ с широким спектром характеристик, увеличивают требования потребителей к оперативности, точности, глубине содержательной обработки данных, к адекватности отражаемых процессов и явлений ландшафтного покрова, в том числе и при дефиците исходной информации о ландшафтно-классовой структуре исследуемой территории. Информационные системы, осуществляющие не только традиционные сбор, хранение и распространение данных ДЗЗ, но и более глубокую их обработку с созданием различных информационных продуктов, относят к системам мониторинга.
В значительной степени глубокая содержательная обработка данных в таких системах с созданием различных информационных продуктов для решения задач мониторинга предполагает решение задач, характерных исключительно для интеллектуальных экспертных систем - интерпретации как формирования на основе исходных данных высокоуровневых выводов, прогнозирования как проектирования возможных последствий ситуации, мониторинга как сравнения ожидаемого и фактического поведения среды.
Значительный вклад в исследование проблем построения систем мониторинга и в создание развитых методов обработки данных ДЗЗ для решения научно-прикладных задач мониторинга окружающей среды внесли отечественные и зарубежные ученые: Бондур В.Г., Виноградов Б.В., Гансвинд И.Н., Гарбук С.В., Гершензон В.Е., Кудашев Е.Б., Кузнецов А.Е., Копылов В.Н., Лебедев В.В., Лукьященко В.И., Лупян Е.А., Марков Н.Г., Пяткин В.П., Рюмкин А.И., Савин А.И., Шокин Ю.И., Plaza A.J., Chang C.-I., Clarke K.C., Landgrebe D.A, Haralick R.M., Richards J.A., Verburg P.H., Pontius Jr., Benenson I., Motta G. и др.
Несмотря на значительные результаты исследований в области обработки данных ДЗЗ, а также стремительное развитие глобальных и национальных систем мониторинга, обеспеченных масштабной аэрокосмической и другой технической поддержкой, применение этих систем при решении задач в интересах рядовых потребителей, учитывая глобальный характер областей приложения, до сих пор ограничено. Более целесообразным представляется использование региональных систем мониторинга с центрами приёма, обработки и распространения, обладающих достаточными техническими возможностями для сравнительно сложной обработки данных ДЗЗ. Однако, традиционно, вопросам создания и развития наземных сегментов (в отличие от орбитальных) региональных систем мониторинга, функционирующих в интересах рядовых потребителей, достаточного внимания не уделялось.
Проблема создания эффективного математического и программного обеспечения систем мониторинга существенно осложняется стремительным развитием области знаний, связанной с задачами обработки аэрокосмической информации, отличающейся постоянным совершенствованием спектральной и пространственной разрешающей способности данных ДЗЗ и увеличением поступающих и накопленных объемов этих данных. В этих условиях существующие типовые алгоритмические подходы и стандартные вычислительные средства пользователя для требуемой при этом вычислительно сложной и ресурсоемкой обработки данных в значительной степени не пригодны.
Для преодоления этих ограничений в условиях все большей доступности мощных вычислительных ресурсов существенно возрастает интерес отечественных и зарубежных ученых к области высокопроизводительных параллельных вычислений, в том числе и для задач обработки данных ДЗЗ. Однако, современные результаты исследований в этой области характеризуются обзорной направленностью и не содержат необходимых деталей практической реализации при использовании доступных мощных вычислительных ресурсов - дорогостоящей суперкомпьютерной техники или недорогих типовых ПЭВМ, объединенных в локальной вычислительной сети. Наконец, отсутствуют концептуальные основы построения региональных систем мониторинга, в значительной степени свободных от вышеуказанных ограничений и недостатков, базируемые на современных возможностях комплексной высокопроизводительной обработки данных ДЗЗ, ориентированные на создание широкого спектра оригинальных информационных продуктов для задач мониторинга.
Поэтому работа, направленная на теоретическое обобщение и решение крупной научно-технической проблемы, связанной с созданием многофункционального математического и программного обеспечения для существующих и вновь проектируемых региональных систем мониторинга, наделенных возможностями интеллектуальной высокопроизводительной обработки поступающих и накопленных массивов данных ДЗЗ, представляется крайне актуальной.
Цель диссертационной работы. Развитие научно-методических основ построения и разработка программного обеспечения региональных систем мониторинга, позволяющих за счет интеллектуальной высокопроизводительной обработки данных оперативно создавать широкий спектр оригинальных информационных продуктов, направленных на совершенствование решения современных задач мониторинга.
Для достижения поставленной цели необходимы:
1. Разработка научно-методических основ построения систем мониторинга с использованием аэрокосмических методов и интеллектуальной высокопроизводительной обработки данных, включая концепцию системы, основные требования к системе и её структуру, предусматривающих возможность оперативного создания спектра оригинальных информационных продуктов, направленных на совершенствование решения задач мониторинга.
2. Создание математического обеспечения (методов и алгоритмов) системы мониторинга, направленного на комплексную интеллектуальную обработку данных ДЗЗ с различным спектральным и пространственным разрешением при низкой чувствительности к статистическим характеристикам данных, доступную за счет более высокой вычислительной эффективности к широкому использованию на типовых ПЭВМ, и обеспечивающих оперативность, точность и адекватность отражаемых процессов и явлений ландшафта в условиях дефицита исходной информации.
3. Адаптация основных компонентов созданного математического и программного обеспечения системы мониторинга для высокопроизводительных параллельных вычислений, применимых как на дорогостоящих суперкомпьютерах, так и на кластерах из недорогих типовых ПЭВМ, и направленная на значительное увеличение производительности в условиях вычислительной сложности обработки данных и их значительных объемов.
4. Разработка программного обеспечения (ПО) основных подсистем системы мониторинга с интеллектуальной высокопроизводительной обработкой данных, созданного с учетом сформулированной концепции и реализующего предложенные методы и алгоритмы.
5. Апробация разработанной системы при создании различных информационных продуктов и решении прикладных задач аэрокосмического мониторинга с использованием данных ДЗЗ и результатов их обработки.
Методы исследования. В работе использованы методы системного анализа, многомерного статистического анализа, теории распознавания образов, текстурного и нейросетевого анализа, пространственной индексации данных, стохастического пространственного моделирования, сжатия аэрокосмических изображений, параллельных вычислений, объектно-ориентированного проектирования и программирования.
Научная новизна. Научной новизной обладают следующие основные результаты:
1. Концепция построения региональной информационной системы мониторинга, предусматривающая возможность альтернативного использования данных ДЗЗ с различным спектральным и пространственным разрешением, а также комплексную интеллектуальную обработку данных, позволяющих оперативно создавать спектр информационных продуктов, адекватно отражающих происходящие процессы и явления ландшафта, и направленных на совершенствование решения задач мониторинга с использованием аэрокосмических методов.
2. Методы и алгоритмы автоматизированной интерпретации мульти- и гиперспектральных аэрокосмических изображений, отличающиеся от аналогов низкой чувствительностью к статистическим характеристикам данных, и, при этом, обладающих более высокой точностью и вычислительной эффективностью обработки.
3. Методы и алгоритмы построения по разновременным аэрокосмическим данным прогнозных карт динамики ландшафтного покрова, и отличающиеся учетом особенностей краткосрочного и долгосрочного прогнозирования, позволяющих оперативно и адекватно отражать процессы и явления ландшафта в условиях дефицита исходной информации.
4. Алгоритмы сжатия мульти- и гиперспектральных аэрокосмических изображений, повышающие эффективность процедур архивирования, каталогизации и передачи данных по каналам связи в условиях значительных объемов накопленной и получаемой системами мониторинга аэрокосмической информации.
5. Методы и алгоритмы сжатия и автоматизированной интерпретации мульти- и гиперспектральных аэрокосмических изображений, а также построения прогнозных ландшафтных карт динамики, значительное увеличение производительности которых достигается их повышенной вычислительной эффективностью, а также адаптацией к параллельным вычислениям, применимой как на дорогостоящих суперкомпьютерах, так и на кластерах из недорогих типовых ПЭВМ.
6. Результаты исследований разработанного математического и программного обеспечения для задач аэрокосмического мониторинга, выполненные с использованием модельных и реальных данных, и позволяющие оценить пределы применимости и вычислительную эффективность предложенных методов и алгоритмов.
Теоретическая значимость работы. Теоретическая значимость работы заключается в решении крупной научной проблемы создания исследовательских и прикладных систем мониторинга, характеризующихся высокой оперативностью, точностью и адекватностью отражаемых процессов и явлений ландшафта, достигаемых использованием аэрокосмических методов и интеллектуальной высокопроизводительной обработкой данных при построении оригинальных информационных продуктов.
Практическая значимость и внедрение результатов работы.
Практически значимыми являются созданные методы, алгоритмы и ПО системы мониторинга, использованные:
в проектах Российского фонда фундаментальных исследований в качестве руководителя (№№11-07-00027-а, 03-07-06024-мас) и ответственного исполнителя (№№00-07-90124-в, 03-07-90124-в, 06-0578056-д);
в проекте анализа динамики ландшафта территории Португалии при финансовой поддержке Португальского фонда науки и технологии (№ PTDC/CS-GEO/101836/2008);
в международном проекте TEMPUS IV 159386-TEMPUS-12009-1DE-TEMPUS-JPCR в Институте кибернетики Национального исследовательского Томского политехнического университета (ТПУ);
при выполнении межвузовского исследовательского проекта № 04/07-2011 Теоретические основы построения и программное обеспечение интеллектуальной высокопроизводительной информационной системы аэрокосмического мониторинга Программы развития ТПУ;
в проекте создания Международной аэрокосмической системы глобального мониторинга (МАКСМ) для задач прогнозирования природных стихийных бедствий и техногенных катастроф, включая определение концептуальных основ построения наземной инфраструктуры МАКСМ;
в системе ГО и ЧС по Томской области в целях предупреждения, анализа причин и последствий чрезвычайных антропогенных и природных ситуаций на подведомственных службе территории;
при выполнении инициативных исследовательских проектов с промышленными предприятиями нефтегазовой отрасли (ООО Газпром трансгаз Томск, ООО Норд-Империал, ОАО ТомскНИПИнефть, ООО КогалымНИПИнефть), а также х/д №8-21/03 между Институтом Кибернетический центр ТПУ и ОАО Востокгазпром.
Результаты внедрения и практического использования результатов подтверждены соответствующими документами.
Основные защищаемые положения.
1. Информационная система мониторинга, основанная на оригинальных концепции, математическом и программном обеспечении, позволяет с высокой степенью оперативности получения результатов, адекватности отражаемых процессов и явлений ландшафта, выполнять комплексную интеллектуальную обработку данных и создавать спектр оригинальных информационных продуктов, направленных на совершенствование решения задач мониторинга.
2. Методы и алгоритмы системы мониторинга позволяют осуществлять интеллектуальную обработку данных дистанционного зондирования Земли с вариативным спектральным и пространственным разрешением и различными статистическими характеристиками при высокой вычислительной эффективности и точности такой обработки.
3. Методы и алгоритмы системы мониторинга позволяют создавать по разновременным аэрокосмическим данным прогнозные карты динамики ландшафтного покрова, отличающиеся учетом особенностей краткосрочного и долгосрочного прогнозирования при высокой адекватности отражаемых процессов и явлений ландшафта в условиях дефицита исходной информации.
4. Оригинальные подходы и алгоритмы сжатия аэрокосмических изображений повышают эффективность процедур архивирования, каталогизации и передачи данных по каналам связи в условиях значительных объемов накопленной и получаемой наземными сегментами систем дистанционного зондирования Земли аэрокосмической информации.
5. Адаптация основных компонентов созданного математического и программного обеспечения системы мониторинга для параллельных вычислений позволяет в несколько раз увеличить производительность сложной обработки данных, и применима как на дорогостоящих суперкомпьютерах, так и на вычислительных кластерах из недорогих типовых ПЭВМ.
Публикации и апробация работы. Полученные новые научнопрактические результаты изложены в 50 работах, представленных на отечественных и зарубежных конференциях и симпозиумах, включая статьи в 13 реферируемых журналах, рекомендуемых ВАК РФ, две монографии, одна из которых издана на английском языке за рубежом, свидетельство о государственной регистрации программы для ЭВМ, а также учебно-методические пособия с грифами.
Основные результаты работы докладывались и обсуждались на следующих конгрессах, симпозиумах, конференциях и семинарах:
Международный научный симпозиум ассоциации ISPRS, Вена, Австрия, 2010 г.; Международный форум по геоинформатике, Зальцбург, Австрия, 2009 г.; 1-ый семинар ассоциации EARSeL, университет Гумбольта, Берлин, 2006 г.; Международные конференции Ассоциации геоинформационных лабораторий Европы AGILE V-X (г. Пальма, Испания, 2002 г.; г. Лион, Франция, 2003 г.; г. Ираклион, Греция, 2004 г.; Эшторил, Португалия, 2005 г.; Визиград, Венгрия, 2006 г.; Олборг, Дания, 2007), Русско-американский семинар Studies of Socio-Natural Co-Evolution from Different Parts of the World (г. Новосибирск, 2002 г.), IX Международный симпозиум УRemote Sensing 2002Ф SPIE, (г. Ираклион, Греция, 2002 г.), V Международный семинар Computer Science and Information Technologies (г. Уфа, 2003 г.), V и VI Всероссийские научно-технические конференции Нейроинформатика - 2003 и Нейроинформатика - 2004 (г. Москва), XX Международный конгресс ISPRS (г. Стамбул, Турция, 2004 г.), I Международная конференция Земля из космоса - наиболее эффективные решения (г. Москва, 2004 г.).
ичный вклад:
1. Постановка цели и задач исследования, разработка концепции построения региональной информационной системы мониторинга, использующей аэрокосмические методы и высокопроизводительную интеллектуальную обработку данных, выполнены автором [4].
2. Разработка математического и программного обеспечения автоматизированной интерпретации мульти- и гиперспектральных аэрокосмических изображений (АИ) выполнены совместно с Н.Г. Марковым и А.А. Напрюшкиным [1,2,9,10]. Разработка технологии высокопроизводительной распределенно-параллельной автоматизированной интерпретации, а также результаты соответствующих исследований получены автором [1,7].
3. Разработка математического обеспечения построения прогнозных карт динамики ландшафтного покрова выполнена совместно с Н.Г. Марковым [2,15]. Разработка математического и программного обеспечения моделирования с учетом ландшафтно-классовых особенностей на основе набора пространственных характеристик, способов повышения эффективности долгосрочного прогнозирования, а также алгоритмов высокопроизводительной распределенно-параллельной обработки данных для моделирования, выполнены под руководством и при участии автора [1,6,8,13,16]. Апробация разработанного ПО моделирования выполнена совместно с П. Кабралом [3,14].
4. Разработка математического и программного обеспечения сжатия мультиспектральных АИ, а также проведение соответствующих экспериментальных исследований выполнены совместно с То Динь Чыонгом под руководством и при участии автора [11,12]. Разработка математического и программного обеспечения дифференцированного сжатия мультиспектральных данных ДЗЗ с потерями, алгоритма сжатия гиперспектральных АИ и его адаптация для параллельного исполнения, выполнены при непосредственном участии автора [5].
Структура и объем работы. Диссертация состоит из введения, шести глав, заключения, списка использованных источников из 2наименований и приложений. Объем основного текста диссертации составляет 268 страниц машинописного текста, иллюстрированного рисунками и 11 таблицами.
ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ
Во введении обосновывается актуальность работы в выбранном направлении исследования, формулируются его цель и задачи, отмечается личный вклад автора и апробация результатов исследований.
В первой главе дается понятие мониторинга окружающей среды, важность изучения которой столь велика, что её исследованием занимаются не только специалисты-экологи, но и авторитетные международные организации - ООН и ЮНЕСКО.
Как правило, мониторинг окружающей среды направлен на предотвращение отрицательных последствий, связанных с деятельностью человека, а объектами наблюдения выступают отдельные компоненты природной среды - атмосферный воздух, почва, биота и др. Изменение даже одного компонента среды может вести к динамичным изменениям в других её компонентах вследствие наличия сложных и латентных взаимосвязей. Поэтому, с учетом развития космического и наземного сегментов систем дистанционного зондирования Земли (ДЗЗ), а также соответствующих информационных технологий сбора, обработки и передачи данных ДЗЗ, широкое распространение в задачах исследования окружающей среды получают методы аэрокосмического мониторинга, базирующиеся на применении методов ДЗЗ, геоинформационных систем (ГИС) и технологий. Они характеризуются оперативностью и точностью получаемых данных, а также высокой адекватностью отражаемых процессов и явлений, позволяющих решать целый комплекс задач исследования состояния и динамики экосистем.
Современные системы ДЗЗ и ГИС позволяют в той или иной степени решать различные задачи аэрокосмического мониторинга - океанографический и лесопожарный мониторинг, мониторинг природных и антропогенно-спровоцированных явлений и катастроф, мониторинг урбанизации, динамики ледников, процессов заболачивания и опустынивания, засоления, половодий, паводков, создание и актуализация разномасштабных топографических и специальных карт, планов растительности, ландшафтов и природопользования и др. Решение этих и других задач аэрокосмического мониторинга, включая многочисленные разновидности мониторинга окружающей среды, требует сложной комплексной обработки данных, и главным образом, предполагает создание спектра информационных продуктов, основанных на:
дешифрировании аэрокосмических изображений;
анализе динамики ландшафтного покрова;
комплексном пространственном анализе исследуемой территории, её ландшафтно-классовой структуры.
Под дешифрированием (интерпретацией) АИ понимают идентификацию объектов и явлений ландшафтного покрова, определение их характеристик, установления взаимосвязей с другими объектами, осуществляемые на основе аэрокосмических данных (аэрофото- и спутниковая съемка) систем ДЗЗ с использованием автоматизированных процедур обработки и интерпретации АИ и специализированного ПО.
Основным информационным продуктом процедуры автоматизированной интерпретации данных ДЗЗ являются растровые и векторные тематические карты исследуемой территории, отражающие ландшафтные классы и другие объекты на исследуемой территории.
Динамикой ландшафтного покрова называют изменение границ, площади и других географических параметров объектов, расположенных на ландшафтном покрове. Наиболее характерными примерами динамики являются процессы роста заселенных территорий, обезлесения, эрозии почвы, изменение береговых линий водоемов, границ ледовых покровов.
Под анализом динамики ландшафтного покрова понимают действия, направленные на выявление и исследование качественных и количественных закономерностей процессов, происходящих на ландшафтном покрове.
Для выявления произошедших изменений ландшафтного покрова широко применяют достаточно простые методы идентификации изменений, позволяющие строить соответствующие разностные карты.
Более сложным является подход, основанный на использовании моделей изменения ландшафтного покрова, позволяющий в качестве основного информационного продукта получать в привычном для исследователя представлении на некоторый момент или моменты времени в будущем прогнозные ландшафтные карты. При этом особую значимость приобретает возможность построения при различных начальных условиях серии прогнозных карт, упрощающих процессы принятия решения в задачах аэрокосмического мониторинга в условиях значительной неопределенности и дефицита информации об исследуемой территории.
Наконец, еще одна возможность создания информационных продуктов при решении задач аэрокосмического мониторинга предполагает пространственный анализ. Он предназначен для проведения оценки размещения пространственных объектов, выявления существующих связей и иных пространственных отношений между ними.
Пространственный анализ, реализуемый с использованием современных ГИС, представляет крайне широкий спектр возможных информационных продуктов, способствующих решению задач аэрокосмического мониторинга. Он может включать использование вероятностных растровых и векторных карт замещения одних типов ландшафта другим, оценку геометрических и топологических характеристик геопространства, выполнение булевых операций над объектами, построение буферных зон, топологическое наложение слоев, создание и обработку цифровых моделей рельефа, а также анализ сетей, поверхностей и пространственного распределения объектов. Реализация функций пространственного анализа является важнейшей задачей ГИС, отличающей её от традиционной информационной системы.
Исходными данными, определяющими качество и оперативность получения информационных продуктов, являются аэрокосмические данные, передаваемые с орбитального сегмента системы ДЗЗ на приёмные станции наземного сегмента по цифровому радиоканалу. Важнейшими характеристиками целевой аппаратуры орбитального сегмента и, следовательно, получаемых с ее помощью изображений, являются пространственное, спектральное и радиометрическое разрешение.
По используемому для формирования АИ участку спектра электромагнитных волн АИ делят на ультрафиолетовые, фотографические, инфракрасные, радиолокационные. Получают интегральные панхроматические (одноканальные) изображения, использующие одну более или менее широкую зону спектра, а также мультиспектральные изображения (многозональные или многоканальные), включающие несколько зональных слоев (называемых также диапазонами или каналами), одновременно сформированных в разных узких участках спектра и позволяющих идентифицировать объекты c уникальными спектрометрическими свойствами. Одними из наиболее распространенных являются АИ оптического диапазона, использующие видимую и инфракрасную зону спектра. Набирают популярность гиперспектральные АИ с высоким спектральным разрешением, характеризующиеся тем, что измерения в них получены в узких и непрерывных зонах спектра, а количество каналов в этих изображениях может составлять десятки и сотни. Отмечают, что исключительно с помощью таких данных может быть решено до 70% всех задач аэрокосмического мониторинга.
При решении задач картирования объектов ландшафтного покрова с использованием данных ДЗЗ необходимо уделять значительное внимание анализу требований решаемых задач к пространственному и спектральному разрешению, обзорности и другим характеристикам АИ, что позволит осуществить правильный выбор системы ДЗЗ для получения исходных данных и тем самым повысить эффективность аэрокосмического мониторинга. Поэтому рассмотрены некоторые из наиболее распространенных систем ДЗЗ, позволяющих получать панхроматические и мультиспектральные АИ (среднего спектрального разрешения - NOAA, Terra, LANDSAT, IRS, Ikonos и др.) и гиперспектральные АИ (высокого спектрального разрешения - AVIRIS, HYPERION, HYDICE), начиная от систем с невысокой разрешающей способностью, но с высокой обзорностью зондирования (используемых, главным образом, для задач глобального мониторинга), и заканчивая самыми современными системами с высоким пространственным разрешением и небольшой обзорностью зондирования (применимых для задач регионального и локального аэрокосмического мониторинга).
Выполнен обзор существующих систем и программ глобального аэрокосмического мониторинга типа EOSDIS, INFEO, Природа и др., оперирующих значительными объемами информации, но используемыми, главным образом, при решении глобальных задач климатического и экологического мониторинга с применением данных ДЗЗ с низким разрешением и значительной обзорностью зондирования. Отмечено, что эти системы не ориентированы на широкое практическое использование рядовыми потребителями при решении региональных задач мониторинга.
Учитывая обширные территории Российской Федерации, в которой отдельные субъекты по площади порой соответствуют нескольким странам мира, необходимость в развитых региональных центрах аэрокосмического мониторинга, ориентированных на территориальные научные изыскания с учётом наземных наблюдений и другой доступной местной информации, повышающей адекватность проводимых исследований, очевидна.
Существующие примеры построения региональных систем аэрокосмического мониторинга систем в России (в Москве, Самаре, Новосибирске, Красноярске и др.) основаны в различной степени на современных информационных технологиях, типовом и оригинальном математическом и программном обеспечении, и характеризуются высокой научно-технической сложностью. Наземный сегмент типовой системы мониторинга с помощью соответствующих подсистем, как правило, обеспечивает:
сбор заявок и распространение данных ДЗЗ различных спутниковых систем потребителям;
подготовку данных для управления съемкой с летательного аппарата на основе соответствующих целеуказаний;
прием и регистрацию данных ДЗЗ;
предварительную обработку с заданным уровнем;
архивацию и каталогизацию принятых данных ДЗЗ.
Функции содержательной обработки данных, направленные на решение прикладных задач аэрокосмического мониторинга, осуществляются до сих пор, главным образом, рядовыми потребителями (после получения необходимых данных ДЗЗ по каналам связи) на типовых ПЭВМ со стандартными вычислительными возможностями.
В условиях значительных объемов данных ДЗЗ с широким спектром характеристик, доступных в архивах систем мониторинга, при дефиците исходной информации о ландшафтно-классовой структуре исследуемой территории, растут требования потребителей к точности, оперативности и глубине содержательной обработки аэрокосмических данных, связанной с решением задач, характерных исключительно для интеллектуальных экспертных систем - интерпретации как формирования на основе исходных данных высокоуровневых выводов, прогнозирования как проектирования возможных последствий ситуации, мониторинга как сравнения наблюдаемого и фактического поведения среды. Однако накопленные данные очень ограниченно используются для разновременного анализа происходящих на земной поверхности процессов и явлений, хотя потенциально могут представлять значительную ценность при оценке существующих тенденций и попытках их прогнозирования.
Как правило, стандартное программное обеспечение обработки и интерпретации данных ДЗЗ и ГИС базируется на традиционных алгоритмических подходах, и в условиях вычислительно сложной и ресурсоемкой обработки при постоянном совершенствовании спектральной и пространственной разрешающей способности данных ДЗЗ, а также увеличения поступающих и накопленных объемов этих данных, в значительной степени не пригодно.
Крайне мало результатов исследований, посвященных проблемам сжатия аэрокосмических изображений с потерями и без потерь, призванных повысить эффективность процедур архивирования, каталогизации и передачи данных по каналам связи. Недостаточно исследованы вопросы создания гибких подходов к автоматизированной интерпретации АИ с различным спектральным и пространственным разрешением, отличающихся низкой чувствительностью к статистическим параметрам данных и высокой точностью классификации, и, при этом, обладающих более высокой вычислительной эффективностью обработки.
Практически отсутствуют подходы, позволяющие на основе накопленных разновременных аэрокосмических данных в условиях дефицита исходной информации о ландшафтно-классовой структуре исследуемой территории осуществлять краткосрочное и долгосрочное прогнозирование изменений ландшафтного покрова на основе моделирования и построения соответствующих прогнозных карт, характеризующихся достаточно высокой точностью и адекватностью отражаемых процессов и явлений.
Одним из препятствий для широкого практического использования вышеуказанных подходов к усовершенствованной вычислительно сложной обработке данных ДЗЗ являются ограниченные вычислительные возможности стандартных ПЭВМ. При этом региональным системам мониторинга за счет концентрации ресурсов доступны не только значительные объемы накопленной и поступающей аэрокосмической информации, но и значительные вычислительные мощности, допускающие более широкое практическое использование современных подходов к вычислительно сложной обработке данных ДЗЗ. Однако это требует модификации используемого математического и программного обеспечения и его адаптации для высокопроизводительных параллельных вычислений, в том числе и для задач обработки данных ДЗЗ.
Несмотря на существенно возросший интерес отечественных и зарубежных ученых к этой области исследований, современные результаты характеризуются обзорной направленностью и не содержат необходимых деталей практической реализации при использовании доступных мощных вычислительных ресурсов - дорогостоящей суперкомпьютерной техники или недорогих типовых ПЭВМ, объединенных в локальной вычислительной сети.
Наконец, отсутствуют концептуальные основы построения региональных систем мониторинга в значительной степени свободных от вышеуказанных ограничений и недостатков, базируемые на современных возможностях вычислительно сложной высокопроизводительной обработки данных ДЗЗ, ориентированные на создание спектра оригинальных информационных продуктов для решения задач аэрокосмического мониторинга. С учетом вышеизложенного определены основные направления проведения диссертационных исследований.
Во второй главе предложена концепция построения региональной информационной системы, предназначенной для комплексного решения современных задач мониторинга с использованием аэрокосмических методов. Отличительными особенностями системы, которые формируются на основе базовых принципов её построения, является возможность с высокой степенью точности и оперативности выполнять комплексную интеллектуальную обработку данных ДЗЗ различного спектрального и пространственного разрешения. При этом обеспечивается высокая адекватность отражения процессов ландшафтного покрова, и создание спектра оригинальных информационных продуктов, направленных на решение задач аэрокосмического мониторинга в интересах рядовых потребителей.
На практике решение основных задач аэрокосмического мониторинга рядовыми потребителями реализуется в условиях существенных ограничений. С одной стороны - это дефицит исходной информации о ландшафтно-классовой структуре исследуемой территории, о статистических характеристиках типов ландшафта. С другой стороны - это значительные объемы данных ДЗЗ, доступные в архивах систем мониторинга. Принимая во внимание возрастающие при этом требования потребителей к точности и оперативности обработки данных, к адекватности отражаемых процессов ландшафта, очевидна необходимость использования достаточно сложной комплексной обработки данных, которая характерна исключительно для интеллектуальных систем.
Целесообразность именно такой обработки определяет первый принцип построения системы. При этом к методам комплексной обработки данных относят не только автоматизированную обработку (дешифрирование мульти- и гиперспектральных АИ с различным пространственным и спектральным разрешением), но и построение моделей анализа ландшафтного покрова по разновременным данным ДЗЗ и их использование при создании прогнозных ландшафтных карт, а также развитый пространственный анализ, выполняемые с использованием оригинальных и стандартных систем обработки и интерпретации данных ДЗЗ, современных ГИС, реализованных в единой информационной среде.
Учитывая важность комплексной интеллектуальной обработки данных в системе мониторинга, базовые принципиальные основы построения автоматизированной интерпретации АИ и прогнозирования изменений ландшафтного покрова рассмотрены детально.
Принципиальным при автоматизированной интерпретации, позволяющей обрабатывать значительный объем данных ДЗЗ с минимальным участием оператора-дешифровщика, представляется использование как традиционных спектральных признаков, так и текстурных компонентов с различным размером анализируемой окрестности, отражающих пространственные особенности ландшафтных классов. Для краткости пространство спектральных признаков обозначено как первичный компонент (ПК), а пространство текстурных признаков, рассчитываемых на основе ПК, - как вторичный компонент (ВК). При этом наиболее логичным представляется подход к раздельному применению ПК и ВК, который позволяет избежать взаимного негативного влияния этих компонентов, и использовать при интерпретации преимущества первичной и вторичной составляющих признакового пространства.
Еще один принцип определяет целесообразность совместного использования статистических (параметрических и непараметрических) и нейросетевых подходов к классификации АИ, отличающихся низкой чувствительностью к статистическим параметрам данных и не требующих априорного предположения о законе распределения признаков, что позволяет получать результаты классификации достаточно высокой точности в условиях высокой статистической неопределенности. При этом в применяемых непараметрических подходах необходимо повышение вычислительной эффективности обработки данных.
Также принципиальным при построении аппарата дешифрирования является его ориентация не только на широко распространенные панхроматические и мультиспектральные АИ, но и на все более активно используемые гиперспектральные АИ. Причем учитывая значительные объемы данных, сопровождающие гиперспектральные АИ, этот принцип предполагает применение вычислительно эффективной высокопроизводительной обработки данных.
Практически полезным в задачах аэрокосмического мониторинга признана не столько возможность идентификации произошедших изменений ландшафтного покрова, сколько возможность предсказания на основе существующих тенденций сценариев развития таких изменений, в том числе при различных начальных условиях. Поэтому принципиальным является применение моделей изменения ландшафтного покрова и построение с их использованием разновременных прогнозных ландшафтных карт на моменты времени в будущем, отражающих в привычном (дружественном) для рядового потребителя представлении существующие тенденции на исследуемой территории. Учитывая значительное влияние стохастической составляющей, ограничивающее применение традиционных и хорошо изученных детерминированных методов экстраполяции и прогнозирования, предлагается осуществлять моделирование на основе стохастического подхода с использованием аппарата марковских цепей и вероятностных составляющих переходов элементов из одного состояния в другое.
Обеспечение адекватного представления происходящих процессов, особенно в условиях дефицита исходной информации об исследуемой территории, целесообразно не только на основе исключительно вероятностных составляющих, но и при учете пространственных особенностей ландшафтно-классовой структуры. Одним из наиболее активно используемых в последнее время для этого математических аппаратов, предоставляющих такие возможности, является аппарат клеточных автоматов (КА). При этом эффективный учет пространственной корреляции на исследуемом фрагменте ландшафтного покрова возможен лишь при корректном определении правил функционирования КА в каждом конкретном случае. Поэтому еще один принцип определяет использование при формировании правил функционирования КА не только вероятностных, но и пространственных характеристик каждого из типов ландшафтного покрова. Вероятностные характеристики могут определяться различными способами, использующими значения вероятностей переходов типа i ландшафтного покрова в тип j, в том числе и в некоторой окрестности.
При определении правил функционирования КА, в условиях дефицита информации о ландшафтно-классовой структуре исследуемой территории, следует использовать целый ряд различных пространственных характеристик, содержащих дополнительную информацию о пространственных особенностях исследуемого ландшафта. При этом необходима оценка значимости сочетаний характеристик при совместном применении, направленная на использование из множества характеристик минимально необходимого набора, позволяющего увеличить адекватность и точность моделирования.
Прогнозирование изменений ландшафтного покрова, ориентированное на различные горизонты планирования, учитывая пространственно-географический характер, характеризуется сложностью получения результатов с удовлетворяющей точностью и адекватностью отражаемых процессов ландшафтного покрова. Поэтому предлагается при построении прогнозных карт учитывать особенности моделирования при краткосрочном и долгосрочном прогнозировании изменений, позволяя позитивно влиять не только на адекватность отражаемых процессов, но и на вычислительную эффективность обработки. Для учета при прогнозировании изменений априорной информации о вероятности развития (угнетения) каждого из типов ландшафтного покрова, предлагается использовать такую информацию в правилах функционирования КА. Эту информацию удобно задавать в виде соответствующих вероятностных карт, построенных для каждого из типов исследуемого ландшафтного покрова.
Распространение современной дорогостоящей суперкомпьютерной техники, которой сегодня оснащают и центры приёма, обработки и распространения данных ДЗЗ, а также наличие в таких центрах большого объема доступных вычислительных ресурсов в виде недорогих типовых ПЭВМ, объединенных в локальных вычислительных сетях, позволяет сформулировать второй принцип, определяющий целесообразность построения систем мониторинга с использованием высокопроизводительной обработки данных ДЗЗ. Значительное увеличение производительности обработки больших массивов данных ДЗЗ следует достигать не только за счет непосредственного использования вычислительно мощной программно-аппаратной среды кластера, но и путём адаптации применяемых методов и алгоритмов для вычислительно эффективных параллельных (распределенно-параллельных) вычислений.
При этом следует учитывать влияние накладных коммуникационных расходов (латентность), которое менее существенно для суперкомпьютера и более существенно для кластера типовых ПЭВМ.
Учитывая значительные объемы ежедневно принимаемых и архивируемых различными информационными системами данных ДЗЗ, исчисляемые терабайтами, в качестве третьего принципа построения системы мониторинга определена целесообразность совершенствования архивирования и использования при этом процедур сжатия данных ДЗЗ, направленных на повышение эффективности архивного хранения и передачи данных ДЗЗ по каналам связи.
Предложены базовые принципы построения процедур сжатия данных ДЗЗ, предполагающие учет специфики данных ДЗЗ в подходах к сжатию, который позволяет превосходить в степени сжатия стандартные универсальные средства, не учитывающие особенностей аэрокосмических данных. Предложено применять сжатие данных ДЗЗ с потерями, обеспечивая более высокую степень сжатия. При этом отмечается необходимость снижения негативного влияния искажения статистических характеристик восстановленных АИ, ограничивающего применение к таким АИ автоматизированной классификации.
В качестве четвертого принципа построения системы мониторинга отмечается необходимость совершенствования процедуры каталогизации за счет использования сжатия с потерями при поиске АИ в каталоге. Это позволит более качественно проводить традиционную визуальную оценку, а также осуществлять автоматизированную обработку восстановленных после сжатия АИ с приемлемым уровнем точности. Такое совершенствование поиска АИ, традиционно основанное лишь на грубых изображениях быстрого просмотра (preview images), позволит увеличить адекватность предварительной оценки АИ для задач пользователя.
Современные возможности удаленного доступа на основе Интернеттехнологий позволяют сформулировать пятый принцип, предполагающий возможность с учетом вышеизложенных усовершенствований организовывать в системе мониторинга удаленную интерактивную содержательную обработку данных ДЗЗ и создание на мощных вычислительных ресурсах системы информационных продуктов, необходимых для решения задач аэрокосмического мониторинга.
На основе анализа изложенных недостатков существующих систем мониторинга, а также принимая во внимание базовые принципы их совершенствования и обработки данных, сформулированы основные требования к современным региональным системам мониторинга, использующим аэрокосмические методы и интеллектуальную высокопроизводительную обработку данных. С учетом изложенных требований и принципов предлагается обобщенная структура такой системы мониторинга (рис. 1).
Пользователь Наземный сегмент системы мониторинга ПЭВМ Web-интерфейс Подсистема сбора заявок и распространения данных потребителям Подсистема предварительной обработки Подсистема приема и регистрации Подсистема подготовки данных для управления Летательный аппарат Рис. 1. Обобщенная структура региональной системы мониторинга СУБД Автоматизированная непараметрическая с Подсистема интеллектуальной обработки (параметрическая и БД моделей и других информационных аэрокосмических интерпретация текстурным Пространственный анализ (ГИС) анализом) продуктов Пространственное (краткосрочное, моделирование долгосрочное ) изображений БД (для Суперкомпьютер по каналам связи) Каталогизация возможностью долговременного интерпретации) передачи данных (предв. просмотр с Сжатие с потерями Сжатие без потерь автоматизированной хранения и Подсистема архивирования и каталогизации Кластер ПЭВМ в сети Распределенно параллельная обработка Создание системы предполагает использование последних результатов исследований в области построения математического и программного обеспечения усовершенствованной обработки данных ДЗЗ.
С учетом её новых функциональных возможностей предложена обобщенная технология применения системы, определяющая роль каждой подсистемы.
В третьей главе рассматривается математическое обеспечение сжатия данных ДЗЗ различного спектрального и пространственного разрешения, реализующее принципиальные основы построения подсистемы архивирования и каталогизации.
Для реализации возможностей сжатия мультиспектральных АИ без потерь предложен трехэтапный алгоритм, основанный на использовании вейвлет-преобразования и учете междиапазонной зависимости, и превосходящий по степени сжатия универсальные архиваторы за счет учета специфики данных ДЗЗ. Алгоритм предполагает три основных этапа:
вейвлет-преобразование исходных данных с получением соответствующих коэффициентов преобразования;
учет функциональной зависимости значений яркости между различными каналами изображений и формирование массивов отклонений (разностей) исходных данных от значений найденной функциональной зависимости;
сжатие полученных после преобразований данных одним из традиционных энтропийных алгоритмов.
Реализация вейвлет-преобразований базируется на простых и вычислительно эффективных вейвлетах Хаара, выполняемых для каждого k-го канала исходного АИ (матрица Il[m,n,k]) по строкам m и по столбцам n с заданным числом уровней глубины преобразования l. Результатом w Il является изображение [m,n,k], содержащее выделенные низкочастотную и высокочастотную составляющие.
Поиск функциональной зависимости и расчет отклонений значений канала с индексом k осуществляется на основе значений каналов с w Il индексами {kЦ1} и {kЦ2} изображения [m,n,k]. В этом случае расчет отклонений может быть найден как w Il [m,n,k 1] (wl [k])T el [m,n,k] = Ilw [m,n,k] Ц, w I [m,n,k 2] l где wl [k] - вектор коэффициентов зависимости (в данном случае I-го w Il порядка), определяемый на основе значений изображения [m,n,k], Т - знак транспонирования, а el[m,n,k] - матрица искомых отклонений.
Результат расчета отклонений el[m,n,k] значений каналов изображения от функциональной зависимости, задаваемой коэффициентами wl [k], а следовательно, и степень сжатия данных, могут зависеть от очередности расположения каналов при этом расчете. Поэтому на этом этапе алгоритма предложено повысить степень сжатия за счет поиска такой очередности обработки, при которой найденные значения отклонений (разностей) характеризуются уменьшенным диапазоном изменения, и как следствие, требуют меньшее число позиций разрядной сетки.
Для уменьшения влияния увеличенной вычислительной сложности трехэтапного алгоритма сжатия предложена его модификация, повышающая вычислительную эффективность обработки при поиске очередности обработки каналов за счет применения способов усеченного перебора и выборочного использования данных. Модификации позволяют увеличить степень сжатия до 15-20%, а вычислительную эффективность - в 7-40 раз. Преимущество предложенных модификаций существенно возрастает при увеличении числа каналов мультиспектральных АИ и их геометрического размера, что повышает их практическую значимость.
Проведены сравнительные исследования эффективности предложенного и универсальных алгоритмов сжатия, представленных в архиваторах WinRar, WinZip и реализующих стандарт JPEG2000 на данных различных систем ДЗЗ. Необходимость сравнения с универсальными средствами, главным образом, обусловлена следующим.
Специализированные средства сжатия данных ДЗЗ либо ограниченно применимы на практике и представляют собой исследовательские версии, не подвергавшиеся тщательному анализу, либо основаны на использовании универсальных подходов и стандартов (как, например, известный ER Mapper Image Compressor).
Результаты исследований показали превосходство предложенного алгоритма в различной степени над универсальными алгоритмами в степени сжатия до 20 %, хотя с бльшими временными затратами обработки данных за счет более высокой вычислительной сложности.
Для повышения степени сжатия мультиспектральных АИ с сохранением возможностей их автоматизированной интерпретации предложен алгоритм дифференцированного сжатия, выполняющий обработку различных фрагментов АИ с различным уровнем потерь, обеспечивая минимальные статистические искажения наиболее значимых фрагментов. Алгоритм предполагает выполнение сегментации, оценки информативности сегментов, определение уровня потерь в каждом сегменте в зависимости от информативности, и, собственно сжатие.
Для упрощения сегментации и сокращения объема данных, сопутствующих этой процедуре (что особенно значимо в задачах сжатия), предлагается в качестве границ сегментов Sg[r,c] использовать регулярную сеть с равным числом сегментов в строках и столбцах, причем r = 1,2,Е, FRrow, c = 1,2,Е, FRcol, где FRrow - число сегментов в строке изображения, FRcol - число сегментов в столбце изображения. В этом случае для определения границ сегментов некоторого АИ достаточно знать его коэффициент сегментации FR, определяемый здесь как FR = FRrow = FRcol.
Такой подход универсален, не требует хранения дополнительной информации о границах сегментов, и при наличии на АИ однородных областей позволит выполнить их успешное выделение.
Каждая из областей Sg[r,c], полученных в результате сегментации, содержит некоторый объем информации Irc ~ fI(Sg[r, c]), определяющий информативность и значимость сегмента при анализе. В качестве меры информативности используют различные метрики. Применим для определения зависимости fI распространенную характеристику - дисперсию Dxrc сегмента. Учитывая связь между Irc и Drc, справедлива запись Irc ~ Drc ~ Qrc ~ (1/ Rrc), (1) где Qrc(0; 1,0] - качество сжатия, Rrc - степень сжатия сегмента Sg[r,c].
Для установления в (1) зависимости между элементами при условии Irc = Drc следует определить лишь зависимость fd Drc = fd(Qrc), (2) формирующую связь между Irc и Qrc при сжатии данных сегмента, которая может быть определена на основе линейного или степенного вариантов.
Например, при степенном варианте, позволяющем увеличить степень дифференцирования сегментов на основе значений Drc и добиться более высоких показателей степени сжатия при менее значительных потерях, такая функциональная зависимость будет иметь вид k rc Dx Dmin Qrc Qmin, (3) Dmax Dmin где Qrc[Qmin, Qmax], Qmin, Qmax - заданные границы изменения качества сжатия с потерями для изображения в целом, = (Qmax - Qmin), Dmin и Dmax - минимальное и максимальное значения дисперсий, найденные для всех сегментов изображения, Dxrc - дисперсия сегмента Sg[r,c], k - коэффициент дифференцирования, позволяющий варьировать степень влияния Drc на Qrc.
Для реализации собственно процедуры сжатия АИ с потерями возможно использование целого ряда алгоритмов, позволяющих для каждого из полученных сегментов Sg[r,c] применять сжатие с заданным уровнем качества Qrc (например, алгоритмы на основе известного стандарта JPEG).
Изложенный подход к сжатию одноканальных АИ адаптирован для применения к мультиспектральным АИ. В этом случае преобразования (1) - (3) применяются для каждого из L каналов мультиспектрального АИ в отдельности с использованием параметров Dlrc - дисперсия, а Qlrc - качество сжатия для сегмента Sgl[r,c], найденных в канале l, l = 1,2,Е,L.
Основной задачей исследований предлагаемого подхода к сжатию АИ было определение его эффективности и пределов применимости с точки зрения влияния степени сегментации FR и степени дифференцирования сегментов на степень сжатия (здесь - R) и качество восстановленных изображений. Для оценки качества использованы два критерия. Первый - коэффициент корреляции KXY[-1;1], определяющий степень соответствия исходного IX и восстановленного IY изображений. Второй - каппа-индекс согласия (КИС), используемый для оценки результатов классификации (в данном случае - неконтролируемой) исходного и восстановленного АИ, представленных в виде соответствующих тематических карт.
Фрагмент результатов экспериментальных исследований для тестовых АИ 15 различных размеров (табл. 1), проведенных с варьируемыми в широких пределах параметрах дифференцированного алгоритма сжатия, приведен на рис. 2.
Таблица 1. Характеристики тестовых АИ Номер Размер изображения, Размер файла, Название изображения пикс. байт 1 etde 292 288 2 town 2971 1829 533 etdem12 512 400 24 vinh345 534 300 15 eng 799 768 6Результаты оценки вычислительных затрат алгоритма получены на ПЭВМ с типовыми характеристиками (процессор Intel Pentium IV 2,8 ГГц, объем оперативной памяти 1 Гб, операционная система Windows XP, SP 3).
Результаты экспериментов позволили определить ключевые параметры алгоритма, необходимые при его практическом применении. В частности показано, что использование степенной зависимости в сравнении с линейной позволяет в более широких диапазонах варьировать R, KXY и КИС.
1, 1 2 3 4 0,0,0,0,0,1 5 9 13 17 21 25 29 33 37 41 45 1 5 9 13 17 21 25 29 33 37 41 45 FR FR Рис. 2. Зависимость степени сжатия и КИС от FR при степенной fd Наблюдается сравнительно небольшое уменьшение точности по КИС при более существенных отличиях IX и IY по KXY. Это объясняется тем, что многие значения элементов изображения IY, восстановленные с некоторым отклонением (фиксируемым KXY) от значений изображения IX, при классификации будут отнесены к тому же ландшафтному классу, что и КИС R значения IX. Показано, что степень сжатия с использованием сегментации может быть в 1,53 раза выше, чем без сегментации при сопоставимом уровне точности как при сравнении исходного и восстановленного изображений по критерию корреляции, так и при сопоставлении результатов их неконтролируемой классификации с применением КИС.
Поиск подходов к сжатию гиперспектральных АИ осуществлен с учетом результатов анализа и экспериментальных исследований, полученных для мультиспектральных АИ. Кроме того, принята во внимание такая отличительная особенность гиперспектральных данных, как значительное число спектральных каналов, а также более высокая степень их корреляции из-за более близких (иногда перекрывающихся) характеристик сенсорной аппаратуры.
Принимая во внимание изложенные выше особенности, а также обеспечивая доступную преемственность, сформулированы основные требования к алгоритму сжатия гиперспектральных АИ:
минимальное число этапов и существенная простота преобразований в них, направленные на снижение вычислительных затрат;
учет высокой степени межканальной корреляции, обеспечивающий снижение избыточности данных и повышение степени их сжатия.
С учетом сформулированных требований предложен алгоритм сжатия гиперспектральных АИ с использованием разностных преобразований. Суть таких преобразований применительно к сжатию гиперспектральных АИ заключается в последовательном выполнении на первом этапе алгоритма для всех каналов гиперспектрального АИ (k=1,2Е,K - количество каналов) разностных преобразований типа I[m,n,k] I[m,n,k 1],k I [m,n,k] .
I[m,n,k],k Второй этап алгоритма сжатия гиперспектральных АИ аналогичен заключительному этапу алгоритма сжатия мультиспектральных АИ и может быть реализован на основе известных энтропийных алгоритмов, предполагающих построение статистики и кодирование на основе данных из I[m,n,k]. В данном случае этот этап реализован на базе широко известных алгоритмов PPM (основанных на адаптивном статистическом предсказании по частичному совпадению, реализация PPMd с длиной контекста 2) и арифметического кодирования. Характерный пример результатов сравнительных экспериментальных исследований предложенного алгоритма сжатия, полученных на наборе тестовых гиперспектральных АИ (табл. 2), приведен на рис. 3.
Предложены способы увеличения производительности сжатия гиперспектральных АИ за счет фрагментации данных по каналам и их параллельной обработки на заключительном этапе алгоритма.
Экспериментальные исследования параллельного варианта алгоритма сжатия позволяют сделать вывод о линейно возрастающем параллельном ускорении алгоритма (близком к максимально возможному) при возрастании числа доступных вычислительных узлов (ВУ), что подтверждает его практическую значимость.
Таблица 2. Характеристики тестовых гиперспектральных АИ Размер Количество Размер Номер АИ Система ДЗЗ изображения, каналов файла, Мб пикс.
1,2,3 AVIRIS 224 100100 2,4,5,6 AVIRIS 224 200200 8,7,8,9 AVIRIS 224 300300 19,10,11,12 AVIRIS 224 400400 39,13,14,15 AVIRIS 224 614512 268,4,4,4,3,3,3,0 №13,№42,2,№№72,№2,№10№1,1,№131,1,0,0,0,0,Алгоритм с 7z-PPMD WinRar 7z-LZMA разностными Номер эксперимента Виды алгоритмов преобразованиями а б Рис. 3. Пример результатов оценки степени сжатия: а) для различных алгоритмов; б) для АИ различного геометрического размера В четвертой главе рассматривается математическое обеспечение автоматизированной интерпретации АИ различного спектрального (мульти- и гиперспектральные АИ) и пространственного разрешения, реализующее принципы интеллектуальной обработки данных.
Проблема автоматизированной интерпретации АИ является одной из наиболее сложных и важных в решении задач аэрокосмического мониторинга. Проведенный анализ показывает, что подходы, методы и алгоритмы, заложенные в существующие системы обработки и интерпретации АИ, зачастую являются довольно простыми с алгоритмической точки зрения. Эти подходы применимы, как правило, исключительно на недорогих типовых ПЭВМ со стандартными вычислительными возможностями. Они отличаются высокой чувствительностью к статистическим характеристикам данных ДЗЗ при классификации, не достаточно учитывают разномасштабные особенности анализируемого контекста с использованием текстурных характеристик, что ведет к снижению точности автоматизированной интерпретации и не позволяет в полной мере использовать информацию, содержащуюся на мульти- и гиперспектральных АИ.
D D Для реализации более гибких возможностей автоматизированной интерпретации мультиспектральных АИ с различным пространственным разрешением, позволяющих в условиях дефицита информации о ландшафтно-классовой структуре и неопределенности статистических характеристик данных ДЗЗ осуществлять точную и оперативную классификацию, предлагается оригинальный двухэтапный подход. Он свободен в значительной степени от недостатков традиционных подходов, реализован на основе альтернативного использования двухэтапных методов статистической и нейросетевой классификации (с использованием искусственных нейронных сетей - ИНС), и позволяет учитывать разномасштабные контекстные особенности распознаваемого ландшафта при автоматизированном построении тематических карт.
Наиболее известным решающим правилом, использованном и в предложенных методах классификации, является байесовское правило p(j ) p(x | j ) p(j | x) , M (4) p(k ) pk (x | k ) k где p(i | x) - апостериорная вероятность события x j и вычисляется исходя из априорной вероятности p(i) и условной плотности распределения p(x | i). В таком случае точность классификации определяется априорной вероятностью p(i) и условной плотностью распределения (УПР) признаков p(x | i). Компонентами признакового вектора x являются значения из соответствующих спектральных каналов АИ, а i - i-ый тип ландшафта.
На первом этапе формируется ВК, характеризующий разномасштабные пространственные особенности исследуемого ландшафта, на основе которого задается вектор x = xвтр. В зависимости от выбранного метода (статистический или нейросетевой), полученное признаковое пространство подвергается классификации с помощью байесовского решающего правила (4), либо с помощью нейросетевого классификатора. Результатом классификации на первом этапе является набор карт апостериорных вероятностей p(i | xвтр) для i = 1,2,...,M, где M - число типов ландшафтного покрова.
Второй этап базируется только на правиле (4), а в качестве признакового вектора в обоих методах классификации использован вектор спектральных компонентов x = xпер из пространства признаков ПК.
Для учета разномасштабных особенностей исследуемой ландшафтноклассовой структуры при статистической классификации предложен способ формирования ВК, который предполагает использование в качестве базовых математических аппаратов учета текстурных характеристик марковские случайные поля и текстурные характеристики Харалика, рассчитываемые в различном размере анализируемой окрестности по гистограммам частот I-го и II-го порядка. В нейросетевом методе классификации учет пространственных особенностей осуществляется оригинальным апертурно-спектральным способом без специального расчета текстурных характеристик.
Низкой чувствительностью к статистическим характеристикам данных при классификации, позволяющей увеличить точность при неизвестных законах распределения признаков, обладают подходы к непараметрической оценке плотности распределения. Среди них наиболее широкое распространение получил подход с оценкой плотности распределения вероятности по методу k-го ближайшего соседа (для краткости будем приводить англоязычную аббревиатуру названия метода - k-NN), которая определяется выражением 1 kP p(x | i ) , i = 1,2,...,M, (5) N V (k, N,x) p где kP - параметр близости соседа, N - величина выборки, V(kP, N, x) - объем множества всех точек обучающей выборки, расстояние которых до точки x в P-мерном пространстве меньше или равно RkP. В случае использования евклидова расстояния P P / 2Rk V(kP, N,x) , (6) 1/ A [(P 2)/ 2] где Г - гамма-функция, A - единичная матрица.
Широкому использованию непараметрических подходов к оценке плотности распределения, включая вышеуказанный, препятствует их низкая вычислительная эффективность, связанная с необходимостью перебора в (5) и (6) всех значений обучающей выборки для оценки УПР в точке x P-мерного пространства. Для снижения этого негативного эффекта в работе предлагаются модификации алгоритмов классификации k-NN, повышающие в десятки раз вычислительную эффективность оценки УПР за счет более быстрого вычисления в (6) расстояний RkP путем использования методов пространственного индексирования с различными способами обхода многомерного признакового пространства.
При рассмотрении метода двухэтапной нейросетевой классификации, рассмотрены как общие вопросы практического применения нейросетей в двухэтапной классификации, основанные на применении многослойного персептрона, так и детали реализации соответствующего алгоритма обучения по принципу обратного распространения ошибки.
Для оценки эффективности и пределов применимости предложенных методов и алгоритмов классификации мультиспектральных АИ проведены соответствующие экспериментальные исследования, направленные на определение рациональных параметров модифицированного алгоритма оценки УПР по методу k-NN, поиск пределов применимости различных подходов к непараметрической оценке УПР, определение в целом эффективности статистического и нейросетевого методов классификации.
Исследования проведены как на модельных изображениях с возможностями варьирования параметров изображений в широких пределах, так и на реальных данных космической съемки различных систем ДЗЗ. Результаты исследований, полученные при заданном уровне доверительной вероятности 95%, показали, что статистический двухэтапный метод классификации доставляет самый точный результат для изображений с различным числом каналов. При этом двухэтапный нейросетевой метод уступает в точности двухэтапному статистическому методу 3-5 %. В случае отсутствия значительного объема спектральной информации в нескольких зонах спектра (один канал изображения по оси абсцисс) двухэтапные статистический и нейросетевой методы, учитывающие текстурные признаки, показывают значительно бльшую точность (порой более 10%), чем остальные классификаторы, использующие только спектральную информацию.
Анализ подходов к классификации гиперспектральных АИ позволяет сделать вывод о востребованности классификаторов, основанных на методах линейного разделения, не требующих оценки УПР. В этом случае целесообразно альтернативное использование как простых и положительно зарекомендовавших себя на практике подходов, основанных на поиске минимального расстояния (Hypermin) и минимальной величины спектрального угла (Hypersam) между признаковым вектором и векторами средних обучающих выборок, так и более сложных классификаторов с использованием опорных векторов (support vector machine - SVM), не получивших пока широкого распространения в коммерческих программных системах обработки и интерпретации данных ДЗЗ. Причем применение более простых подходов предпочтительно при ограниченных вычислительных ресурсах, а более сложные подходы, предполагающие решение многоитерационных оптимизационных задач, целесообразно применять на высокопроизводительной вычислительной технике.
Растущие объемы разновременной мульти- и гиперспектральной аэрокосмической информации требуют развития технологий ее автоматизированной обработки с высокой производительностью. На решение этой проблемы направлена новая технология распределеннопараллельной классификации данных ДЗЗ, реализуемая как на дорогостоящих суперкомпьютерах, так и на кластерах из недорогих типовых ПЭВМ в локальной сети, и учитывающая особенности классификации многоканальных данных при использовании классификаторов с линейным разделением и оценкой УПР, а также при применении расширенного признакового пространства.
Известно, что контролируемые классификаторы предполагают предварительное обучение по значениям обучающих выборок ={i, i=1,2,Е,M} классов i и сохранение параметров обучения классификатора ={i, i=1,2,Е,M}, M - число классов. Параметры , как правило, немногочисленны: для ИНС - это топология, веса синапсов, параметры пороговых функций, для метода опорных векторов - векторы весов wj и свободные коэффициенты bj, j=1,2,Е,M', M'=СM2, определяемые для каждой пары классов, где СM2 - число сочетаний из M по 2.
Технология распределенной классификации многоканальных данных ДЗЗ учитывает необходимость сравнительной простоты разработки ПО для вычислительного кластера, степень рационального использования его ресурсов и производительность, а также особенности предложенных двухэтапных методов классификации. Реализация распределенной классификации предполагает наличие управляющего (головного) вычислительного узла (p0) и N вычислительных узлов для параллельной обработки данных (pi, i=1,2,Е,N).
Этап 1. Формирование на p0 многоканального исходного массива данных, представленного либо каналами мультиспектрального АИ I и каналами текстурного блока данных I', либо только каналами гиперспектрального АИ I (без расчета текстурных каналов).
Этап 2. Построение на p0 обучающих выборок ={i, i=1,2,Е,M} основным критерием качества которых является репрезентативность.
Этап 3. При использовании классификатора с линейным разделением его обучение на p0 для распознавания каждого из i классов по выборкам с сохранением соответствующих параметров обучения ={i, i=1,2,Е,M}.
Этап 4. Разбиение исходного массива данных I (I') некоторой регулярной сетью на N фрагментов Ii (I'i) идентичного размера, где i = 1,2,Е,N, N - количество доступных для параллельной обработки ВУ, а также формирование N идентичных групп с параметрами (для классификации с линейным разделением) или с выборками (для классификации с оценкой УПР).
Этап 5. Полученные на этапе 4 N групп данных {Ii(I'i),} или {Ii(I'i), } передаются на pi, где исполняются идентичные процедуры попиксельной классификации фрагментов Ii (I'i), i=1,2,Е,N. При использовании двухэтапной схемы и расширенного пространства признаков на первом этапе на pi передаются фрагменты данных I'i, а на втором, после окончания обработки, - фрагменты данных Ii. При многоядерной архитектуре pi осуществляется дополнительное разделение фрагмента Ii={Iij, j=2Еn} (I'i={I'ij, j=2Еn}) для SMP-обработки (Symmetrical Multi Processing) фрагментов Iij (I'ij) на каждом из n ядер узла pi. Результатом обработки этапа являются фрагменты тематической карты R'i, i=1,2,...,N.
Этап 6. Фрагменты R'i пересылаются на p0, где происходит их компоновка в единую тематическую карту T={R'i, i=1,2,...,N}, а также оценка карты T критерием точности.
Для оценки ключевых параметров технологии распределенной обработки данных ДЗЗ на наборе тестовых изображений с различными характеристиками (примеры тестовых изображений - в табл. 3) проведен ряд экспериментов, направленных на определение:
типа классификатора для данных с различными характеристиками;
производительности кластеров различной конфигурации (недорогие пользовательские ПЭВМ, объединенные в локальной вычислительной сети невысокой пропускной способности - конфиг. 2; суперкомпьютер петафлопной производительности - конфиг. 3; различное число N доступных ВУ, в том числе в многоядерной архитектуре);
параллельного ускорения SN = tпослед/tВУ, где tпослед - общее время исполнения последовательного варианта алгоритма, tВУ - время исполнения параллельного варианта алгоритма с использованием N вычислительных узлов, а также эффективности EN = SN/N параллельной классификации данных ДЗЗ на кластерах различной конфигурации.
Таблица 3. Характеристики модельных данных высокой размерности Номер Размеры, Число Объем, Размерность изображения пикс. классов Мб 1 30003000 10 5 2 30003000 20 5 13 30003000 100 5 8Оценка точности и вычислительной эффективности классификаторов при различных законах распределения данных показала наиболее высокие и устойчивые результаты классификатора SVM. С увеличением размерности признакового пространства точность классификатора SVM возрастает, что объясняется увеличивающейся разделимостью классов.
Сравнение вычислительной эффективности классификаторов показывает существенное преимущество SVM перед k-NN, лишь немного уступая более простым классификаторам Hypermin, Hypersam и стандартного гауссова классификатора. Фрагмент результатов исследований, полученных для классификатора SVM, характеризующегося меньшими требованиями к пропускной способности каналов связи кластера, приведены на рис. 4.
0,0,0,0,0,0,0,1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8 конфиг. 2, изобр. 13 конфиг. 2, изобр. 1 N N конфиг. 3, изобр. 13 конфиг. 3, изобр. 1 конфиг. 3, изобр. Рис. 4. Результаты оценки параллельной классификации многоканальных данных N и S E Ускорение Эффект N вность Результаты экспериментов позволили сделать ряд рекомендаций по практическому использованию различных схем автоматизированной интерпретации мульти- и гиперспектральных АИ при распределеннопараллельном исполнении. В частности, при параллельной обработке значительного объема обучающих данных с произвольным распределением следует использовать непараметрические классификаторы с линейным разделением. Кроме того, наблюдается значительное преимущество использования суперкомпьютера при классификации АИ объемом в сотни мегабайт, а на данных меньшего объема производительность кластера на базе недорогих типовых ПЭВМ и дорогостоящего суперкомпьютера сопоставимы.
В пятой главе предложено математическое обеспечение моделирования изменений ландшафтного покрова, позволяющее по имеющимся разновременным данным ДЗЗ строить прогнозные карты динамики ландшафтного покрова, с высокой степенью адекватности отражающие в привычном для исследователя представлении происходящие процессы и явления ландшафта. Это математическое обеспечение формирует теоретические основы интеллектуальной обработки данных ДЗЗ.
Базовый подход к построению прогнозных ландшафтных карт по разновременным данным с учетом изложенных принципиальных основ их формирования, позволяет на базе разновременных тематических карт Tt2 и Tt1 на моменты времени t2 и t1, матрицы вероятностей переходов P = [pij] = fP(Tt1,Tt2) (стохастической матрицы) из типа i в тип j, матрицы Mф = [mфij] = fф(Tt1,Tt2) фактического числа переходов элементов на отрезке времени t2[t2;t1] и матрицы Mож = [mожij] = fож(Mф,P) ожидаемого числа переходов элементов на отрезке t1[t1;t], а также с помощью сравнительно простых правил функционирования КА за десятки и сотни итераций алгоритма моделирования, последовательно изменяя карту Tt(называемой поэтому базовой), строить прогнозную тематическую карту T't на некоторый момент времени t в будущем. При этом вычислительная процедура требует существенных вычислительных затрат.
Матрица фактических переходов определяется как Mф = [mфij], где mijф - число элементов, перешедших из типа i в тип j на изображениях Tt2 и Tt1 соответственно, i,j = 1,...,M, M - число типов поверхности на исследуемой территории. Стохастическая матрица P = [pij] определяется по значениям матрицы Mф, сумма элементов каждой строки которой задает количество пикселей, принадлежащих соответствующим типам ландшафтного покрова на момент времени t2, а сумма элементов каждого столбца - ту же информацию на момент времени t1, причем t2 < t1. Для того, чтобы из Mф получить матрицу ожидаемых переходов Mож, необходимо выполнить следующие действия:
1. Транспонировать Mф и получить Mт.
ф M M si 2. Найти вектор S = [s1 s2ЕsM]т, причем (m )т m.
ij ji j1 j3. Рассчитать Mож= [mожij] = [sipij], i,j = 1,...,M.
Период времени, соответствующий t2, называют наблюдаемым, а t1 - прогнозным. Различают построение прогнозной карты для небольшого временного интервала (при t1t2 - краткосрочное прогнозирование), и для значительного временного интервала (при t1>t2 - долгосрочное прогнозирование). Наибольшее развитие стохастические алгоритмы моделирования получили при решении задач краткосрочного прогнозирования при условии относительного равенства наблюдаемого и прогнозного интервалов.
Базируясь на принципах прогнозирования изменений ландшафтного покрова, правила функционирования КА предложено задавать на вероятностной основе с использованием результирующей вероятности как pijрез ~ pijвер pijпр pijдоп. Причем вероятностные компоненты pijвер, pijпр и pijдоп могут определяться различными способами. Компонент pijвер может быть определен как pijвер = pij или как pijвер = pijnj на основе стохастической матрицы P=[pij], где nj - число элементов типа j в окрестности заданного КА. Компонент pijдоп при наличии соответствующей априорной информации о буферных зонах, расстоянии до сетей инженерных коммуникаций и других аналогичных данных, может быть сформирован с помощью вероятностных карт соответствия, построенных с использованием функций пространственного анализа.
Определение вероятностного компонента pijпр предлагается реализовать с использованием набора пространственных метрик. Следует отметить, что применение десятков потенциально доступных для практического использования пространственных характеристик, в том числе для определения pijпр, которые позволяют учитывать пространственные особенности ландшафта, сопряжено в моделировании КА с необходимостью решения отдельной подзадачи. Она заключается в поиске небольшого числа пространственных характеристик и порядка анализируемой окрестности, которые бы не только имели минимальную взаимную корреляцию и позволяли бы выявлять особенности анализируемого ландшафта в широком диапазоне, но и были полезны при совместном применении. Учет широкого диапазона пространственных особенностей исследуемого ландшафтного покрова позволит более корректно выявлять вероятности перехода из типа i в тип j, задаваемые вероятностной компонентой pijпр.
Такой поиск предполагает оригинальную технологию практического использования пространственных характеристик, применимую для эталонных разновременных данных с требуемой ландшафтно-классовой структурой, и предваряющую собственно моделирование изменений ландшафта:
поиск ограниченного набора пространственных метрик, обладающих незначительной корреляцией и позволяющих оценить пространственные особенности ландшафта в широком диапазоне;
оценка подходящего для используемых данных размера анализируемой окрестности;
определение способа учета пространственных характеристик при расчете вероятностной компоненты pijпр;
анализ значимости вклада каждой из метрик и определением наиболее целесообразного их количества и сочетания при совместном применении в моделировании с использованием КА.
Найденный лоптимальный ограниченный набор метрик следует использовать для определения вероятностной компоненты pijпр и расчета результирующей вероятности перехода pijрез, используемого в КА.
Приведен пример практического использования предложенной технологии для 7-ми различных пространственных характеристик, рассчитываемых в некотором анализируемом окне для заданного типа ландшафта k: СFO - относительная частота элементов в окрестности, СPD - относительная частота фрагментов, СAFM - оценка средней длины периметра фрагментов, СADP - оценка среднего расстояния между фрагментами, СLD - плотность элементов, СLPS - плотность фрагментов, СPAFRAC - оценка конфигурации участка. Расчет и визуальный анализ характеристик подтверждает их существенно различную способность к выделению ландшафтно-классовых особенностей исследуемой области (рис. 5, на основе тестовых данных растровой ГИС Idrisi Kilimanjaro).
N S СLD СLSP СPAFRAC а б в г Рис. 5. Примеры расчета пространственных характеристик для окрестности 55, полученные для типа k High Density Residential Area (а-в), исходное растровое изображение (г) При решении задач долгосрочного прогнозирования изменений ландшафта прогнозный период значительно превосходит наблюдаемый, что ведет не только к еще более значительному росту необходимых вычислительных затрат и неизбежному в этом случае снижению адекватности результатов прогнозирования, но и к ряду других сопутствующих сложностей адаптации моделей для таких задач. Среди них - формирование при многоитерационном моделировании входных данных, расчет основных матриц модели, а также поиск способов снижения вычислительных затрат без значительной потери точности.
Рассмотрим в обобщенном виде алгоритм моделирования изменений покрова, адаптированный для задач долгосрочного прогнозирования.
Шаг 1. Задать Tt1,Tt2, t1, t2, t.
Шаг 2. Определить стохастическую матрицу P = fP(Tt1,Tt2), задать Itermax = (t1 - t2)/(t - t1) = t1/t2.
Шаг 3. Определить начальное базовое изображение Tb(1)= Tt1, k = 1.
Шаг 4. Рассчитать Mф(k) = fф(Tb(kЦ1),Tb(k)), Mож(k) = fож(Mф(k),P).
Шаг 5. Для k' = 1,2,Е,Iter'max(k) пока S' < SIter'max(k) выполнять предопределенную процедуру преобразования элементов Tb(k), формируя на текущем отрезке t(k) прогнозное изображение T'b(k).
Шаг 6. Найти базовое изображение для k-ой итерации как Tb(k)= T'b(k).
Шаг 7. Если k < Itermax, то шаг 4 и k = k + 1.
Шаг 8. Tt'= Tb(k).
Шаг 9. Конец.
На шаге 5 реализуется алгоритм моделирования для краткосрочного прогнозирования при t1t2, причем S' - текущее, а SIter'max - общее число преобразованных элементов. Результатом работы алгоритма моделирования будет прогнозное изображение Tt' на момент времени t'.
Исследуемые алгоритмы моделирования изменений ландшафтного покрова даже при краткосрочном прогнозировании являются многоитерационными и затратными с вычислительной точки зрения. Тем более вычислительные затраты возрастут при увеличении объемов используемых исходных данных (например, при возрастании геометрических размеров разновременных растровых карт Tt2 и Tt1 или при увеличении числа M ландшафтных классов на исследуемой территории), а также в связи с возрастанием прогнозного периода времени t1 при долгосрочном прогнозировании. Для снижения вычислительных затрат алгоритма моделирования предложены способы, основанные на неполном выполнении необходимых преобразований, и позволяющие учитывать при этом различную приоритетность - точность или скорость обработки данных. Наиболее значительное снижение вычислительных затрат применением предложенных способов достигается при долгосрочном прогнозировании для матриц вероятностей переходов при условии pij 0,0 и pij 0,81,0.
Сформулированы требования к параллельному алгоритму моделирования и рассмотрены два принципиально различных варианта организации параллельных вычислений при моделировании изменений ландшафтного покрова, отличающихся отсутствием или присутствием взаимного влияния вероятностных компонентов. Приведены примеры вариантов распределенных версий алгоритмов моделирования изменений ландшафтного покрова, обеспечивающих взаимное влияние вероятностных компонентов. Поиск вариантов параллельной реализации алгоритма моделирования показывает практическую сложность фрагментации указанных данных и разделения соответствующих параметров алгоритма по ВУ кластера таким образом, чтобы полностью сохранить логику его традиционного последовательного исполнения.
Предложены два основных варианта возможной реализации параллельного алгоритма моделирования изменений ландшафтного покрова - с собственными и с разделяемыми матрицами тенденций изменения на ВУ кластера. Для оценки предположений об уровне адекватности распределенных версий основного алгоритма моделирования его традиционному последовательному аналогу проведены многочисленные эксперименты на тестовых разновременных данных с использованием суперкомпьютерной и типовой конфигураций вычислительного кластера с варьируемым числом ВУ. Результаты экспериментов позволили оценить производительность, параллельное ускорение и параллельную эффективность предложенного алгоритма, сформулировать рекомендации по его практическому применению. В частности показано, что производительность обработки данных с помощью дорогостоящего вычислительного кластера в 2,02,5 раза выше, а с помощью кластера из типовых ПЭВМ в локальной сети в 1,82,0 раза выше, чем аналогичная обработка данных, выполненная последовательным аналогом. Также показано, что адекватность алгоритма моделирования с синхронизацией матриц тенденций изменения последовательному аналогу будет различной для различных исходных данных и снижается при росте числа используемых ВУ и увеличении горизонта прогнозирования.
Предложен многоэтапный подход к прогнозированию динамики ландшафтного покрова по разновременным данным ДЗЗ, характеризующийся альтернативным применением гибких схем автоматизированной интерпретации мульти- и гиперспектральных АИ, а также моделирования изменений ландшафтного покрова с использованием аппарата КА и технологии применения пространственных характеристик, позволяющих строить в условиях дефицита информации о ландшафтноклассовой структуре и о статистических характеристиках классов более точные исходные разновременные тематические карты, позитивно влияя на адекватность отражаемых процессов и явлений при кратко- и долговременном прогнозе динамики исследуемого ландшафтного покрова.
В шестой главе выполнен выбор базовых сред разработки системы и интерфейса параллельных вычислений. С учётом изложенных во 2-ой главе концепции и результатов экспериментальных исследований новых методов и алгоритмов из глав 3-5, предложена структура ПО системы, включающая подсистемы, базирующиеся на ПО сторонних производителей и на оригинальном ПО (рис. 6).
Интерфейс пользователя Специализированное ПО ПО ГИС Idrisi Kilimanjaro Подсистема предварительной обработки Подсистема приема и регистрации Модули предварительной обработки АИ - геокодирование, трансформации, фильтрация и др.) Подсистема подготовки данных для управления Подсистема интеллектуальной обработки Подсистема сбора заявок и распространения данных потребителям Интерпретация АИ Прогнозирование Модуль визуализации Модуль построения карт многоканальных изображений Подсистема архивирования и каталогизации соответствия и проведения пространственного анализа Модуль построения обучающих Модуль сжатия Модуль сжатия выборок и оценки их мультиспектральных гиперспектральных репрезентативности АИ без потерь АИ без потерь Модуль оценки точности Модуль оценки точности моделирования интерпретации Модуль сжатия Модуль мультиспектральных сегментирования АИ с потерями мультиспектральных Модуль формирования Модуль построения АИ признакового пространства с пространственных использованием текстурных характеристик ландшафта признаков Модуль каталогизации и хранения данных Интерфейс ADO Модуль нейросетевой имитации Модуль оценки значимости пространственных Библиотека базовых классов для характеристик ландшафта СУБД нейросетевой имитации MS SQL Server 20Прикладной интерфейс на базе Модуль классификации Модуль распределеннопредставлений и хранимых мультиспектральных АИ параллельного процедур моделирования изменений ландшафтного покрова Модуль классификации БД гиперспектральных АИ БД аэрокосмических моделей и других Модуль кратко- и изображений информационных долгосрочного Модуль распределеннопродуктов пространственного параллельной классификации моделирования изменений Средства долговременного хранения (RAID) мульти- и гиперспектральных АИ ландшафтного покрова Рис. 6. Структура ПО системы мониторинга ПО суперкомпьютера СКИФ ПО среды высокопроизводительной распределенно параллельной обработки Интерфейс параллельного программирования MPI Сетевые коммуникационные интерфейсы ПО импорта / экспорта (HTTP, SSH), TCP/IP) ПО ПЭВМ Для разработки пользовательского интерфейса предложено использовать среду Borland Delphi 2009. Учитывая требования к высокой вычислительной эффективности модулей собственной разработки применена среда Microsoft Visual C++ 2008. Организацию высокопроизводительных распределенно-параллельных вычислений предложено реализовать в архитектуре с распределенной памятью на основе SMP-обработки с использованием интерфейса параллельного программирования MPI (библиотека MPICH 2.0). Взаимодействие между программными модулями, созданными с использованием разных сред и языков программирования, осуществляется посредством вызова соответствующих функций из динамически связываемых библиотек.
Показана детализированная модульная структура ПО основных подсистем обработки данных - интеллектуальной обработки и архивирования и каталогизации. Отличительной особенностью подсистемы архивирования и каталогизации является наличие модулей сжатия мульти- и гиперспектральных АИ. Модуль каталогизации и хранения данных реализован с использованием языка Transact-SQL на основе СУБД MS SQL Server 2008, а в качестве механизма доступа к БД используется технология Microsoft ActiveX Data Objects. Для долговременного хранения значительных объёмов данных в модуле каталогизации и хранения предусмотрены файловый сервер и средства на основе RAID-технологии. Показана структура модуля распределеннопараллельного моделирования изменений ландшафтного покрова, учитывающего особенности кратко- и долгосрочного прогнозирования, а также примеры экранных форм пользовательского интерфейса системы.
В заключении приведены основные результаты диссертационной работы.
В приложении обсуждаются результаты практического применения разработанного математического и программного обеспечения системы при решении наиболее распространенных задач аэрокосмического мониторинга. С использованием данных панхроматической и мультиспектральной космической съемки, полученных системой ДЗЗ IRS, решена задача тематического картирования территории СевероВасюганского газоконденсатного месторождения ОАО Востокгазпром в Томской области. На основе разновременных космических снимков системы ДЗЗ Landsat ETM+ решена практически важная задача анализа динамики ландшафтного покрова фрагмента территории ХантыМансийского автономного округа. По разновременным космическим снимкам системы ДЗЗ Landsat TM и Landsat ETM+, а также с использованием соответствующих тематических карт территории землепользования региона Синтра-Кашкаиш (Португалия) решена задача краткосрочного и долгосрочного прогнозирования роста заселенных территорий.
ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ 1. Анализ проблем мониторинга окружающей среды, отмечающий такие ключевые недостатки в построении современных систем мониторинга как отсутствие значительной гибкости в подходах к обработке данных ДЗЗ в условиях значительных объемов регулярно принимаемой и хранимой аэрокосмической информации и совершенствования её спектральной и пространственной разрешающей способности, а также отсутствие концепции построения региональных систем мониторинга, лишенных в значительной мере отмеченных недостатков.
2. Концепция построения региональной информационной системы, предназначенной для комплексного решения современных задач экологического мониторинга. Отличительной особенностью систем, реализующих предложенную концепцию, является возможность использования данных дистанционного зондирования Земли с различными характеристиками, позволяющая с высокой степенью точности и оперативности выполнять комплексную интеллектуальную обработку данных и создавать спектр оригинальных информационных продуктов, направленных на повышение эффективности решения задач мониторинга.
3. Оригинальные методы и алгоритмы автоматизированной интерпретации мульти- и гиперспектральных аэрокосмических изображений, отличающиеся от аналогов низкой чувствительностью к статистическим характеристикам данных, и, при этом, обладающих увеличенной до 10% точностью классификации и в десятки раз повышенной вычислительной эффективностью обработки.
4. Оригинальные подходы, методы и алгоритмы построения по разновременным аэрокосмическим данным прогнозных карт динамики ландшафтного покрова, учитывающие особенности краткосрочного и долгосрочного прогнозирования, и отличающиеся более высокой адекватностью отражения процессов и явлений ландшафта и точностью построения прогнозных карт в условиях дефицита исходной информации.
5. Оригинальные подходы к автоматизированной интерпретации аэрокосмических изображений и к построению прогнозных ландшафтных карт динамики, увеличение производительности которых в 1,82,5 раза достигается применением методов и алгоритмов, адаптированных для параллельных вычислений, применимых как на дорогостоящих суперкомпьютерах, так и на кластерах из недорогих типовых ПЭВМ.
6. Оригинальные подходы и алгоритмы сжатия аэрокосмических изображений, позволяющие увеличить степень сжатия до 1,53,0 раз и повышающие эффективность процедур архивирования, каталогизации и передачи данных по каналам связи в условиях значительных объемов накопленной и получаемой наземными сегментами систем дистанционного зондирования Земли аэрокосмической информации.
7. Программное обеспечение системы мониторинга, реализующее предложенную концепцию построения системы, и созданное на основе оригинального математического обеспечения усовершенствованной обработки данных и результатов экспериментальных исследований с использованием тестовых модельных и реальных данных.
8. Практическая апробация математического и программного обеспечения системы мониторинга при решении прикладных задач аэрокосмического мониторинга на территории России (Томская область, Ханты-Мансийский автономный округ) и за рубежом (Португалия) с использованием спутниковых изображений различных систем дистанционного зондирования Земли.
СПИСОК ОСНОВНЫХ ПУБЛИКАЦИЙ Монографии:
1. Zamyatin A. Advanced Processing of Remote Sensing Data for Land Use and Land Cover. LAP Lambert Academic Publishing AG & Co. KG.
Saarbrcken. Germany. - 2010. - 232 p.
2. Замятин А.В., Марков Н.Г. Анализ динамики земной поверхности с использованием данных дистанционного зондирования Земли. - M.:
Физматлит. - 2007. - 176 c.
Статьи в журналахиз перечня ВАК:
3. Cabral P., Zamyatin A. Markov processes in modeling land use and land cover changes in Sintra-Cascais, Portugal // DYNA, Sede Medellin, 2009. - vol. 76. - № 158. - pp.191-198.
Кабрал П., Замятин А. Марковские процессы в моделировании изменений ландшафтного покрова территории Синтра-Кашкаиш, Португалия.
4. Замятин А.В. Концепция региональной информационной системы аэрокосмического мониторинга с интеллектуальной распределеннопараллельной обработкой данных // Информационные технологии, 2011. - № 7. - С.38-43.
5. Замятин А.В. Дифференцированное сжатие аэрокосмических изображений с потерями // Информационные технологии, 2011. - № 6. - С. 60-65.
6. Замятин А.В. Стохастический алгоритм моделирования для задач долгосрочного прогнозирования изменений ландшафтного покрова // Математическое моделирование, 2010. - Т.22. - №11. - С. 148Ц160.
7. Замятин А.В. Распределенные вычисления в задачах автоматизированной интерпретации аэрокосмических изображений // Информационные технологии, 2010. - №6. - С.75-79.
8. Замятин А.В. Анализ динамики ландшафтного покрова на основе данных дистанционного зондирования Земли // Исследование Земли из космоса, 2006. - №6. - С.50-64.
9. Замятин А.В., Марков Н.Г. Непараметрическая классификация аэрокосмических изображений с использованием набора текстурных признаков // Исследование Земли из космоса, 2006. - №1. - C. 25-34.
10. Замятин А.В., Марков Н.Г., Напрюшкин А.А., Адаптивный алгоритм классификации с использованием текстурного анализа для автоматизированной интерпретации аэрокосмических изображений // Исследование Земли из космоса, 2004. - №2. - С. 32-40.
11. Замятин А.В., То Динь Чыонг. Повышение эффективности алгоритма сжатия многозональных аэрокосмических изображений // Известия Томского политехнического университета. - Томск, 2008. - T.313. - № 5. - С. 24-28.
12. Замятин А.В., То Динь Чыонг. Сжатие многозональных аэрокосмических изображений с использованием вейвлет-преобразования и учетом междиапазонной зависимости // Известия Томского политехнического университета. - Томск, 2008. - T.313. - № 5. - С. 20-24.
13. Замятин А.В. Применение пространственных характеристик при моделировании изменений ландшафтного покрова с использованием клеточных автоматов. // Известия Томского политехнического университета. - Томск, 2008. - T.313. - № 5. - С. 14-20.
14. Замятин А.В., Михайлов П.В., Кабрал П. Современные средства для решения задач анализа динамики и прогнозирования изменений ландшафтного покрова // Известия Томского политехнического университета. - Томск, 2006. - T.309. - № 7. - C.80-86.
15. Замятин А.В., Марков Н.Г. Подход к моделированию изменений земной поверхности с использованием клеточных автоматов // Известия Томского политехнического университета. - Томск, 2005. - T.308. - № 6. - С. 164-169.
Свидетельство об официальной регистрации программного обеспечения:
16. Программное обеспечение для распределенно-параллельного моделирования изменений ландшафтного покрова / Афанасьев А.А., Замятин А.В. // Свидетельство о государственной регистрации программы для ЭВМ № 2011615128 от 29.06.2011 г.
Авторефераты по всем темам >>
Авторефераты по техническим специальностям