Авторефераты по всем темам  >>  Авторефераты по земле  

На правах рукописи

РЕБРИЙ АЛЕКСАНДР ВАЛЕРЬЕВИЧ

ИССЛЕДОВАНИЕ И РАЗРАБОТКА МЕТОДОЛОГИИ СОЗДАНИЯ БАЗ ПРОСТРАНСТВЕННЫХ МЕТАДАННЫХ

Специальность 25.00.35 - Геоинформатика

Автореферат

диссертации на соискание ученой степени

кандидата технических наук

Москва - 2012 

Работа выполнена на кафедре  информационно-измерительных систем Федерального государственного бюджетного образовательного учреждения высшего профессионального  образования Московского государственного университета геодезии и картографии (МИИГАиК).

Научный руководитель:        доктор технических наук, профессор Майоров Андрей Александрович.

Официальные оппоненты:

Цветков Виктор Яковлевич - доктор технических наук, профессор, кафедра экономики и предпринимательства Федерального государственного бюджетного образовательного учреждения высшего профессионального  образования Московского государственного университета геодезии и картографии (МИИГАиК).

Бровко Елена Алексеевна - кандидат технических наук, ученый секретарь, начальник сектора научно-технической информации ФГУП Государственный научно-исследовательский и производственный центр  Природа
(ФГУП Госцентр Природа).

Ведущая организация:       ФГУП Уральский региональный информационноЦаналитический центр Уралгеоинформ (ФГУП Уралгеоинформ).

Защита состоится л14 июня 2012 года, в 10.00  на заседании диссертационного совета Д 212.143.03 при Московском государственном университете геодезии и картографии по адресу: 105064, Москва, Гороховский пер., д. 4, зал заседаний Ученого совета.

С диссертацией можно ознакомиться в библиотеке МИИГАиК.

Автореферат разослан л12 мая 2012 г.

Ученый секретарь

диссертационного совета                         Климков Юрий Михайлович.

Общая характеристика работы

Актуальность темы.

Пространственные данные в современных условиях являются важнейшим, уникальным, а в некоторых случаях и единственным фактором реализации задач управления и развития территории страны, обеспечения ее обороноспособности, устойчивого политического, экономического и социального развития. Во всем мире объемы накапливаемых, обрабатываемых и используемых пространственных данных возрастают, расширяется номенклатура продукции и услуг, основанных на пространственно-привязанной информации.

В США, Канаде, Дании, Германии, Великобритании, Китае и многих  других странах задачи накопления, хранения, обработки и использования пространственных данных решаются в рамках правительственных программ в целях создания инфраструктур пространственных данных (ИПД). 

В 2006 году Правительством  Российской Федерации была принята Концепция создания и развития инфраструктуры пространственных данных в Российской Федерации (№ 1157-р от 21.08.2006),  определяющая основные цели, задачи  и этапы формирования ИПД.  В концепции, наряду с другими положениями, отражена важность и необходимость создания и  использования метаданных в целях исключения дублирования работ по созданию пространственных данных,  повышения качества и эффективности управления на государственном и муниципальном уровнях, создания Государственных информационных ресурсов, стимулирования рынка пространственных данных и т.д.

       На сегодняшний день в Российской Федерации отсутствуют доступные информационные ресурсы, отражающие наличие и характеристики  различных пространственных данных на территорию страны. Огромное количество пространственных данных Федерального картографо-геодезического фонда (ФКГФ) имеют ограниченное распространение на рынке Российской Федерации, в том числе по причине отсутствия опубликованных и доступных метаданных.

Цель диссертационной работы состоит в разработке методологии формирования, накопления, обработки и публикации в сети интернет метаданных пространственных данных (пространственных метаданных) в составе информационных ресурсов, образующих  основу для формирования инфраструктуры пространственных данных в Российской Федерации. 

       Достижение поставленной цели потребовало решения следующих основных задач:

  1. Исследование и анализ  отечественного и зарубежного опыта в сфере формирования, накопления и распространения  метаданных;
  2. Проведение сравнительного анализа способов и технологий работы с метаданными в различных ГИС средах;
  3. Разработка универсальной  функциональной  схемы формирования и ведения базы метаданных пространственных данных;
  4. Разработка концептуальной и логической  структуры базы метаданных;
  5. Разработка алгоритмов  и методики работы с базой метаданных через сеть  Интернет.

       Научная новизна работы заключается в следующем:

  • Разработана логическая структура базы метаданных пространственных данных,
  • Разработана  организационно-функциональная схема формирования и ведения базы метаданных,
  • Разработаны алгоритмы формирования и ведения базы метаданных.

Используемые  методы исследования включают в себя анализ,  моделирование, экспериментальный и проектный методы.  В ходе работы выполнялся анализ методических, нормативно-правовых и нормативно-технических документов в сфере геоинформатики.

Информационную основу работы составляют результаты научно-исследовательских, опытно-конструкторских работ, результаты проведённых экспериментов и исследований по теме диссертационной работы. В работе использовались материалы отраслевых, региональных научно-практических конференций  с представителями картографо-геодезических служб ряда стран Европы и СНГ.

Практическая значимость работы состоит в выработке системы научно-практических рекомендаций, типовых проектных решений, обеспечивающих эффективное решение задач сбора, накопления и распространения метаданных и позволяющих приступить к формированию информационных ресурсов - баз метаданных, предназначенных для формирования ИПД.

Результаты исследования были апробированы в научной и производственной деятельности ФГУП ГОСГИСЦЕНТР, доложены и одобрены на научно-практических конференциях, семинарах и совещаниях.

По теме диссертации опубликовано 13 работ, в том числе 6 в журналах, рекомендованных ВАК.

       Автор непосредственно принимал участие в разработке стандарта
ГОСТ Р Географическая информация. Метаданные, а также  являлся  руководителем проектов отраслевого и федерального значения, в которых на практике использовались представленные в диссертации методики и проектные решения.

Основные результаты работы, выносимые на защиту:

  1. Организационно-функциональная схема формирования и ведения базы метаданных.
  2. огическая  структура базы метаданных.
  3. Алгоритмы обработки метаданных при формировании базы метаданных и ее публикации в сети интернет.

Объем и структура работы.

Диссертация состоит из четырех глав, заключения и списка литературы, а также одного приложения.  Работа изложена на 117 страницах, включая
39 рисунков и 39 таблиц. Список используемой литературы включает 64  наименования.

Основное содержание работы.

ГЛАВА 1. Анализ состояния проблемы сбора, накопления, обработки и распространения пространственных метаданных  содержит определение и обоснование значимой роли метаданных  в процессах создания, сбора, накопления, обработки и распространения пространственных данных различного характера.

Доступность, полнота, достоверность и непротиворечивость метаданных позволяет  потенциальному потребителю пространственных данных оценить их пригодность для использования в целях решения задач прикладного характера.

Учитывая колоссальные объемы создаваемых пространственных данных, применение единых подходов и методик  формирования  метаданных  позволяет минимизировать информационные потери в процессе передачи  информации, а также  открывает новые возможности по интеграции метаданных и их совместной обработке. 

На сегодняшний день в этом направлении имеются существенные достижения, особенно в зарубежных странах  в рамках создания национальных ИПД.  В Российской Федерации наблюдается серьезное отставание в вопросах формирования единой политики по работе с пространственными данными.        В процессах производства, накопления и распространения пространственных данных, создание и использование метаданных не является обязательным.  На этот счет отсутствуют нормативно-технические и методические документы. Современные отечественные геоинформационные программные продукты (ГИС) не поддерживают международные стандарты на представление метаданных.

Разработанная в 2001 г. база метаданных для сбора, хранения и учета метаданных Федерального картографо-геодезического фонда (ФКГФ)  морально и технически устарела, не соответствует современным стандартам и не позволяет эффективно решать стоящие на сегодняшний день задачи.

В связи с этим представляется необходимым:

  • Разработать  и предложить к использованию  методики и алгоритмы формирования и ведения базы метаданных пространственных данных;
  • Разработать концептуальную и логическую структуру базы метаданных;
  • Разработать методику работы с базой метаданных в целях использования базы метаданных при формировании инфраструктуры пространственных данных.

       ГЛАВА  2. Разработка логической структуры базы метаданных.        
В этой главе описан процесс разработки логической структуры базы  метаданных, основанный на использовании международной практики, и с учетом современных требований, предъявляемым к функциям и задачам базы метаданных (рис.1).


Рис. 1. Описание метаданных в виде набора пакетов, сущностей и элементов.

Международная практика формирования и представления метаданных основывается на применении формализованных методик описания метаданных при помощи языка UML.

В соответствие с методикой международной организации по стандартизации ISO, структура метаданных представлена в виде отдельных блоков - UML пакетов. Каждый пакет состоит из сущностей, имеет определенное смысловое наполнение и характеризует тот или иной аспект  метаданных (рис. 2). 

Рис. 2. Концептуальная схема базы метаданных.

На основе проведенного анализа применяемого в международной практике подхода, была разработана концептуальная схема базы метаданных, представляющая собой набор взаимосвязанных сущностей, определяющая связи между ними и описывающая основные элементы их содержания.

Далее, на основе созданной  концептуальной модели, выполнено логическое проектирование структуры базы метаданных, в ходе которого, сущности, указанные на концептуальной схеме, преобразованы  в таблицы  базы данных (рис. 3).

Рис.3. Логическая схема базы метаданных.

Характеристики сущностей на логической схеме  представляют собой поля таблиц базы данных с указанием ключевых полей, типа хранимых  данных, а также обязательности или необязательности их заполнения.

Разработанная на основе концептуальной модели логическая структура базы метаданных отвечает требованиям стандарта ГОСТ Р  52573-2006  Географическая информация. Метаданные, совместима со стандартом ISO 19115 Географическая информация. Метаданные и  позволяет перейти к созданию (физическому проектированию)  базы метаданных на любой программной платформе. 

       ГЛАВА  3. Разработка методики и алгоритмов формирования и ведения базы метаданных. В этой главе содержится описание процесса разработки унифицированного подхода  к решению задачи  формирования и ведения базы метаданных в свете формирования инфраструктуры пространственных данных (ИПД).

За основу разработки организационно-функциональной схемы формирования и ведения базы метаданных взят абстрактный социум - административно-территориальная единица, отрасль, корпорация и т.п., а также приняты следующие положения: 

  • в социуме существует базы  разнородных по составу и структуре  пространственных данных,
  • информационные системы, обрабатывающие (содержащие) пространственные данные, не совместимы друг с другом,
  • переход на единую технологию создания, хранения и публикации пространственных данных в ближайшей перспективе  невозможен.

В общем случае  именно так выглядит ситуация в части создания ИПД в Российской Федерации.

В виду того, что работы по сбору, накоплению, обработке и публикации метаданных имеют критически важное значение для формирования ИПД,  предлагается возложить эти задачи  на уполномоченную  организацию - провайдер (рис.4).

Рис.4. Принципиальная схема формирования базы метаданных.

Для описания процесса формирования и ведения базы метаданных, а также для определения основных функций участников этого процесса,  разработана следующая организационно-функциональная модель (рис.5).

Рис. 5. Организационно-функциональная модель.

В целях формирования метаданных и их передаче к провайдеру, поставщик пространственных данных выполняет  работы по формированию метаданных по следующему алгоритму (рис.6).

Рис.6. Алгоритм формирования метаданных изготовителем.

       Автоматизация процессов формирования метаданных играет важнейшую роль при обработке больших массивов пространственных данных с целью формирования баз метаданных. В случаях, когда объемы единиц хранения пространственных данных достигают десятков и сотен тысяч (кадастровая информация, цифровые топографические карты, данные дистанционного зондирования и т.п.),  формирование и ведение баз метаданных вручную является практически невыполнимой задачей.

       После получения метаданных,  перед их загрузкой в базу метаданных провайдера, необходимо выполнить проверку целостности и качества метаданных по следующему алгоритму (рис.7):

Рис. 7.  Алгоритм обработки метаданных на стороне провайдера.

       

       В виду того, что все метаданные имеют пространственную привязку,  интернет-сайт с опубликованной базой метаданных должен предоставлять инструментарий для поиска метаданных как по заданным характеристикам (атрибутам), так и посредством интерактивной карты местности.

Для взаимодействия с базой метаданных посредством интернет-сайта предлагается использовать следующий алгоритм (рис.8):

Рис. 8. Общий алгоритм работы с базой метаданных в интернете.

В целях формирования логики работы программного обеспечения и проектирования пользовательского интерфейса базы метаданных в сети интернет, определены основные виды запросов к базе метаданных,  а именно:

Виды запросов по карте:

  • Найти пространственные данные в районе указанной точки на карте,
  • Найти данные вдоль линии заданной на карте,
  • Найти данные внутри заданного полигона (прямоугольника) на карте.

Виды запросов по базе метаданных:

  • Найти пространственные данные на территорию административно-территориальной единицы,
  • Найти данные по выбранному значению,
  • Найти данные по заданному условию, накладываемому на  значения.

Алгоритм обработки запросов представлен на рис.9.

Результатом обработки всех запросов является выдача перечня метаданных, удовлетворяющих условиям запроса.

Рис. 9. Алгоритм работы с базой метаданных в сети интернет.

В целях реализации созданных  алгоритмов формирования и ведения базы метаданных необходимо выбрать формат представления и обмена метаданными, который имеет широкое распространение, универсален и не зависит от используемой программной платформы. В качестве такого формата выбран формат XML.

В разработанных алгоритмах работы с базой метаданных через сеть интернет в качестве пользователя фигурирует человек, напрямую взаимодействующий  через пользовательский интерфейс с содержимым базы метаданных.

В случае, когда требуется интегрировать информацию из базы метаданных в пользовательские  программные продукты, предлагается использовать  технологию веб-сервисов,  чтобы  потребители могли получать метаданные в режиме лон-лайн и встраивать их в прикладные программы.

Интерфейсный модуль веб-сервиса для доступа к базе метаданных публикуется провайдером в виде WSDL-файла. Этот файл загружается  разработчиками в среду разработки приложений и затем преобразуется в используемый  язык программирования (рис.10). Это позволяет тесно интегрировать опубликованные через веб-сервис метаданные в пользовательские  бизнес-процессы.

Рис. 10. Интеграция веб-сервиса метаданных в пользовательскую информационную систему.

       ГЛАВА  4. Результаты практического внедрения методологии формирования и ведения базы метаданных. В этой главе приведены результаты практического внедрения разработанных в главах 2 - 3 алгоритмов и структур данных в рамках решения задачи по созданию  и ведению базы метаданных цифровых топографических карт Федерального картографо-геодезического фонда.

       В рамках практической реализации разработанной методологии были созданы следующие программные продукты:

  • Программная оболочка автоматизированного формирования метаданных цифровых топографических карт формата SXF,
  • База метаданных ФКГФ,
  • Действующий макет интернет-сайта базы метаданных,

В целях автоматизации и унификации процесса формирования метаданных у поставщиков метаданных (изготовителей картографической  продукции) была разработана автоматизированная технология (рис.11), позволяющая решать следующие задачи:

  • Считывать  метаданные из паспорта файла цифровой карты формата SXF,
  • Загружать метаданные в доступном для чтения и редактирования виде в программную оболочку,
  • Выполнять выгрузку метаданных в обменный формат XML для последующей передачи в организацию-фондодержатель (провайдер).

Рис. 11. Окно программной оболочки для создания метаданных листа карты в формате SXF.

В целях автоматизации процессов формирования и ведения базы метаданных цифровых карт была разработан программный комплекс (рис.12) База метаданных ФКГФ (далее - БМД).

БМД состоит из совокупности взаимосвязанных подсистем, обеспечивающих унификацию, документирование, контроль всех этапов  жизненного цикла листов цифровых карт: от создания - до выдачи потребителям.

Основными внешними пользователями БМД являются:

  • потребители, получающие сведения об имеющихся в ФКГФ цифровых картах и их характеристиках,
  • центральный аппарат Росреестра, получающий сведения статистического и аналитического характера по всем этапам формирования и ведения ФКГФ.

Рис.12. Окно работы с метаданными.

Программное обеспечение БМД разработано в соответствии  с архитектурой  клиент-сервер и предназначено для функционирования, как на отдельном компьютере, так и в локальных вычислительных сетях (ЛВС).

Выборка информации из БМД осуществляется путем формирования запроса  с  наложением условий на любые характеристики метаданных. Результат выполнения запроса представляется в табличном виде (рис. 13)  и может быть выгружен в форматы HTML или XML для дальнейшей обработки.

Рис. 13. Результат запроса к базе метаданных через интернет-сайт.

В целях решения задачи публикации метаданных в сети интернет, на основе алгоритмов, разработанных в главе 3,  был создан действующий макет интернет-сайта, основной задачей которого является информирование потенциальных потребителей о наличии в Федеральном картографо-геодезическом фонде (ФКГФ) цифровых карт различных масштабов, предоставление информации об их качестве и способе приобретения.

На интернет-сайте публикуются метаданные на каждый номенклатурный лист цифровой топографической карты открытого пользования, помещенной в ФКГФ. В соответствии с методикой, описанной в главе 3, для удобства работы с базой метаданных используется цифровая векторная карта (рис.14)  Российской Федерации  масштаба  1:1 000а000 .

В соответствии  с разработанными в главе 3 алгоритмами, для удобства пользования сайтом, запросы к базе метаданных сгруппированы по типам и отнесены к различным интерфейсным компонентам интернет-сайта.

Разработанный интернет-сайт базы метаданных доступен по адресу в сети интернет.

Рис.14. Фрагмент бланковой карты на интернет-сайте базы метаданных.

В целях анализа эффективности разработанных алгоритмов, методик, структур данных, было проведено нагрузочное тестирование интернет-сайта базы метаданных с целью наблюдения за показателями производительности системы при определенной нагрузке. Результаты тестирования отражают:  количество просмотров (запросов к базе метаданных), количество уникальных посетителей сайта и время, потраченное посетителями сайта на работу с базой метаданных.

Рис.15.  Количество просмотров

Анализ результатов тестирования (рис.15) показывает, что в среднем количество просмотров (запросов) в минуту за  период тестирования,
равно 400, при этом нагрузка не процессор системы составляла не
более 15 %. За время тестирования не было зафиксировано ни одного отказа и существенных задержек в работе базы метаданных не наблюдалось.

Практическая реализация алгоритмов и методик формирования, ведения и публикации базы метаданных, разработанных в Главе 3, показала их работоспособность, а также позволила:

  • автоматизировать  и  унифицировать процессы сбора метаданных цифровых топографических карт ФКГФ,
  • повысить эффективность централизованного формирования и ведения базы метаданных цифровых карт ФКГФ,
  • выполнить публикацию метаданных в сети интернет, доведя информацию до потенциальных потребителей цифровой картографической продукции.

Заключение.

В диссертационной работе выполнен анализ и обзор основных проблем создания и использования метаданных пространственных данных в Российской Федерации,  определены сферы применения метаданных, указана и обоснована необходимость их использования в целях создания Государственных информационных ресурсов и формирования инфраструктуры пространственных данных.

       На основе анализа имеющейся международной практики,  выполнено концептуальное и логическое проектирование, результатом  которого является структура  базы метаданных.

Предложены и проработаны с точки зрения формализации и оптимизации алгоритмы и организационно-функциональные схемы создания и наполнения баз метаданных.

Разработанная методология формирования баз пространственных метаданных представляет собой совокупность алгоритмов, структур данных, и сценариев их совместного использования в целях решения задач сбора, накопления и публикации пространственных метаданных.

       Результаты практического внедрения разработанной методологии показывают ее работоспособность, эффективность и основаны на ее использовании в работах по созданию и обновлению цифровых топографических карт различного вида в рамках реализации ФЦП ГЛОНАСС в 2009 - 2011 г.

Список опубликованных работ по теме диссертации:

  1. Плешков В.Г., Ребрий А.В., Степанова Я.В. Национальные атласы зарубежных стран. // Геодезия и картография. 2004. № 11.
  2. Плешков В.Г., Ребрий А.В., Степанова Я.В. О концепции создания электронной версии Национального атласа России.
    // Геодезия и картография. 2004. № 12.
  3. Плешков В.Г., Ребрий А.В., Степанова Я.В. Инфраструктура пространственных данных - архитектура, ориентированная на сервисы.
    // Геодезия и картография. 2005. № 5.
  4. Плешков В.Г., Ребрий А.В. Роль международных стандартов в создании инфраструктуры пространственных данных. // Тез. докл. Международный конгресс Великие реки 2004 18-21 мая 2004г. Нижний Новгород 2004.
  5. Плешков В.Г., Ребрий А.В. Электронная версия Национального атласа России как фундаментальное картографическое произведение.// Тез. докл. Международный конгресс Великие реки 2005 17-20 мая 2005г.
    Нижний Новгород 2005.
  6. Плешков В.Г., Ребрий А.В. О создании цифровой картографической продукции для систем навигации. // Геодезия и картография. 2006. № 4.
  7. Плешков В.Г., Ребрий А.В.  О создании геоинформационной системы органов государственной власти Республики Татарстан.
    // Геодезия и картография. 2006. № 7.
  8. Ребрий А.В. О создании цифровой картографической продукции  для решения задач  навигации и диспетчеризации. // Автоматизированные технологии изысканий и проектирования. № 1 (28)  2008 г.
  9. Ребрий А.В. О новой технологии формирования базы метаданных Федерального картографо-геодезического фонда
    // Геодезия и картография. 2008. № 5.
  10. Ребрий А.В. О создании и развитии отраслевого картографического портала.// Геодезия и картография. 2009 . №4.
  11. Ребрий А.В. О ходе работ по созданию интернет-портала Федерального картографо-геодезического фонда. // Тез. докл. Международный конгресс Великие реки 2009 Нижний Новгород 2009.
  12. Плешков В.Г., Ребрий А.В. Разработка картографического Интернет-портала Федерального картографо-геодезического фонда. // Геопрофи № 4, 2009 г.
  13. Плешков В.Г., Ребрий А.В. Создание и развитие картографического портала Федерального картографо-геодезического фонда. // Пространственные данные  № 3, 2009 г.
     Авторефераты по всем темам  >>  Авторефераты по земле