Привод ленточного конвеера
Курсовой проект - Разное
Другие курсовые по предмету Разное
?азования данных метаданные из оперативных систем помещаются в репозитарий. Подобная физическая и логическая модель используется продуктами преобразования для извлечения, контроля корректности и очистки данных перед их загрузкой в БД. Применяемая СУБД может быть реляционной, многомерной, или сочетать оба этих подхода. Инструменты доступа к данным и анализа позволяют обращаться к информации хранилища данных. Информационный каталог интегрирует технические и аналитические метаданные таким образом, чтобы облегчить поиск и запуск имеющихся запросов, отчетов и приложений, работающих с хранилищем.
В центре инфраструктуры Data Warehouse Framework лежат совместно используемые метаданные, хранимые в репозитарии Microsoft Repository, поставляемом в качестве компонента Microsoft SQL Server 7.0. Microsoft Repository - это БД, хранящая описательную информацию о программных компонентах и их взаимосвязях. Эта информация включает в себя модели Open Information Model (OIM) и набор опубликованных COM-интерфейсов. Элементы Open Information Model - это объектные модели для конкретных типов информации, достаточно гибкие для того, чтобы поддерживать и новые типы информации, а также быть
расширяемыми для нужд конкретных пользователей или производителей. Microsoft в сотрудничестве с другими компаниями уже разработала OIM-модели для таких задач как Database Schema, Data Transformations и OLAP. Планируется подготовка моделей для тиражирования, планирования графика задач, семантических моделей и информационного каталога, содержащего метаданные как технического, так и делового характера.
Отраслевой консорциум, в который вошли 53 поставщика, The Metadata Coalition, созданный для выработки стандартов технологии обмена метаданными разных производителей, объявил о поддержке Microsoft Repository, а готовые модели Repository OIM уже широко используются в продуктах сторонних независимых поставщиков программного обеспечения.
Проектирование хранилища данных
Этап разработки, входящий в процесс создания хранилища данных, часто начинается с построения модели бизнеса с точки зрения измерений, в которой на основе информационных потребностей пользователей описываются существенные метрики и измерения избранной предметной области. В отличие от систем оперативной обработки транзакций (online transaction processing, OLTP), где информация организована в максимально нормализованном виде, данные в хранилище существенно денормализуются, чтобы повысить производительность запросов к хранящей их реляционной СУБД.
Рис. 2. Пример схемы "звезда". В рамках этой схемы БД центральная таблица "фактов" снабжается ссылками на связанные с ней справочные таблицы, иначе называемые таблицами измерений.
Для обеспечения максимально быстрого выполнения сложных запросов в реляционных БД часто применяются схемы "звезда" и "снежинка". Схема "звезда" содержит центральную таблицу фактов предметной области и несколько таблиц измерений, хранящих описательную информацию об измерениях, характеризующих эти факты. Центральная таблица фактов может содержать много миллионов строк. Информация, представляющая наибольший интерес для пользователей, часто проходит предварительное агрегирование и обобщение, чтобы еще более повысить производительность.
Хотя схема "звезда" в первую очередь считается инструментом администратора БД, повышающим производительность и упрощающим проектирование хранилища данных, она также представляет собой полезный стандарт представления информации хранилища данных в виде, хорошо понятном бизнес-пользователям.
"Накопитель данных" хранилища
В сердце хранилища данных находится БД, поэтому критически важно строить подобные системы на базе высокопроизводительного механизма, способного справиться не только с текущими, но и с будущими потребностями организации. Реляционные СУБД являются наиболее общепринятыми "резервуарами" для огромных массивов информации, содержащихся в хранилищах данных. Кроме того, все чаще и чаще эти реляционные системы дополняются многомерными серверами OLAP, поддерживающими расширенные средства навигации и повышение производительности сложных запросов. Также существенными являются средства тиражирования БД в зависимые киоски данных и обеспечения согласованности между географически разнесенными зеркальными копиями киосков данных.
Масштабируемая и надежная реляционная СУБД
В Microsoft SQL Server 7.0 имеется множество функций, делающих эту СУБД превосходной платформой для хранилищ и киосков данных, в частности:
- Поддержка терабайтных БД, позволяющая реализовывать самые крупные хранилища данных.
- Масштабируемость в рамках всей организации - от сверхбольших БД до серверов подразделений и даже портативных компьютеров, оснащенных на 100% совместимым на уровне исходных кодов вариантом СУБД для настольных систем - обеспечивающая непревзойденную гибкость и доступ к центральным источникам данных.
- Высокоразвитые средства обработки запросов, поддерживающие оптимизацию и выполнение сложных запросов, типичных для приложений хранилищ данных, в том числе запросов с соединениями таблиц, организованных по схеме "звезда".
- Параллелизм "внутри запроса", обеспечивающий повышение производительности за счет разбиения единого сложного запроса на отдельные части и распределения нагрузки на несколько процессоров с использованием в том числе и удаленных серверов. <