Обработка больших научных массивов данных
| Вид материала | Документы |
- Обучение современным технологиям обработки больших массивов данных на кластерных системах, 107.94kb.
- «Проблематика отображения на электронных картах больших массивов геопространственного, 115.74kb.
- Представление о программе, 1104.33kb.
- Лекция № Распределение памяти. Динамические переменные, 73.48kb.
- Информатизации структур государственной службы реферат, 60.69kb.
- Обработка одномерных массивов, 21kb.
- Использование программных массивов для обработки большого числа однотипных данных (на, 94.99kb.
- Лекции 3 Статистическая обработка результатов спортивных измерений, 40.29kb.
- Цель любой программы обработка данных, т е. надо грамотно построить структуры данных, 165.23kb.
- Память 1Основные термины ram, 249.49kb.
Обработка больших научных массивов данных
Павел Велихов, НИИСИ РАН
Развитие технологий приемных устройств привело к необходимости хранения, обработки и анализа сверхбольших объемов научных данных.
Современные компьютерные и информационные технологии не готовы для решения этих задач и требуются новые решения, ориентированные на работу с научными данными, доступные для научного сообщества и масштабируемые на сотни петабайт. В астрономии, физике высоких энергий, в науках о земле вопрос о подходящей системе хранения и обработке научных данных встает особенно остро. Современные СУБД, хотя и достигают высоких скоростных характеристик, но оказались неприспособленными для хранения и обработки научных данных и не подходящими для крупных научных проектов.
В 2008 году стартовал проект SciDB, в котором принимает участие несколько российских ученых и разработчиков, целью которого - создание СУБД именно для работы с научными данными больших объемов. SciDB - это массивно параллельная СУБД с открытой лицензией и рядом технических решений для работы с научными данными.
Например, SciDB избегает большинства накладных расходов связанных с сихнронизацией в OLTP базах данных; моделью данных в SciDB является многомерный массив; SciDB хранит данные с перехлестом, позволяющим параллельно обрабатывать данных с малым количеством коммуникаций между узлами. В докладе будут детально освещены проблемы, стоящие перед научным сообществом и решения, которые предлагает система SciDB.
Более подробные материалы доклада будут доступны на страничке конференции
ссылка скрыта через несколько дней после её окончании.