Книги по разным темам Pages:     | 1 | 2 | Электронный журнал ИССЛЕДОВАНО В РОССИИ 1226 Применение концепции IP-storage для создания распределенных систем хранения данных высокой степени готовности.

Фадеев А.Ю. ( alex@mipt.ru ) Московский физико-технический институт (Государственный университет) 1. Введение Несмотря на прогресс, достигнутый в последние годы в решении целого ряда задач, связанных с распределенными системами хранения данных, проблема создания высокопроизводительной и в то же время высоконадежной распределенной системы хранения данных продолжает оставаться сложной. Предложенные до настоящего времени методы решения, хоть и снимают некоторые аспекты данной проблемы, имеют ряд существенных недостатков, ограничивающих их область применения. Рассматриваемый в настоящей статье метод основан на использовании концепции IP-Storage, технологии RAID и журналируемой файловой системы. Высокая эффективность и низкая стоимость данного решения позволяет рассматривать этот подход в качестве эффективного средства для построения распределенных систем хранения данных.

1.1. Проблема надежности Как известно, не бывает абсолютно надежных систем. Так же ни для кого не секрет, что час простоя сервера, обслуживающего несколько тысяч пользователей, может исчисляться сотнями тысяч долларов. Согласно исследованию, проведенному International Data Corp. (IDC) среди компаний из числа Fortune 1000, в 1998 году простои обходились в среднем в 78 000 долларов в час, что составляет свыше 1 млн. долларов в год [Рубер 1998]. С ростом объемов хранимой и обрабатываемой информации стоимость простоя только возрастает. Это заставляет искать методы обеспечивающие снижение вероятности сбоя и уменьшению времени восстановления после сбоя.

Высоконадежные системы принято разделять на несколько классов:

High Availability (Высокая готовность) - степень готовности - 99,9% - простой не превышает 5 часов в год.

Fault Resiliency (Быстрое восстановление после сбоя) - степень готовности - 99,99% - простой не превышает 1 часа в год Fault Tolerance (Устойчивость к сбоям) - степень готовности - 99,999% - простой не превышает 5 минут в год Continuous Availability (Постоянная готовность) - степень готовности - выше 99,999% - простой не допускается - производительность при сбое не падает Disaster Tolerance (Устойчивость к стихийным бедствиям) - система территориально распределена С одной стороны, хотелось бы обеспечить максимальную надежность хранения данных и минимальное время простоя. С другой стороны, интуитивно понятно, что минута простоя Электронный журнал ИССЛЕДОВАНО В РОССИИ 1227 сервера обслуживающего банковские операции и корпоративного WWW - сервера стоят разных денег. Отсюда и разный подход к решению проблемы надежности - банковский сервер должен быть настолько надежен, насколько это позволяет нынешнее развитие отказоустойчивых систем и то, что система будет на порядок-два дороже традиционной ни кого не шокирует. Какие методы используются для решения этой задачи Во-первых, для Internet серверов используются различные технологии балансировки нагрузки, которые кроме собственно равномерного распределения нагрузки по серверам, обеспечивают некоторую отказоустойчивость. Балансировка нагрузки обеспечивается либо средствами DNS [Bestavros & Mehrotra 2001], либо специальными средствами на самих серверах [Aversa & Bestavros 1999]. Недостатками такого подхода являются узкая возможная область применения и невысокая обеспечиваемая надежность. Еще одним традиционным решением являются кластеры. Классический кластер, состоящий из нескольких узлов, имеющих общую дисковую систему, обеспечивает степень готовности 99,9%. Среди недостатков можно отметить ограниченную распределенность системы в случае использования традиционных протоколов SAN (Fibre Channel). Это не позволяет строить Disaster Tolerance системы, востребованные крупными компаниями - события сентября 2001 года в США показали, что при проектировании современных систем хранения данных следует учитывать даже такие маловероятные события, как террористические акты.

1.2. Современные технологии распределенного хранения данных В последние годы рост Интернет и расширяющееся применение Интранет привело к возникновению проблемы высоконадежного хранения данных и обеспечения удаленного высокоскоростного доступа к ним. Причем, масштабы Интранет сетей достигли таких размеров, что зачастую такие сети уже не отличаются по своим характеристикам от Интернет. Таким образом, проблемы хранения информации и обеспечения доступа к ней в Интернет и Интранет сетях приобрели одинаковый характер и требуют единого подхода к их решению. В то же время существующие технологии построения распределенных сетей хранения данных предлагают различный по своей сути подход - в Интранет это технологии использующие архитектуру SAN (Storage Area Network), а Интернет - NAS (Network Attached Storage).

1.3. Классическая SAN Представляя собой дальнейшее развитие модели DAS (Direct Attached Storage) SAN предлагает доступ к файлам на уровне блочного устройства. Если для DAS характерны ограниченная масштабируемость, сложность управления и повышенная опасность возникновения узких мест на серверах и в локальных сетях, то классическая SAN обеспечивает резервные пути между клиентами и устройством хранения, а также удаленное зеркалирование на случай сбоев и резервное копирование, не снижающее производительность работы серверов приложений и базовой сети. Кроме того, в SAN системах можно консолидировать хранилища, упростив таким образом управление ими.

Централизованное управление объединенным пулом хранилищ зачастую более эффективно, чем отдельными напрямую подключенными подсистемами хранения. По мере необходимости можно легко выделять место в объединенном пуле, что упрощает администрирование и позволяет оптимизировать хранение данных. Основное преимущество такой модели хранения - максимальная производительность и эффективность использования ресурсов путем их объединения и централизованного управления данными и ресурсами хранения.

Стандартом де-факто для SAN стала технология Fibre Channel [Jurgens 1995], обеспечивающая достижение производительности порядка 200 Мбайт/сек и позволяющая Электронный журнал ИССЛЕДОВАНО В РОССИИ 1228 строить распределенные хранилища данных масштаба предприятия. Используя принцип инкапсуляции протокола SCSI в Fibre Channel, данная технология нашла широкое применение благодаря большому количеству инсталлированных SCSI устройств. Отчеты IDC [Borovick et al. 2001] и ITcentrix [ITcentrix 1999] показывали радужную картину роста объемов продаж оборудования SAN. К сожалению, Fibre Channel не лишен недостатков.

В первую очередь это ограничения, накладываемые на максимальный размер сети на базе Fibre Channel (10 км), ограничивающие область применения SAN границами кампусной инфраструктуры, не позволяя строить более распределенные сети SAN, даже масштаба города, не говоря уже о трансконтинентальных сетях. Кроме того, ожидаемого удешевления оборудования Fibre Channel так и не произошло и в настоящий момент данная технология не обеспечивает требуемого соотношения цена/качество.

1.4. Классический NAS Использование IP для организации доступа к данным не ново. На протяжении многих лет для доступа к хранимым данным применялись такие протоколы, как CIFS (Common Internet File System) и NFS (Network File System). Основной особенностью, характерной для этих протоколов, является представление доступа к файлам на уровне файловой системы. Файловый сервер или NAS-устройство (различие между ними весьма условно и состоит в том, что NAS-устройство обычно представляет собой специализированный компьютер со встроенной операционной системой) предоставляет клиентам доступ к файлам. Достоинствами такого решения является отсутствие ограничений на размеры системы, хорошее отношение цена/качество и отличная поддержка со стороны вендоров. Недостатком является собственно основная особенность - представление доступа на уровне файловой системы.

1.5. NAS vs. SAN Обе архитектуры имеют свои достоинства и недостатки, но общим недостатком можно считать невозможность использования ни одной из них для решения проблемы распределенного хранения данных в современных условиях, когда с одной стороны масштабы Интранет сетей сопоставимы с Интернет, характеристики каналов и протоколы, применяемые в них, так же соответствуют применяемым в Интернет, а с другой стороны, требования, предъявляемые к характеристикам систем, остаются характерными для Интранет (характер приложений, требования к производительности и тд.). Для NAS архитектур характерно предоставление доступа к ресурсам на уровне файловой системы и использование протокола TCP/IP. Для SAN архитектур характерно предоставление доступа к ресурсам на уровне устройства. Оба этих подхода имеют свои плюсы и минусы.

Одним из минусов представления ресурса на уровне файловой системы является тот факт, что такие аспекты как обеспечение надежности хранения данных, возможности по восстановлению после сбоев, управление доступом к файлам обеспечивается самой файловой системой. Как будет показано в дальнейшем, ни одна из существующих распределенных файловых систем не удовлетворяет современным требованиям ни по функциональности в плане надежности хранения данных, ни по возможностям в плане масштабирования производительности. Предоставление доступа на уровне устройства лишено многих проблем свойственных распределенным файловым системам, в частности позволяет строить классические RAID системы, использовать любые файловые системы (например, любую из существующих журналируемых файловых систем). Главной проблемой было то, что SAN системы не были ориентированы на использование протокола TCP/IP и требовали строить специализированные сети хранения данных, которые мало того, что стоят существенно дороже по сравнению с обычными сетями передачи данных общего назначения, так и обладают рядом существенных ограничений (в Электронный журнал ИССЛЕДОВАНО В РОССИИ 1229 частности на размеры сети). До недавнего времени, несмотря на все отмеченные недостатки, развивался первый подход, подразумевающий эволюционное развитие распределенных файловых систем добавляющий все больше и больше функций, выполняемых файловой системой, таких как поддержка распределенного хранения данных на нескольких узлах - либо с использованием модели RAID [Patterson et al. 1987] - - такие как SWIFT [Long et al. 1994], Zebra [Hartman 1995], xFS [Wang & Anderson 1993], либо используя оригинальные разработки - например системы с регулируемой избыточностью [Тормасов и др. 2001]. Но широкого распространения ни одна из таких систем не получили. Либо они оказывались недостаточно надежны, в виду того, что представляли собой просто глубокую модернизацию NFS [Marzullo & Schmuck 1987], либо оказывались слишком громоздки и сложны в эксплуатации [Satyanarayanan et al.

1990]. Второй подход начал развиваться не так давно, и пока представлен небольшим числом проектов (NBD [Breuer et al. 2000], Fiber over IP, Fiver backbone, iSCSI [Palekar & Russel 2001]), но iSCSI уже получил поддержку индустрии и скоро будет стандартизирован, а значит, найдет широкое применение на практике.

1.6. Концепция IP-Storage Для решения проблемы построения распределенных систем хранения данных предлагается использовать концепцию IP-Storage. Данная концепция включает:

- Использование протокола IP для организации доступа к данным;

- Неограниченная распределенность системы;

- Виртуализация хранилищ данных;

- Представление доступа на уровне блочных устройств;

- Централизация управления;

Таким образом, явно прослеживается тенденция к сближению архитектур NAS и SAN.

На сегодняшний момент для решения задачи организации распределенных систем хранения предлагаются следующие проекты:

- iSCSI предложенный Internet Engineering Task Force;

- Fibre Channel over IP, предложенный IETF и ANSI;

- Fibre Channel Backbone, предложенный ANSI.

Проекты Fibre Channel over IP и Fibre Channel Backbone, предусматривают инкапсуляцию фреймов Fibre Channel в IP. Стандарты на эти протоколы еще не приняты, но производители уже предлагают оборудование. Область применения - связь удаленных SAN на Fibre Channel через IP. Обязательное наличие сети SAN на Fibre Channel является недостатком, которого iSCSI лишен.

Спецификация интерфейса Internet Small Computer Systems Interface (iSCSI) в настоящее время разрабатывается iSCSI Group - подкомитетом Internet Engineering Task Force (IETF).

В группу входят Intel, IBM, EMC Corp., Hewlett-Packard Co. и Cisco Systems Inc. iSCSI Group надеется выпустить проект стандарта версии 1.0 уже в этом году, чтобы IETF утвердила спецификацию к первому кварталу 2003 года.

Технология iSCSI [Palekar & Russel 2001] использует принцип инкапсуляции протокола SCSI в IP. В качестве основного физического интерфейса предлагается использовать Gigabit Ethernet, а впоследствии осуществить переход на 10 Gigabit Ethernet. Таким образом, по соотношению цена/качество сети iSCSI существенно выигрывают у традиционных SAN на базе Fibre Channel. Индустрия хорошо приняла iSCSI, что немаловажно для продвижения этого стандарта. Несмотря на то, что до сих пор не утвержден окончательный вариант протокола, о поддержке iSCSI уже объявили такие известные производители, как Cisco (маршрутизатор Cisco SN 5420 Storage Router), Intel (Intel PRO/1000 T IP Storage Adapter), IBM (дисковые массивы семейства TotalStorage), Adaptec и др. Причем для ускорения выхода готовых продуктов были совершены Электронный журнал ИССЛЕДОВАНО В РОССИИ 1230 значительные покупки: Cisco приобрела в начале 2001 года компанию NuSpeed Internet Systems за 500 млн. долларов, компания Adaptec приобрела Platys Communications за млн. долларов. В настоящий момент кроме перечисленных компаний, продукты, использующие iSCSI, предлагают фирмы Emulex Corp. и Alacritehc Inc.

2. Модель Для решения проблемы высокопроизводительного и в тоже время отказоустойчивого доступа к информации предлагается использовать подход, основанный на концепции IP-storage и применении RAID. Для увеличения эффективности RAID, предлагается использовать журналируемую файловую систему. Клиент может выбирать схему RAID, файловую систему исходя из своих представлений о требуемых характеристиках системы.

Pages:     | 1 | 2 |    Книги по разным темам