Все новости

SDS и виртуализация систем хранения данных

25 ноя 20191075


Оставить заявку

У нас было 2 ящика Huawei 2488 V5, набитых под завязку 64 Гб слотами оперативной памяти и Melanox-ами, одна СХД с 75 SSD дисками, 2 полки WD HGST Ultrastar Data60 c 60 дисками на борту, пол ящика трансиверов и гора оптики, успокоительных и всего такого, всех цветов, а ещё литр кофе и две дюжины арахисовых батончиков.

Единственное, что нас беспокоило — это оптика. В мире нет никого более беспомощного, безответственного и безнравственного, чем человек с перепутанной оптикой в руках. И мы знали, что довольно скоро мы в это окунёмся.

На рынке присутствует масса решений для виртуализации систем хранения данных (СХД) и построения программно-определяемых систем хранения данных (SDS). Каждая из систем приносит в инфраструктуру свои плюсы и минусы, системы виртуализации СХД позволяют расширить функционал и увеличить производительность, SDS позволяет перейти на стандартизированное оборудование массового сегмента, улучшить масштабируемость, снизить стоимость решения.

В нашей инфраструктуре широко используется решение от Western Digital  - WD HGST Ultrastar Data60, мы рассказывали про наше хранилище для резервного копирование на базе Acronis и о легкости масштабирования репозиторий Veeam, взяв WD HGST Ultrastar Data60 за основу одного из слоев для реализации SDS решения вместе с виртуализацией СХД, мы собрали тестовый стенд и в очередной раз окунулись в тестирование. Задача была на первый взгляд простой, нужно было:

  1. Все распаковать
  2. Смонтировать
  3. Скоммутировать
  4. И собрать пирамиду

Инфраструктура.jpg

Логистика

Поставка пришла разом, фотографировать было некогда, оформление заняло большую половину дня и нужно было ускорятся, в целом стандартная процедура всех крупных компаний, за исключением того, как все упаковано, уверен, что если бы транспорт с доставкой перевернулся, наши полки добрались бы до нас в целости и сохранности…

Логистика.jpg

Монтаж

Монтаж и коммутацию произвели за один полный день, так как полок WD HGST Ultrastar Data60 нам привезли много, фото будут вперемешку с еще одной инсталляцией на нескромные 3,2 Пб, которая в отдельной статье по ссылке.

Монтаж.jpg

Рыбку расположили в соседней стойке под WD HGST Ultrastar Data60

Рассказывать про сборку и монтаж полок, пожалуй, не станем, все удобно, логично, отличные салазки и удобные ARM комплекты, если вы собрали все правильно, один инженер без каких-либо проблем способен произвести перекоммутацию полки, заменить диск и, в целом, произвести любые работы, не связанные с демонтажом полки.

Важно обратить внимание на внутреннюю архитектуру WD HGST Ultrastar Data60, мы имеем отлично продуманную и удобную схему замены всех комплектующих полки и отличный воздушный поток, т.к. диски, расположенные в последнем ряду в слотах 48-59, в наших тестах, при расположении полки в 35-38 юнитах, не прогревались выше 49 градусов. Диски первого ряда находились при стабильных 26 градусах. И во время нагрузочного теста, который длился месяц, мы не потеряли ни одного диска, в отличие от нашихNetApp-ов, но это отдельная история.

Верхнеуровневая структура решения

  • На двух серверах Huawei 2488 V5 была поднята система, объединяющая функционал SDS и виртуализации СХД, увы, пока не расскажем на базе какого решения;
  • СХД Huawei Dorado 6000v3 мы подготовили в разбивке 6 LUN емкостью 30Тб каждый, каждому хосту было презентовано по 3 LUNа, луны разбалансированы между контроллерами СХД;
  • Каждая из СХД NetApp E2812 была разбита на два дисковых пула, по 3 LUNа емкость 50Тб. В нашем тесте присутствует 2 сервера и 2 NetApp, т.к. в тесте подразумевалось полное зеркалирование всех данных, за каждым хостом был, закреплен один NetApp;
  • Дисковые полки WD HGST Ultrastar Data60 подключены к серверам через контроллеры MegaRAID SAS 9380-8e + CacheVault LSICVM02, контроллеры установлены в PCI-Express 3.0 x8.

Для конфигурации дисковых полок есть три варианта:

  1. SP Boot Huawei – долго, нудно и требуется даун-тайм сервера;
  2. StorageCLI MegaRAID – гибко, но не очень удобно для использования;
  3. MegaRAID Storage Manager - стабильный GUI, must have для Windows серверов.

Конфигурация

WD HGST Ultrastar Data60 конфигурировали жестко, с огоньком RAID60 дисковые группы, из 60 доступных дисков - 6 дисков мы отправили в GlobalHotSpares.

Было собрано - 3 дисковые группы RAID60 с двумя SPAN каждая из 18 дисков, в каждой RAID группе создано по 3 виртуальных диска.

Суммарно, у наc получилась, задуманная нами структура распределения дисковых ресурсов, симметричная для каждого из серверов, с полным зеркалированием ресурсов.

Дальше было море нагрузочных и деструктивных тестов, бессонные ночи и часы международных звонков…

А что потом? 

Кейсы, кейсы, кейсы …

Перерастёт ли тест в коммерцию, пока вопрос, в целом, есть вопросы к прослойке виртуализации систем хранения данных и SDS решению.

Озвучивать реальные результаты нагрузочного тестирования данного построения пока рано, замечу лишь, что мы не получили нужных преимуществ, на которые рассчитывали и не вышли на расчетный bandwidth и IOPs в рамках локальной инсталляции и полученных результатов тестирования каждого слоя отдельно.

Мы уверены, что нашим архитекторам совместно с вендором системы виртуализации СХД удастся решить все технические вопросы и мы сможем рассказать Вам более подробно о результатах тестирования и наглядно показать реальные примеры использования решения в действительно сложных инфраструктурах. Но пока классический принцип построения инфраструктуры с использованием проверенных временем решений, на наш взгляд, более стабилен, целесообразен и приносит большее количество плюсов для наших клиентов.


Оставить заявку