Описание решения
В рамках предложенного решения виртуализации серверов предлагается организовать классическую отказоустойчивую ферму виртуализации, состоящую из 2 двухпроцессорных серверов, подключаемых к одному центральному хранилищу данных. Такая схема поддерживает возможность миграции запущенных виртуальных машин с одного сервера на другой, а также обеспечивает отказоустойчивость на уровне хост-серверов, на которых они запущены, благодаря перезапуску этих виртуальных машин на другом сервере в случае выхода из строя текущего физического сервера.
Для небольшой организации, оптимальным будет использование подключения серверов к хранилищу данных по SAS. Тем самым с одной стороны достигается высокая скорость подключения с минимальными задержками, с другой стороны, такой вариант подключения намного дешевле, чем по Fibre Channel.
Архитектура решения
В качестве хостов виртуализации используются два двухпроцессорных 2U-сервера DEPO Storm 3350V2). В качестве системы хранения данных — двухконтроллерная отказоустойчивая Система хранения данных (СХД) DEPO Storage 4624G2.
Для обеспечения подключения к хранилищу по SAS в серверы устанавливаются по одному двухпортовому адаптеру SAS HBA LSI SAS9200-8E, которые идут с СХД в комплекте.
По сути, ферма виртуализации представляет собой отказоустойчивый двухузловой кластер, в котором виртуальные машины выступают в роли приложений, за работой которых следит служба кластера. И в случае определения сбоя (остановки) одного из физических серверов, на котором выполнялись виртуальные машины, служба кластера тут же перезапускает их на работающем узле (хосте). Такая возможность часто называется High Availability.
Для того, чтобы виртуальные машины, которые физически представляют из себя просто группу отдельных файлов, были доступны всем физическим серверам (хостам) виртуализации их располагают на созданном томе на центральном хранилище, доступ к которому имеют оба (все) сервера виртуализации. Поэтому, после того как один из узлов определяет, что второй узел вышел из строя, он получает доступ на запись к файлам виртуальных машин и тут же перезапускает их на своих процессорах.
Если файлы виртуальных машин будут располагаться на локальных жестких дисках одного из сервера, то для данной виртуальной машины функционал High Availability и миграция между серверами не будут доступны. Т.е. при остановке физического сервера, такая виртуальная машина не сможет перезапуститься на втором физическом сервере, т.к. ее файлы локальных дисков останутся на первом сервере и будут недоступны для второго.
Физическая схема организуемой фермы виртуализации представлена на рисунке 1.
Оба сервера DEPO Storm 3350V2 имеют выделенные гигабитные сетевые порты для обмена heartbeat пакетами. Также по этим интерфейсам происходит миграция виртуальных машин с одного хоста на другой, которая представляет собой копирование области оперативной памяти виртуальной машины между хостами, фиксирование ее и переключение работы запущенной машины на другой физический хост. При этом сами файлы локальных дисков виртуальной машины по-прежнему располагаются на центральном хранилище и никуда не копируются/переносятся. Поэтому процесс миграции виртуальной машины может занимать от нескольких секунд до нескольких минут, в зависимости от выделенного объема памяти виртуальной машине и текущей ее нагрузки.
Применяющееся в решении СХД по умолчанию имеют два SAS 6Gb порта на каждом контроллере для подключения серверов, которых достаточно, чтобы подключить два сервера по двум путям к нему для обеспечения резервирования по подключению. В случае необходимости подключения большего количества серверов к СХД, потребуется приобрести либо два шестнадцатипортовых SAS коммутатора LSI SAS6160, либо в каждый контроллер СХД добавить дополнительную плату с портами ввода/вывода SAS. В каждый контроллер хранилища можно установить по одной плате ввода/вывода. В зависимости от потребностей плата ввода/вывода может иметь один из следующих наборов портов:
— 2 порта SAS 6Gb;
— 4 порта FC 8Gb;
— 2 порта ISCSI 10G Ethernet (RJ-45);
— 4 порта ISCSI 1G Ethernet (RG-45).
Рис.1. схема фермы виртуализации
Предлагаемая ферма виртуализации обладает повышенным уровнем отказоустойчивости, в ней:
- на серверах используются:
- двойные блоки питания с «горячей» заменой;
- загрузочный раздел гипервизора располагается на двух SAS жестких дисках объединенных в «зеркало» (RAID1);
- 4 сетевых порта, часть из которых могут быть объединены в один виртуальный интерфейс для резервирования по подключения к корпоративной ЛВС;
- Два подключения по SAS к СХД позволяют пережить сбой по подключению через один из путей.
- На СХД используются:
- Два RAID-контроллера с «горячей» заменой, которые позволяют безболезненно пережить выход из строя одного из них, практически не прерывая работу фермы виртуализации;
- Два блока питания с вентиляторами с резервированием и «горячей» заменой;
- Создание логических томов на отказоустойчивых RAID-массивах, на которых будут располагаться виртуальные машины,.
Для организации виртуализации на физических серверах системный раздел гипервизора располагается на «зеркале» (RAID1) из двух локальных жестких дисков 300GB SAS 15K. В качестве гипервизора в данном решении предлагается использовать VMware ESXi 5.1, входящий в комплект ПО VMware vSphere Essentials Plus Kit.
Серверы виртуализации
В данном решении применяются два сервера с установленными 6-ядереными процессорами Intel Xeon E5-2620 из нового поколения серверных процессоров Intel.
DEPO Storm 3350V2 предназначен для установки в 19’’ серверный шкаф, в котором занимает всего 2U.
Оба предложенных сервера имеют по 64 GB физической оперативной памяти DDR3 Registered ECC, работающей на частоте 1333MHz. Из 16 имеющихся слотов DIMM в каждом сервере занято только 8 мест, что позволит в будущем легко наращивать память, если в этом будет необходимость.
Оба сервера имеют по 4 встроенных гигабитных порта, один из которых выделяется для обслуживания служебных пакетов кластера и миграции виртуальных машин, 3 остальных сетевых адаптера выделяются для организации сети виртуальных машин и подключения ее к имеющейся ЛВС.
Серверы DEPO Storm 3350V2 по умолчанию имеют порт управления IPMI+, который позволяет вне зависимости от состояния сервера получить по IP удаленную графическую консоль управления.
Подробный состав серверов приведен в п.п.1.2.1.
Система хранения данных
Хранилище DEPO Storage 4624G2 имеет корпус высотой 2U, с возможностью установки до 24 жестких дисков SAS/SATA размером 2,5”.
В данном решении в составе хранилищ включено 12 жестких дисков SAS 300GB 10K 2,5”. Такой состав жестких дисков рассчитывался из следующих соображений:
- Объединяем 12 жестких дисков SAS 300GB 10K 2,5” в RAID10 для организации быстрого дискового массива для получения достаточно производительной дисковой подсистемы для виртуальных машин. Получаемый полезный объем ~ 1.6 TB
По умолчанию, хранилища имеют два контроллера с 2 портами SAS 6Gb каждый, для подключения хостов, но имеют возможность для их расширения, как это описано в п.1.1
В комплект с СХД включены 4 внешних miniSAS (SFF-8088) кабеля для подключения двух предложенных серверов, а также два SAS HBA LSI 9200-8E для их установки в сервера. Необходимо иметь в виду, что в состав хранилища по умолчанию входят 2 лицензии SANShare, которые являются логическими областями (Storage Prtition) в хранилище, к которым предоставляется доступ серверам. В случае необходимости количество поддерживаемых SANshare на СХД можно увеличить для возможности создавать дополнительные Storage Pаrtition, но для этого придется приобретать лицензии. Например, увеличение у DEPO Storage 4624G2 количества SANShare до 4 будет стоить около 23000 руб.
Использование всего 2-х SANshare лицензий в данном решении достаточно, т.к. все создаваемые тома на СХД будут отдаваться всем серверам. Увеличение количества SANshare может потребоваться в дальнейшем, если понадобиться выделить другим подключаемым к СХД серверам тома, предназначенные только для них.
Проще говоря, SANshare определяется, как (см. рисунок):
- Логическое образование, содержащее один или несколько томов, которые доступны одному или одновременно нескольким хостам.
- При этом один или несколько томов подключены к определенному хосту или группе хостов.
- Это соответствие том-LUN определяет хост или группу хостов, которые получают доступ к этому тому.
- Storage Partition задается на уровне контроллера СХД.
- На приведенном рисунке представлен пример из трех SANshare (Storage Partition)
Для осуществления настроек и управления хранилищем на каждом контроллере имеется порт управления 10/100 Mbit (RJ-45) подключаемый к сети Ethernet, которому назначается свой IP-адрес.
Управление хранилищем осуществляется при помощи специальной программы SANtricity Storage Manager, устанавливаемой на компьютер системного администратора, которая подключается по IP адресам, назначенным на контроллеры СХД. Консоль управления SANtrisity Storage Manager имеет удобный и наглядный графический интерфейс, примеры изображений, которого представлен на Рисунке 2.
SANtricity Stoarge Manager – является основным инструментом управления СХД позволяющий:
- создавать и модифицировать RAID-группы и логические тома на них;
- назначать созданные ресурсы (тома) подключенным серверам;
- следить за состоянием компонентов входящих в состав СХД;
- следить за нагрузкой СХД;
- быстро определять источник возникших проблем и пути их решения с помощью специального встроенного в ПО помощника (Guru).
Рисунок 2. Примеры интерфейсов Santricity Storage Manager
Аппаратное обеспечение
Описание сервера DEPO Storm 3350V2
DEPO Storm 3350V2 является новейшим высоконадежным отказоустойчивым двухпроцессорным сервером масштаба предприятия, обладающим лучшей в отрасли производительностью в форм-факторе 2U. Модель является оптимальным решением для корпоративных информационных систем и центров обработки данных, ее отличает высочайшая производительность в сочетании с эффективным энергопотреблением.
Сервер разработан на базе чипсета Intel® C602, поддерживающего работу с современными 4-, 6- и 8-ядерными процессорами Intel® Xeon® E5-2600. Многоядерные процессоры и возможность установки большого объема оперативной памяти до 384Гб DDR3-1333/1600 ECC REG позволяют использовать этот сервер для работы с СУБД, приложениями для поддержки инфраструктуры Интернет/интранет, приложениями электронного бизнеса.
Конструктив корпуса позволяет устанавливать до 8 дисков SATA/SAS форм-фактора 3.5″ с поддержкой функции «горячей» замены и создания RAID-массивов уровней 0,1,5,6,10,50,60. Сервер имеет высоту 2U и комплектуется набором для монтажа в стойку.
В рамках данного проекта рассматривается следующий состав сервера.
| DEPO Storm 3350V2 2XE5-2620/64GR1333E/L9260-8i/3QII300G15/8HSA/sDVD±RW/2LAN1Ge/2GLAN/1C/4US/IPMI+/740W2HS/6PCIe/RMK/ONS3S | |
| Конфигурация | |
| наименование | значение |
| Базовая конфигурация | DEPO Storm 3350V2 |
| Чипсет | Intel® C602 |
| Процессор | Dual Intel® Xeon® E5-2620 Six-Core (2.0GHz, 15Mb, 7.2 GT/sec) Max. memory speed 1333MHz |
| Оперативная память | 64GB DDR3-1333 ECC REG (8DIMM/16) |
| Контроллер | LSI Logic 9260-8i 8 port SATA/SAS2, RAID 0,1,10,5,6,50, 512Mb |
| Дисковый массив | 3 x 300GB SAS2 hard drive (15000rpm) |
| Дисковая корзина | Корзина горячей замены на 8 дисков SATA/SAS |
| Накопитель 5.25″ Slim | Slim DVD±RW |
| Видеокарта | Integrated G200 (Nuvoton WPCM450 BMC with graphic controller) |
| Сетевая карта | Gigabit Dual port Server Adapter PCI-E |
| Сетевая карта | Intel® i350 Dual Port Gigabit Ethernet |
| Последовательный порт | 1x COM (UART 16550) на задней панели |
| Порты USB | 4x USB 2.0 на задней панели |
| Модуль удаленного управления | Интегрированный IPMI 2.0 + KVM-over-LAN с выделенным портом |
| Блок питания | Сдвоенный блок питания 740W (2x740W) с избыточностью и горячей заменой |
| Слоты расширения | Низкопрофильные: 3x PCI-E 3.0 x16 + 3x PCI-E 3.0 x8 |
| Комплект для монтажа в стойку | Комплект для монтажа в стойку |
| Гарантия и дополнительный сервис | Стандартная ONS3S — на месте эксплуатации сервера 3 года (при наличии СЦ в городе) |
Описание СХД DEPO Storage 4624G2
Высокопроизводительная система хранения данных, отличающаяся невероятной гибкостью благодаря модульной структуре. Использование этой СХД позволяет системе заказчика соответствовать высоким требованиям к производительности и дисковому пространству.
Сбалансированная система поддерживает как приложения для последовательных операций ввода-вывода, так и операционные базы данных, эффективность которых определяется числом операций ввода-вывода в секунду (IOPS).
Возможность использования в единой системе различных дисковых полок, для дисков размера 3.5″ и 2.5″, позволяет создавать специальные конфигурации, адаптируемые для любых сред. Дисковая полка на 24 HDD 2.5″ обеспечивает максимальную производительность с минимальными энергетическими затратами, а дисковая полка на 60 HDD поддерживает максимальную плотность дисковых ресурсов – до 180 ТБ в одной дисковой полке.
Система хранения данных отличается гибкостью интерфейсов подключения. Интерфейс SAS разработан для высокопроизводительных решений с прямым подключением, а интерфейсы iSCSI и FC позволяют полностью интегрировать СХД в любую SAN. Производительность, гибкость, полное резервное переключение, прогрессивные функции защиты и диагностические возможности позволяют поддерживать готовность, целостность и сохранность данных на высоком уровне.
Состав хранилища DEPO используемый в решении представлен в таблице ниже.
| DEPO Storage 4624G2 SWin/SAS2BBU/x2/2SAS9200-8E/SW-2/12QII300G15/4mSAS/RMK/456ONS3DS | |
| Конфигурация | |
| наименование | значение |
| Базовая конфигурация | DEPO Storage 4624G2 |
| ПО управления СХД | ПО управления SANtricity для ОС Windows |
| Контроллер СХД | Один контроллер SAS 2 порта SAS 6Gb/c, RAID 0,1,3,5,6,10 кеш 2GB, BBU |
| Второй контроллер СХД | Второй контроллер SAS 2 порта SAS 6Gb/c, RAID 0,1,3,5,6,10 кеш 2GB, BBU |
| Контроллер для установки в сервер (СХД) | 2 x LSI SAS9200-8E SGL, SAS/SATA, RAID JBOD, 8port, PCI-E x8 |
| Лицензия — ПО для разбиения массива СХД | Лицензия для организации партиций SANshare 2 |
| Дисковый массив | 12 x 300GB SAS2 hard drive (15000rpm) 2.5» |
| Кабели СХД | Кабель mSAS-mSAS 2м 4 шт. |
| Комплект для монтажа в стойку | Рельсы для монтажа в 19″ стойку |
| Гарантия и дополнительный сервис | Стандартная 456ONS3DS — 3 г на месте эксплуатации СХД (при наличии СЦ в городе) |