Обновлено в июле 2014

Большой проект виртуализации серверов

Когда требуется построить виртуальную архитектуру и речь идет больше, чем о четырех серверах (host), то становится нецелесообразно использование обычных серверов. Я не говорю, что невозможно, но коммутация становится сложной, слишком много проводов, надо думать про то, как масштабировать инфраструктуру, как управлять серверами и мониторить их состояние. Все эти рутинные действия становятся намного проще, если использовать блейд сервер. Предлагаю, как пример, посчитать проект на 6 хостов, с двумя системами хранения данных. Виртуализация будет на платформе VMware vSphere Standard.

Физическая архитектура

Архитектура 02

 

На картинке, вот файл в Visio,  изображен 42U серверный шкаф IBM с оборудованием. Если смотреть снизу вверх:

  • Два источника бесперебойного питания IBM 3000VA LCD 3U Rack UPS, подключенные к вертикальным PDU
  • Блейд корзина IBM Flex Chassis Enterprise высота 10U, рассчитанная на 14 серверных лезвий, установлено в данный момент 6, остальные слоты закрыты загрушками. С обратной стороны в корзине установлены модули системы охлаждения — 6шт, и блоки питания 6шт по 2500Вт каждый
  • Нижние слоты корзины занимают 3 серверных лезвии IBM Flex System x240 с характеристиками:
    Процессоры 2 x CPU E5-2620v2 2.1Ghz шести ядерные
    Оперативная память RAM 96Gb
    Встроенные 10Gb сетевые адаптеры — 2шт
    2 SSD диска по 256Gb каждый
  • И еще три серверных лезвия с характеристиками:
    Процессоры 2 x CPU E5-2650v2 2.6Ghz восьми ядерные
    Оперативная память RAM 96Gb
    Встроенные 10Gb сетевые адаптеры — 2шт
    2 SSD диска по 256Gb каждый
  • Коммутационное оборудование блейд корзины представлено двумя 10Gb коммутаторами IBM Flex System Fabric EN4093R 10Gb Scalable Switch. В базовом варианте в нем разблокировано 14 внутренних 10Gb портов для серверных лезвий и 10 внешних, в нашем случае для подключения к системам хранения и стоечным коммутаторам
  • Два IBM Eth Switch 1U /4x10Gb/48x1Gb BNT G8052R — обычные свичи для организации локальной сети. 10Gb интерфейсы отлично подключаются к блейд коммутаторам.

Логическая архитектура

Архитектура 03

 

Как образец, можно настроить такую виртуальную инфраструктуру. Сначала, на каждое серверное лезвие устанавливается гипервизор VMware ESXi, создается виртуальная машина с vCenter Server, в нем создаются 2 отказоустойчивых кластера из схожих по CPU лезвий.
Централизованно подключаются логические дисковые разделы — LUNs. Скорость подключения лезвий к LUN-ам системы хранения данных — 10GB. Естественно создается отказоустойчивое подключение вычислительных мощностей (серверов) к дисковым системам (СХД). К каждому LUNу лезвие может подключаться по четырем независимым отказоустойчивым путям.

Кластеры получаются разные по мощности, что позволяет размещать на них разные корпоративные сервисы, например, на высокопроизводительном запускать SQL, Терминальные серверы, Почтовые службы, CRM, ERP, 1C…а на менее производительном можно расположить разные серверы управления, vCenter server, доменные службы DNS, DHCP, Active Directory, серверы печати, файловые серверы, серверы резервного копирования и т.п. Предлагаемый мной проект, — набор оборудования и лицензий, — справится почти с любой задачей. Его достаточно легко масштабировать, просто наращивая количество серверных лезвий, дисковые полки, подключая коммутационное оборудование.

Расчет стоимости проекта

Продукт Цена Кол-во Стоимость
Блейд корзина Flex System:

  •  2 x 10Gb коммутатора EN4093R
  • 6 блоков питания 2500W
  • соединительные кабели
58 000$  1 58 000$
Серверное лезвие x240 Compute Node:

  • процессоры 2 x E5-2650v2
  • оперативная память 96Gb
  • 2 SSD диска по 256Gb
 10 600$ 3  31 800$
Серверное лезвие x240 Compute Node:

  • процессоры 2 x E5-2620v2
  • оперативная память 96Gb
  • 2 SSD диска по 256Gb
 7 400$ 3  22 200$
Система хранения IMB Storwize v3700:

  • 24 x 600Gb SAS 10k
  • 2 x 10GB iSCSI card
 23 500$ 1 23 500$
Система хранения IMB Storwize v3700:

  • 12 x 3000Gb SATA 7.2k
  • 2 x 10GB iSCSI card
 21 500$ 1 21 500$
2 x коммутатор IBM G8052R  5 700$ 2 11 400$
Серверный шкаф IBM, PDU, источники бесперебойного питания, кабели  6 000$ 1 6 000$
Лицензия VMware vSphere Enterprise Plus + 3 года поддержки 6 120$  12 73 440$
Лицензия VMware vCenter server + 3 года поддержки 8 700$ 1 8 700$
Итого стоимость проекта: 256 540$