RHEL 5 SAN boot: подготовка HP ProLiant BL465c G7 к загрузке с SAN

В Enterprise системах надежность и минимизация времени простоя ставятся во главу угла. Кластерные системы это. конечно. замечательно, но в некоторых случаях использование кластеров невозможно. Это могут быть как софтверные ограничения, так и политика компании. Например, наши ДБА отказались от использования кластеров Oracle по причине некоторых ограничений в используемых приложениях (не совсем корректная работа с ДБ в режиме кластера).

Но что делать, если отдельный бокс (blade) вдруг поломается? Техника HP, конечно, весьма надежная, но, в моей практике был случай, когда блейд через почти два года аптайма повис и управлять им было невозможно до тех пор, пока его физически не вытащили из гнезда и не поставили на место. Все бы ничего, но до датацентра из самой ближней точки полтора часа на машине. Даунтайм совершенно неприемлемый.

Конечно, можно (и нужно) ставить "запасной" (standby) сервер. Вот только для его активации нужно время - перенастроить database, перенстроить приложения (а их очень немало).

И дело не только в аварии. Штатная операция по апгрейду (смене блейдов) выливается в массу затраченного времени, связанного с инсталляцией нового сервера. перенастройкой на него приложений, проверке всего и т.д. Идеально было бы просто переставить диски из старого сервера в новый, но так поступить нельзя по ряду причин (например, важная причина: старые диски уже отработали пару лет и неизвестно, сколько они проработают еще)

Ок, что же мы можем предпринять?

Изменение размеров shared storage в Citrix Xen "на лету"

Пришло время апргейда железа. И оказалось, что гипервизор VMware 3.5 не работает с новыми боксами (мы взяли ProLiant BL465c G7, а с ними работает только VMware4). Фришная лицензия от VMware vSphere 4 тоже не подошла - там держатся только 2 физических CPU максимум по 6 core и не более 4х виртуальных CPU.

И серьезно стал вопрос о выборе нового гипервизора. Реально имеем две альтернативы - Xen (Citrix и XCP) и RHEV (KVM). Свое мнение про них и сравнительный анализ я напишу позже, когда все эксперименты закончатся и будет сделан выбор.

Пока в данной статье я опишу "кусочек" экспериментов. Мне понадобилось изменить размер shared SAN partition на Citrix Xen 5.6 FP1 - на раздел не помещаются снапшоты, а без снапшотов нормально бекап не провести - нужно останавливать виртуалку, что неприемлемо.

Разумеется, изменение размера нужно делать "на лету". Забегая немного вперед, отмечу, что мне удалось сделать это, даже не останавливая виртуалку, запущенную на этом томе!. Честно говоря, дисковой активности в виртуалке не было, т.е. эксперимент не совсем "чистый". И Citrix честно предупреждают, что рекомендуют все-таки виртуалку останавливать "во избежании". Полагаю, что все-таки можно производить ресайз раздела и без остановки, если активность диска низкая. Как-нибудь при возможности попробую провести эксперимент.

Но вернемся к задаче.

Изменение скорости линка адаптера Emulex (lpfc) в RHEL 5

Проявились проблемы на FC HBA. Поддержка HP запросила понизить скорость до 2Gbit на HBA адаптере.
Можно сделать как на лету, так и параметрами модуля.

Для модуля в /etc/modprobe.conf к строке options lpfc добавляем параметр lpfc_link_speed=N, где N может принимать значения 0,1,2,4,8.

0 - автоопределение (по умолчанию),
1,2,4,8 - заданная скорость порта

Для изменения "на лету" нужно воспользоваться sysfs. Даем команду
# echo N > /sys/class/scsi_host/hostM/lpfc_link_speed
где N принимает те же значения, что и для параметра модуля, а M - номер адаптера

PS. Посмотреть текущую скорость можно командой:
# cat /sys/class/fc_host/hostM/speed
а список поддерживаемых скоростей командой
# cat /sys/class/fc_host/hostM/supported_speeds

SAN storage - изменение размера диска (RHEL5)

Достаточно частая задача - увеличить размер диска, выделенного на SAN
Как правило ко мне с такой задачкой регулярно обращаются DBA, когда их база в очередной раз норовит заполнить выделенное пространство :)
Разумеется, никто не мешает поступить максимально просто - выделисть новый виртуальный диск на SAN, подключить его скопировать данные на новое место. Однако, для больших дисков (а для баз данных 100-200 гигабайт это вполне заурядный размер) это занимает массу времени. А если нужно проделать операцию для 2х-5ти серверов?

Гораздо быстрее будет увеличить виртуальный диск средствами SAN, а потом изменить размер FS средствами OS.
Делается это очень просто. Рассмотрим случай для RHEL 5

Определение WWN FC HBA адаптера в RHEL 5

Очень часто нужно быстро посмотреть WWN FC HBA адаптера (когда добавляешь хост в SAN)
И, как обычно, забываешь, где :)

Подсказка (для Emulex точно, для остальных похоже тоже :) ):

# cat /sys/class/fc_host/host0/port_name

Rescan SAN разделов - случай с multipath

Начиная с версии RHEL 5.3 и выше HP перестали делать свой драйвер multipulse и используют стандартный multipath.
Поэтому возникла проблема - схема рескана разделов , как описано ранее в статье уже не проходит. Как правило, данная задача нужна для resize (изменения размера) раздела (тома)

Теперь нужно действовать по следующей схеме (рассматривается случай с Emulex HBA, впрочем, с Qlogic будет почти также, изменятся только некоторые пути. У меня на блейдах по два адаптера, если их больше-меньше, будет небольшая разница в командах - по количеству адаптеров):

HP EVA - ч.2

Продолжаем играться.

Сторадж не любит больших нагрузок :(
В общем, на днях наступили на грабли (и HP признали баг, ждем патча) - в определенных ситуациях, при нагруженном сторадже работа со снапшотами привела к ребуту обоих контроллеров (!). В результате получили даунтайм 4 мин стораджа и минут 40 - серверов (пока все приложения повосстанавливали).

Особенно досталось Ораклу - линукс перевел сетевой сторадж в RO, оракл обиделся....

VMware, RHEL 5 и HP EVA

Вот, появилась новая игрушка (SAN) - HP EVA 6400.

Выглядит симпатишно, два контроллера, управляющая машинка в комплекте (под Win 2008 server). Умеет работать как с FC дисками, так и с FATA. 8Gb FC карты для подключения к свичам.

Управлялка существует в двух "ипостасях" - web-интерфейс для простых рутинных задач (создать и презентовать виртуальные диски или наоборот, забрать и удалить, сделать снапшот и прочее) и Java-приложение (RSM), позволяющее еще и скриптинг.

Вкратце некоторые грабли, на которые наступил за пару недель:

Rescan SAN разделов после реконфигурации LUN

Имеем проблему - без перезагрузки пересканировать SAN, если изменилась конфигурация LUN-ов (например, добавлен новый раздел).
У меня используются адаптеры Emulex (драйвер lpfc)

Вот что нашел по ссылке на сайте RedHat