VMware ESX server 3i (ESXi3)

После экспериментов с виртуализацией (начало я уже описывал, надеюсь, найду время описать результаты экспериментов с Xen), решено было пойти по "экономному пути", но с использованием VMware. В процессе замера скорости работы жесткого диска выяснилось, что VMware значительно теряет скорость, если не использовать аппаратную виртуализацию. Но зато с ней - потери практически неощутимы.

Сейчас VMware раздает бесплатно (необходимо только зарегистрироваться) значительную часть своих продуктов. В частности, весьма интересный ESXi сервер, представляющий собой, по сути, RedHat EL, выпотрошенный по максимуму (убраны практически все утилиты), с прикрученным busybox и набором специфических утилит управления vmware сервером. ESXi сервер позиционируется как "почти хардверное" решение для виртуализации, вход в linux-консоль там даже не предусмотрен (хотя возможен, способ я опишу несколько далее). Управление этим сервером осуществляется посредством VMware Infrastructure Client. К сожалению, работает исключительно под Windows, даже в wine удается только установить, но не запустить, т.к. это чудо написано на .NET. Но есть и открытые perl-библиотеки (API) и набор утилит (RemoteCLI), которые позволяют управлять сервером.

Apache и VirtualHost

В процессе настройки машины с полусотней виртуальных хостов столкнулся с проблемой: при проверке синтаксиса конфиг-файла появились множественные сообщения вида:

_default_ VirtualHost overlap on port 80, the first has precedence

Причем вот только недавно все работало!

VMware infrastructure 3 vs Xen - первая проба виртуализации (ч.3)

(Часть 2)

Начинаем экспериментировать с VMware:

На одной из нод vmware кластера было отключено питание через iLO карту. Сбой ноды был зафиксирован в течении 1-2х минут. После чего виртуальная машина, которая находилась на отключенной ноде, была перезапущена "с нуля" на оставшейся ноде. Т.е. при физическом падении ноды все виртуальные машины, выполняющиеся на ней, будут перезапущены. С точки зрения конечного пользователя - хост был перезагружен.

После восстановления питания нода поднялась достаточно быстро - в течении 1-2х минут, после чего начался процесс миграции виртуальной машины "на старое место". В момент миграции ОС в виртуальной машине была доступна, однако обнаружилась неприятная вещь - в какой-то из моментов миграции работа практически была остановлена, отклик на пинги вместо обычных 170-200 мс достигал 2 секунд и более! Справедливости ради стоит отметить, что такие большие задержки наблюдались только около 15-20 сек и виртуальная машина мигрировала без перезагрузок, как и было обещано производителем.

Использование SRV записей в DNS

Некоторые службы (как, например, Jabber или SIP) имеют структуру адреса, очень похожую на email адрес, например, name@domain.com

Но далеко не всегда возможно поместить эти службы на том же хосте, где, к примеру, web-сервер. А иметь, jabber-адрес и email-адрес одинаковые, как, например, сделано в Google, согласитесь, удобно.

Для email все просто - существует соотвествующая MX запись. А для jabber и sip ?

VMware infrastructure 3 vs Xen- первая проба виртуализации (ч.2)

(Часть 1я)

Как оказалось, ребята из VMware очень любят гетерогенные сети и окружение :) В том смысле, что VMware ESIx Server построен на базе клона RedHat (RHEL), что сразу же бросается в глаза в процессе установки (характерный инсталлятор - anaconda). С другой стороны - мощная привязка в Windows, т.к. управляющий кластером сервер и админовские тулзы (vmware-viclient) можно развернуть исключительно под этой ОС. Даже wine недостаточно.

Гм. Достаточно неприятный сюрприз :( Обычный vmware-server, отдаваемый бесплатно, имел клиентскую часть как под windows, так и под linux. Это вдвойне неприятно для меня лично, т.к. приходится разворачивать отдельно на своей машине в виртуалке Win XP - иначе не попробовать.

VMware infrastructure 3 vs Xen- первая проба виртуализации

Для повышения надежности и более рационального использования вычислительный ресурсов мы решили попробовать использовать кластеры виртуальных машин. Хочу обратить внимание - не несколько виртуалок, объединенных в кластер. а клатер, на котором работают виртуальные машины.

Это сулит массу преимуществ, в частности, объединение ресурсов нескольких компьютеров в сочетании с HA кластером, который настраивается один раз. А внутри уже запускаются виртуальные машины, где и работают приложения.

Учитывая, что у нас собралось достаточно устаревшей техники, гарантия на которую истекла, да и мощность оставляет желать лучшего, такое решение позволит, с одной стороны, выжать максимум из старой техники, с другой - обеспечить приемлемую надежность.

Кластер RedHat: некоторые аспекты и тонкости реализации и использования(ч.6)

Часть 5

В процессе эксплуатации кластера выяснились неприятные особенности.


Итак, приблизительная конфигурация:
2 ноды, общий SAN storage, отсечка проводится через HP iLO карту.
Ноды запитаны независимо, с разных источников, находятся физически в разных стойках.


Случилось следующее. В результате сбоя питания в датацентре одна стойка была полностью обесточена (такое редко, но бывает).

Openfire jabber server - патч для корректной работы email service

После установки OpenFire 3.5.1 я столкнулся с проблемой. Email сообщения от jabber сервера приходят поврежденными, т.к. сервис не воспринимает нелатинские (non-latin) символы в теле письма.

Это весьма печально, т.к., например, очень полезный плагин fastpath (особенно в паре с webchat) умеет отсылать протокол сессии (session transcript), но толку от такого письма будет немного.

Кластер RedHat: некоторые аспекты и тонкости реализации и использования(ч.5)

Часть 4

Продолжаем тестирование по пунктам.

9. Отключение emulex контроллера на активной ноде (имитация отказа доступа к SAN storage)
10. Отключение emulex контроллера на пассивной ноде (имитация отказа доступа к SAN storage)

При останове на активной ноде - сервисы мигрируют, нода перезагружается.
При останове на пассивной - нода выпадает из кластера, перезагружается (qdiskd мониторинг)

Кластер RedHat: некоторые аспекты и тонкости реализации и использования(ч.4)

Часть 3
Часть 2
Часть 1

Повторение отключений интерфейсов (сетевых и оптического к SAN) но не логически, а физически.

Результаты сходны, однако проявилась неприятность. Дело в том, что данный кластер мониторится также при помощи quorum диска ( qdiskd ). В настройках которого добавлена опция heuristic. Эвристическая проверка проводилась пингованием соседней ноды. В результате при отключении интерфейса, через который шел пинг, на пассивной ноде, перегружались обе ноды, и активная и пассивная!

CentOS 5.1 и D-Link Wifi

Столкнулся с серьезной проблемой.

Имеем WiFi: D-link Access Point DWL-2100AP и сетевушку D-Link DWL-G550 PCI на чипе Atheros AR5212

Сама сетевушка завелась без проблем (драйвер ath_pci), а вот коннектиться к точке доступа в упор не захотела. Притащил на работу. проверил на другой машине с AP Netgear - без малейших проблем запускается. С 2100AP - не хочет.

В общем, после танцев с бубнами перешили точку доступа на последнюю прошивку - полегчало, завелось сразу же, WPA2 поднялся без проблем на wpa_supplicant.

Кластер RedHat: некоторые аспекты и тонкости реализации и использования(ч.3)

Часть 1
Часть 2

5. Поочередное отключение сетевых интерфейсов на активной ноде

• Отключение eth0 командой ifdown eth0 (поочередно на обеих нодах)
  Сервисы мигрировали на другую ноду. Нода с поврежденным интерфейсом осталась работать.


• Отключение eth3 командой ifdown eth3.
  Тут интересней. Интерфейс eth3 используется для внутрикластерной коммуникации.
  Как я понял, ноды пообщались через qdiskd (SAN раздел), активную (на которой был отключен интерфейс) отправили на ребут, сервисы мигрировали.

6. Поочередное отключение сетевых интерфейсов на пассивной ноде

• Отключение eth0
  Никакой реакции кластера. Что и следовало ожидать


• Отключение eth3
  Кластерным ПО зафиксированы проблемы на ноде, отправлена на перезагрузку.

Кластер RedHat: некоторые аспекты и тонкости реализации и использования(ч.2)

Часть 1

Результаты тестирования кластера:

1. Штатное выключение активной ноды.
Останов ноды производился командой shutdown -h now.
Сервисы смигрировали. Время миграции сервисов - десятки секунд (менее минуты) и, в основном, определяются временем остановки и старта собственно запускаемых программ.

2. Штатное выключение пассивной ноды.
Отработало нормально. Но есть особенность. В некоторых случаях (зависимость от чего-либо не определена) после запуска компьютера нормально не стартует rgmanager. Признаки: на одной ноде clustat выдает нормальный статус обеих нод, на второй - не показывает состояние кластерных сервисов.

Проблемы установки Windows XP или Устанавливайте Лицензионное ПО!

Сегодня заменяли на одной из машин Vista Business на Windows XP (пользователь на висту уже полгода матерился).

XP - лицензионная, OEM версия, свежие поставки, SP 2a.

Железо: MB Asrock Conroe XFire E-SATA (не надо кривиться, эти материнки на удивления оказались весьма неплохи), PIV, видео MSI 7300GT Silent, HDD - Seagate 250 16M кеша.

Начали ставить "лицензионно чистую" XP. В процессе установки - синий экран с комментарием: "Вам бы на вирусы провериться неплохо бы..."

Глаза у меня несколько округлились, в голове мелькали мысли: "Какие вирусы, блин! Машина чистая с переформаченным винтом! Разве что MS в нагрузку с дистрибутивом рассылает...". В общем, не долго думая, берется OEM диск с более ранних (годовой давности) поставок с SP2. Все становится на "ура" и работает.

Вот такая реализация рекламных лозунгов: "Приобретая лиценионное ПО вы получаете надежную операционную систему"

Кластер RedHat: некоторые аспекты и тонкости реализации и использования

Итак, для того, чтобы обеспечить бесперебойную работу важных сервисов (как минимум, в режиме 24х7), в нашей организации было решено провести ряд экспериментов с кластерным решением от RedHat (RedHat Cluster Suite).

Исходные условия:
в датацентре выделили два компьютера HP Proliant DL380
- CPU: 4 Intel Xeon 3Ghz
- RAM 4Gb
- 4 гигабитных сетевых карты (задействовано только две)
- OS: Enterprise Linux Server release 5.1 (Carthage), он же Oracle Unbreakable Linux 5.1
- внешний SAN storage для кластерных сервисов, подключение через 2хгигабитную карту emulex, fiber optic.
- кластерная FS была выбрана ocfs2 (GFS2 показала себя очень нестабильной)

На все это была установлена RedHat Cluster Suite из стандартного комплекта.