После экспериментов с виртуализацией (начало я уже описывал, надеюсь, найду время описать результаты экспериментов с Xen), решено было пойти по "экономному пути", но с использованием VMware. В процессе замера скорости работы жесткого диска выяснилось, что VMware значительно теряет скорость, если не использовать аппаратную виртуализацию. Но зато с ней - потери практически неощутимы.
Сейчас VMware раздает бесплатно (необходимо только зарегистрироваться) значительную часть своих продуктов. В частности, весьма интересный ESXi сервер, представляющий собой, по сути, RedHat EL, выпотрошенный по максимуму (убраны практически все утилиты), с прикрученным busybox и набором специфических утилит управления vmware сервером. ESXi сервер позиционируется как "почти хардверное" решение для виртуализации, вход в linux-консоль там даже не предусмотрен (хотя возможен, способ я опишу несколько далее). Управление этим сервером осуществляется посредством VMware Infrastructure Client. К сожалению, работает исключительно под Windows, даже в wine удается только установить, но не запустить, т.к. это чудо написано на .NET. Но есть и открытые perl-библиотеки (API) и набор утилит (RemoteCLI), которые позволяют управлять сервером.
Перейти к
▼
середа, 10 грудня 2008 р.
середа, 29 жовтня 2008 р.
Apache и VirtualHost
В процессе настройки машины с полусотней виртуальных хостов столкнулся с проблемой: при проверке синтаксиса конфиг-файла появились множественные сообщения вида:
Причем вот только недавно все работало!
_default_ VirtualHost overlap on port 80, the first has precedenceПричем вот только недавно все работало!
четвер, 9 жовтня 2008 р.
VMware infrastructure 3 vs Xen - первая проба виртуализации (ч.3)
(Часть 2)
Начинаем экспериментировать с VMware:
На одной из нод vmware кластера было отключено питание через iLO карту. Сбой ноды был зафиксирован в течении 1-2х минут. После чего виртуальная машина, которая находилась на отключенной ноде, была перезапущена "с нуля" на оставшейся ноде. Т.е. при физическом падении ноды все виртуальные машины, выполняющиеся на ней, будут перезапущены. С точки зрения конечного пользователя - хост был перезагружен.
После восстановления питания нода поднялась достаточно быстро - в течении 1-2х минут, после чего начался процесс миграции виртуальной машины "на старое место". В момент миграции ОС в виртуальной машине была доступна, однако обнаружилась неприятная вещь - в какой-то из моментов миграции работа практически была остановлена, отклик на пинги вместо обычных 170-200 мс достигал 2 секунд и более! Справедливости ради стоит отметить, что такие большие задержки наблюдались только около 15-20 сек и виртуальная машина мигрировала без перезагрузок, как и было обещано производителем.
Начинаем экспериментировать с VMware:
На одной из нод vmware кластера было отключено питание через iLO карту. Сбой ноды был зафиксирован в течении 1-2х минут. После чего виртуальная машина, которая находилась на отключенной ноде, была перезапущена "с нуля" на оставшейся ноде. Т.е. при физическом падении ноды все виртуальные машины, выполняющиеся на ней, будут перезапущены. С точки зрения конечного пользователя - хост был перезагружен.
После восстановления питания нода поднялась достаточно быстро - в течении 1-2х минут, после чего начался процесс миграции виртуальной машины "на старое место". В момент миграции ОС в виртуальной машине была доступна, однако обнаружилась неприятная вещь - в какой-то из моментов миграции работа практически была остановлена, отклик на пинги вместо обычных 170-200 мс достигал 2 секунд и более! Справедливости ради стоит отметить, что такие большие задержки наблюдались только около 15-20 сек и виртуальная машина мигрировала без перезагрузок, как и было обещано производителем.
Использование SRV записей в DNS
Некоторые службы (как, например, Jabber или SIP) имеют структуру адреса, очень похожую на email адрес, например, name@domain.com
Но далеко не всегда возможно поместить эти службы на том же хосте, где, к примеру, web-сервер. А иметь, jabber-адрес и email-адрес одинаковые, как, например, сделано в Google, согласитесь, удобно.
Для email все просто - существует соотвествующая MX запись. А для jabber и sip ?
Но далеко не всегда возможно поместить эти службы на том же хосте, где, к примеру, web-сервер. А иметь, jabber-адрес и email-адрес одинаковые, как, например, сделано в Google, согласитесь, удобно.
Для email все просто - существует соотвествующая MX запись. А для jabber и sip ?
неділя, 5 жовтня 2008 р.
VMware infrastructure 3 vs Xen- первая проба виртуализации (ч.2)
(Часть 1я)
Как оказалось, ребята из VMware очень любят гетерогенные сети и окружение :) В том смысле, что VMware ESIx Server построен на базе клона RedHat (RHEL), что сразу же бросается в глаза в процессе установки (характерный инсталлятор - anaconda). С другой стороны - мощная привязка в Windows, т.к. управляющий кластером сервер и админовские тулзы (vmware-viclient) можно развернуть исключительно под этой ОС. Даже wine недостаточно.
Гм. Достаточно неприятный сюрприз :( Обычный vmware-server, отдаваемый бесплатно, имел клиентскую часть как под windows, так и под linux. Это вдвойне неприятно для меня лично, т.к. приходится разворачивать отдельно на своей машине в виртуалке Win XP - иначе не попробовать.
Как оказалось, ребята из VMware очень любят гетерогенные сети и окружение :) В том смысле, что VMware ESIx Server построен на базе клона RedHat (RHEL), что сразу же бросается в глаза в процессе установки (характерный инсталлятор - anaconda). С другой стороны - мощная привязка в Windows, т.к. управляющий кластером сервер и админовские тулзы (vmware-viclient) можно развернуть исключительно под этой ОС. Даже wine недостаточно.
Гм. Достаточно неприятный сюрприз :( Обычный vmware-server, отдаваемый бесплатно, имел клиентскую часть как под windows, так и под linux. Это вдвойне неприятно для меня лично, т.к. приходится разворачивать отдельно на своей машине в виртуалке Win XP - иначе не попробовать.
четвер, 2 жовтня 2008 р.
VMware infrastructure 3 vs Xen- первая проба виртуализации
Для повышения надежности и более рационального использования вычислительный ресурсов мы решили попробовать использовать кластеры виртуальных машин. Хочу обратить внимание - не несколько виртуалок, объединенных в кластер. а клатер, на котором работают виртуальные машины.
Это сулит массу преимуществ, в частности, объединение ресурсов нескольких компьютеров в сочетании с HA кластером, который настраивается один раз. А внутри уже запускаются виртуальные машины, где и работают приложения.
Учитывая, что у нас собралось достаточно устаревшей техники, гарантия на которую истекла, да и мощность оставляет желать лучшего, такое решение позволит, с одной стороны, выжать максимум из старой техники, с другой - обеспечить приемлемую надежность.
Это сулит массу преимуществ, в частности, объединение ресурсов нескольких компьютеров в сочетании с HA кластером, который настраивается один раз. А внутри уже запускаются виртуальные машины, где и работают приложения.
Учитывая, что у нас собралось достаточно устаревшей техники, гарантия на которую истекла, да и мощность оставляет желать лучшего, такое решение позволит, с одной стороны, выжать максимум из старой техники, с другой - обеспечить приемлемую надежность.
вівторок, 2 вересня 2008 р.
Кластер RedHat: некоторые аспекты и тонкости реализации и использования(ч.6)
Часть 5
В процессе эксплуатации кластера выяснились неприятные особенности.
Итак, приблизительная конфигурация:
2 ноды, общий SAN storage, отсечка проводится через HP iLO карту.
Ноды запитаны независимо, с разных источников, находятся физически в разных стойках.
Случилось следующее. В результате сбоя питания в датацентре одна стойка была полностью обесточена (такое редко, но бывает).
В процессе эксплуатации кластера выяснились неприятные особенности.
Итак, приблизительная конфигурация:
2 ноды, общий SAN storage, отсечка проводится через HP iLO карту.
Ноды запитаны независимо, с разных источников, находятся физически в разных стойках.
Случилось следующее. В результате сбоя питания в датацентре одна стойка была полностью обесточена (такое редко, но бывает).
четвер, 5 червня 2008 р.
Openfire jabber server - патч для корректной работы email service
После установки OpenFire 3.5.1 я столкнулся с проблемой. Email сообщения от jabber сервера приходят поврежденными, т.к. сервис не воспринимает нелатинские (non-latin) символы в теле письма.
Это весьма печально, т.к., например, очень полезный плагин fastpath (особенно в паре с webchat) умеет отсылать протокол сессии (session transcript), но толку от такого письма будет немного.
Это весьма печально, т.к., например, очень полезный плагин fastpath (особенно в паре с webchat) умеет отсылать протокол сессии (session transcript), но толку от такого письма будет немного.
четвер, 24 квітня 2008 р.
Кластер RedHat: некоторые аспекты и тонкости реализации и использования(ч.5)
Часть 4
Продолжаем тестирование по пунктам.
9. Отключение emulex контроллера на активной ноде (имитация отказа доступа к SAN storage)
10. Отключение emulex контроллера на пассивной ноде (имитация отказа доступа к SAN storage)
При останове на активной ноде - сервисы мигрируют, нода перезагружается.
При останове на пассивной - нода выпадает из кластера, перезагружается (qdiskd мониторинг)
Продолжаем тестирование по пунктам.
9. Отключение emulex контроллера на активной ноде (имитация отказа доступа к SAN storage)
10. Отключение emulex контроллера на пассивной ноде (имитация отказа доступа к SAN storage)
При останове на активной ноде - сервисы мигрируют, нода перезагружается.
При останове на пассивной - нода выпадает из кластера, перезагружается (qdiskd мониторинг)
середа, 23 квітня 2008 р.
Кластер RedHat: некоторые аспекты и тонкости реализации и использования(ч.4)
Часть 3
Часть 2
Часть 1
Повторение отключений интерфейсов (сетевых и оптического к SAN) но не логически, а физически.
Результаты сходны, однако проявилась неприятность. Дело в том, что данный кластер мониторится также при помощи quorum диска ( qdiskd ). В настройках которого добавлена опция heuristic. Эвристическая проверка проводилась пингованием соседней ноды. В результате при отключении интерфейса, через который шел пинг, на пассивной ноде, перегружались обе ноды, и активная и пассивная!
Часть 2
Часть 1
Повторение отключений интерфейсов (сетевых и оптического к SAN) но не логически, а физически.
Результаты сходны, однако проявилась неприятность. Дело в том, что данный кластер мониторится также при помощи quorum диска ( qdiskd ). В настройках которого добавлена опция heuristic. Эвристическая проверка проводилась пингованием соседней ноды. В результате при отключении интерфейса, через который шел пинг, на пассивной ноде, перегружались обе ноды, и активная и пассивная!
середа, 16 квітня 2008 р.
CentOS 5.1 и D-Link Wifi
Столкнулся с серьезной проблемой.
Имеем WiFi: D-link Access Point DWL-2100AP и сетевушку D-Link DWL-G550 PCI на чипе Atheros AR5212
Сама сетевушка завелась без проблем (драйвер ath_pci), а вот коннектиться к точке доступа в упор не захотела. Притащил на работу. проверил на другой машине с AP Netgear - без малейших проблем запускается. С 2100AP - не хочет.
В общем, после танцев с бубнами перешили точку доступа на последнюю прошивку - полегчало, завелось сразу же, WPA2 поднялся без проблем на wpa_supplicant.
Имеем WiFi: D-link Access Point DWL-2100AP и сетевушку D-Link DWL-G550 PCI на чипе Atheros AR5212
Сама сетевушка завелась без проблем (драйвер ath_pci), а вот коннектиться к точке доступа в упор не захотела. Притащил на работу. проверил на другой машине с AP Netgear - без малейших проблем запускается. С 2100AP - не хочет.
В общем, после танцев с бубнами перешили точку доступа на последнюю прошивку - полегчало, завелось сразу же, WPA2 поднялся без проблем на wpa_supplicant.
вівторок, 15 квітня 2008 р.
Кластер RedHat: некоторые аспекты и тонкости реализации и использования(ч.3)
Часть 1
Часть 2
5. Поочередное отключение сетевых интерфейсов на активной ноде
6. Поочередное отключение сетевых интерфейсов на пассивной ноде
Часть 2
5. Поочередное отключение сетевых интерфейсов на активной ноде
- Отключение eth0 командой ifdown eth0 (поочередно на обеих нодах)
Сервисы мигрировали на другую ноду. Нода с поврежденным интерфейсом осталась работать. - Отключение eth3 командой ifdown eth3.
Тут интересней. Интерфейс eth3 используется для внутрикластерной коммуникации.
Как я понял, ноды пообщались через qdiskd (SAN раздел), активную (на которой был отключен интерфейс) отправили на ребут, сервисы мигрировали.
6. Поочередное отключение сетевых интерфейсов на пассивной ноде
- Отключение eth0
Никакой реакции кластера. Что и следовало ожидать - Отключение eth3
Кластерным ПО зафиксированы проблемы на ноде, отправлена на перезагрузку.
понеділок, 14 квітня 2008 р.
Кластер RedHat: некоторые аспекты и тонкости реализации и использования(ч.2)
Часть 1
Результаты тестирования кластера:
1. Штатное выключение активной ноды.
Останов ноды производился командой shutdown -h now.
Сервисы смигрировали. Время миграции сервисов - десятки секунд (менее минуты) и, в основном, определяются временем остановки и старта собственно запускаемых программ.
2. Штатное выключение пассивной ноды.
Отработало нормально. Но есть особенность. В некоторых случаях (зависимость от чего-либо не определена) после запуска компьютера нормально не стартует rgmanager. Признаки: на одной ноде clustat выдает нормальный статус обеих нод, на второй - не показывает состояние кластерных сервисов.
Результаты тестирования кластера:
1. Штатное выключение активной ноды.
Останов ноды производился командой shutdown -h now.
Сервисы смигрировали. Время миграции сервисов - десятки секунд (менее минуты) и, в основном, определяются временем остановки и старта собственно запускаемых программ.
2. Штатное выключение пассивной ноды.
Отработало нормально. Но есть особенность. В некоторых случаях (зависимость от чего-либо не определена) после запуска компьютера нормально не стартует rgmanager. Признаки: на одной ноде clustat выдает нормальный статус обеих нод, на второй - не показывает состояние кластерных сервисов.
Проблемы установки Windows XP или Устанавливайте Лицензионное ПО!
Сегодня заменяли на одной из машин Vista Business на Windows XP (пользователь на висту уже полгода матерился).
XP - лицензионная, OEM версия, свежие поставки, SP 2a.
Железо: MB Asrock Conroe XFire E-SATA (не надо кривиться, эти материнки на удивления оказались весьма неплохи), PIV, видео MSI 7300GT Silent, HDD - Seagate 250 16M кеша.
Начали ставить "лицензионно чистую" XP. В процессе установки - синий экран с комментарием: "Вам бы на вирусы провериться неплохо бы..."
Глаза у меня несколько округлились, в голове мелькали мысли: "Какие вирусы, блин! Машина чистая с переформаченным винтом! Разве что MS в нагрузку с дистрибутивом рассылает...". В общем, не долго думая, берется OEM диск с более ранних (годовой давности) поставок с SP2. Все становится на "ура" и работает.
Вот такая реализация рекламных лозунгов: "Приобретая лиценионное ПО вы получаете надежную операционную систему"
XP - лицензионная, OEM версия, свежие поставки, SP 2a.
Железо: MB Asrock Conroe XFire E-SATA (не надо кривиться, эти материнки на удивления оказались весьма неплохи), PIV, видео MSI 7300GT Silent, HDD - Seagate 250 16M кеша.
Начали ставить "лицензионно чистую" XP. В процессе установки - синий экран с комментарием: "Вам бы на вирусы провериться неплохо бы..."
Глаза у меня несколько округлились, в голове мелькали мысли: "Какие вирусы, блин! Машина чистая с переформаченным винтом! Разве что MS в нагрузку с дистрибутивом рассылает...". В общем, не долго думая, берется OEM диск с более ранних (годовой давности) поставок с SP2. Все становится на "ура" и работает.
Вот такая реализация рекламных лозунгов: "Приобретая лиценионное ПО вы получаете надежную операционную систему"
Кластер RedHat: некоторые аспекты и тонкости реализации и использования
Итак, для того, чтобы обеспечить бесперебойную работу важных сервисов (как минимум, в режиме 24х7), в нашей организации было решено провести ряд экспериментов с кластерным решением от RedHat (RedHat Cluster Suite).
Исходные условия:
в датацентре выделили два компьютера HP Proliant DL380
- CPU: 4 Intel Xeon 3Ghz
- RAM 4Gb
- 4 гигабитных сетевых карты (задействовано только две)
- OS: Enterprise Linux Server release 5.1 (Carthage), он же Oracle Unbreakable Linux 5.1
- внешний SAN storage для кластерных сервисов, подключение через 2хгигабитную карту emulex, fiber optic.
- кластерная FS была выбрана ocfs2 (GFS2 показала себя очень нестабильной)
На все это была установлена RedHat Cluster Suite из стандартного комплекта.
Исходные условия:
в датацентре выделили два компьютера HP Proliant DL380
- CPU: 4 Intel Xeon 3Ghz
- RAM 4Gb
- 4 гигабитных сетевых карты (задействовано только две)
- OS: Enterprise Linux Server release 5.1 (Carthage), он же Oracle Unbreakable Linux 5.1
- внешний SAN storage для кластерных сервисов, подключение через 2хгигабитную карту emulex, fiber optic.
- кластерная FS была выбрана ocfs2 (GFS2 показала себя очень нестабильной)
На все это была установлена RedHat Cluster Suite из стандартного комплекта.