Кластер это просто. Часть 2.

Цикл заметок о запуске высокопроизводительного кластера (HPC) на базе дистрибутива Rocks Cluster

1. Перед установкой.

Установка кластера состоит из двух этапов

1. Установка управляющего узла RocksCluster
2. Установка вычислительных узлов с помощью упраляющего

При установке надо учесть сетевую топологию RocksCluster, представленную на рис. 1

Rocks Cluster Network

рис. 1

 

 

 

 

 

 

 

 

 

 

 

На управляющем узле, при установке кластера,  используются два сетевых интерфейса

  1. eth0 — для связи с внутренней сетью кластера
  2. eth1 — для связи с публичной сетью

2. Установка управляющего узла.

Структура ПО кластера кластера состоит из модулей (Rolls), которые представляют из себя программу или наборы программ, сгруппированных по некоторому общему признаку.

Примеры:

  • hpc roll — набор реализаций mpi, тесты ;
  • ganglia roll — система мониторинга ганглиа;
  • sge roll — система управления заданиями Sun Grid Engine;
  • os roll – операционная система.

Установка выполняется с носителя Rocks DVD, который содержит набор наиболее часто используемых роллов. Скачать ISO образ Rocks DVD можно с ftp сервера Rocks Cluster, ссылка на дистрибутив находится в разделе Downloads.  Мы будем устанавливать версию 5.5, базирующуюся  на 5-й версии операционной системы Red Hat/CentOs. Процесс установки и настройки версии 6.0 проходит аналогично.

Загружаемся с Rocks dvd, после загрузки и появления приглашения boot: вводим build

Rocks Cluster Install

рис. 2

 

 

 

 

 

 

 

 

 

 

 

 

 

Запускается программа установки кластера.

Сначала нам предлагается определить состав программного обеспечения устанавливаемого кластера , т.е. выбрать наборы rolls для установки.

Нажимаем кнопку CD/DVD based Roll ( см. рис.3 ) и выбираем часть наборов, которые есть на нашем загрузочном DVD.

Rocks Cluster Install

рис. 3

 

 

 

 

 

 

 

 

 

 

 

 

Если перечислять в алфавитном порядке, то выбираем

  • Base
  • Ganglia
  • Hpc
  • Kernel
  • Sge (Sun Grid Engine)
  • Web-server
Rocks Cluster Install

рис. 4

 

 

 

 

 

 

 

 

 

 

 

 

Нажимаем Submit и на следующем экране опять выбираем CD/DVD based Roll

 

Rocks Cluster Install

рис. 5

 

 

 

 

 

 

 

 

 

 

 

 

 

При этом из дисковода должен выдвинуться текущий DVD диск. Вставляем следующий диск – установочный диск ReHat RHEL 5.8, нажимаем continue.

 

Rocks Cluster Install

рис. 6

 

 

 

 

 

 

 

 

 

 

 

 

Можно было установить кластер на базе  CentOs, находящейся на Rocks DVD, но нам, по условиям поставленной задачи, нужен кластер на базе  RHEL  — см. Кластер это просто. Часть 1.

Инсталлятор считывает и показывает содержимое диска. Отмечаем единственный пакет — Red_Hat_Enterprise_Linux_Server_5.8

Rocks Cluster Install

рис. 7

 

 

 

 

 

 

 

 

 

 

 

 

Больше ничего не добавляем, продолжаем установку

Rocks Cluster Install

рис. 8

 

 

 

 

 

 

 

 

 

 

 

 

 

 

В следующем окне настроек кластера обязательно вводим полное DNS имя для управляющего
узла и почтовый адрес в поле contact. Остальное менять по желанию. Имя сервера используется
для настройки внутреннего DNS сервера, а почтовый адрес для возможности сменить и получить
пароль для управление wordpress, идущего в составе кластера.

Rocks Cluster Install

рис. 9

 

 

 

 

 

 

 

 

 

 

 

 

Далее настраиваем внешний ethernet интерфейс кластера

 

Rocks Cluster Install

рис. 10

 

 

 

 

 

 

 

 

 

 

 

 

 

Затем внутренний.  Он как правило настраивается автоматически, используя внутренний DHCP  сервер кластера.

 

Rocks Cluster Install

рис. 11

 

 

 

 

 

 

 

 

 

 

 

 

 

После чего вводим оставшиеся сетевые настройки для узла

 

Rocks Cluster Install

рис. 12

 

 

 

 

 

 

 

 

 

 

 

 

Устанавливаем пароль пользователя Root

Rocks Cluster Install

рис. 13

 

 

 

 

 

 

 

 

 

 

 

 

Устанавливаем временную зону и сервер синхронизации времени, для синхронизации времени на узлах

Rocks Cluster Install

рис. 14

 

 

 

 

 

 

 

 

 

 

 

 

 

Выбираем разбиение жесткого диска

Rocks Cluster Install

рис. 15

 

 

 

 

 

 

 

 

 

 

 

 

 

Автоматическое разбиение жесткого диска разбивает только первый найденный диск, остальные оставляет нетронутыми. При этом разбиение осуществляется следующим образом

Раздел Размер
/ 16 GB
/var 4 GB
swap 1 GB
/export ( линк на /state/partition1) Оставшееся место

 

Самый простой вариант – обьединить все диски управляющего узла в один raid массив и  выполнить автоматическое разбиение кластера.  При необходимости можно выполнить ручное разбиение

 

Rocks Cluster Install

рис. 16

 

 

 

 

 

 

 

 

 

 

 

 

 

После этих шагов начинается копирование содержимого всех дисков на кластер. Когда скопирован очередной диск, установщик просит вставить другой необходимый ему диск.

Сначала скачивается операционная система, диск с которой находится у нас в дисководе

Rocks Cluster Install

рис. 17

 

 

 

 

 

 

 

 

 

 

 

 

 

Затем вставляем Rocks DVD диск

Rocks Cluster Install

рис. 18

 

 

 

 

 

 

 

 

 

 

 

 

 

После копирования всех файлов Идет формирование дистрибутива и установка его на головной узел (по времени достаточно долго, но полностью автономно, можно оставить сервер в покое).

Rocks Cluster Install

рис. 19

 

 

 

 

 

 

 

 

 

 

 

 

 

 

После копирования всех файлов Идет формирование дистрибутива и установка его на головной узел (по времени достаточно долго, но полностью автономно, можно оставить сервер в покое).

Rocks Cluster Install

рис. 20

 

 

 

 

 

 

 

 

 

 

 

 

 

В результате получаем установленный головной узел на базе RHEL-5.8.

Rocks Cluster Install

рис. 21

 

 

 

 

 

 

 

 

 

 

 

 

 

Установка вычислительных узлов RocksCluster

Необходимо войти в управляющий узел под пользователем root и в терминале запустить
команду

# insert-ethers

Узлы будут именоваться compute-0-0, compute-0-1, …

Можно выделить однотипные узлы в глуппы ( по названию). После установки первой  группы узлов ввести команду

# insert-ethers —cabinet=1

И узлы будут именоваться compute-1-0, compute-1-1, …

Rocks Cluster Install

рис. 22

 

 

 

 

 

 

 

 

 

 

 

 

 

Rocks Cluster Install

рис. 23

 

 

 

 

 

 

 

 

 

 

 

 

 

Оставить по умолчанию compute и нажать ОК.

Затем включить устанавливаемый узел с режиме PXE загрузки, на экране управляющего

узла будет показана информация о mac адресе и присвоенном узлу имени.

Rocks Cluster Install

рис. 24

 

 

 

 

 

 

 

 

 

 

 

 

 

После появления звездочки между скобками — (*) можно наблюдать за процессом инсталляции узла

введя на управляющем узле команду ( в другой вкладке программы терминал или в консоли )

# rocks-console имя_узла

Например

# rocks-console compute-0-0

Rocks Cluster Install

рис. 25

 

 

 

 

 

 

 

 

 

 

 

 

 

Rocks Cluster Install

рис. 26

 

 

 

 

 

 

 

 

 

 

 

 

 

Процедуру установки необходимо повторить для последующих узлов, включая их в
нужной последовательности, для правильной нумерации узлов.

Удаление узла RocksCluster

Удаление узла из базы управляющего узла происходит при выполнении команды

#insert-ethers —remove=»node name»

Пример:

#insert-ethers –remove compute-0-1

Наш кластер установлен и готов к работе.

В следующей статье расскажем как им управлять.

Продолжение следует…

 

Другие статьи о Rocks Cluster:

Кластер это просто. Часть 1. «Схема кластера».