Цикл заметок о запуске высокопроизводительного кластера (HPC) на базе дистрибутива Rocks Cluster

1. Перед установкой.

Установка кластера состоит из двух этапов

1. Установка управляющего узла RocksCluster
2. Установка вычислительных узлов с помощью упраляющего

При установке надо учесть сетевую топологию RocksCluster, представленную на рис. 1

Rocks Cluster Network

рис. 1

 

 

 

 

 

 

 

 

 

 

 

На управляющем узле, при установке кластера,  используются два сетевых интерфейса Читать статью полностью…


Цикл заметок о запуске высокопроизводительного кластера (HPC) на базе дистрибутива Rocks Cluster

1. Постановка задачи.

По желанию одного из  клиентов было необходимо создать программно-аппаратный комплекс, представляющий из себя макет высокопризводительного вычислительного кластера с многотредовыми (многопоточными) вычислительными узлами двух типов. Макет создается для обучения высокопроизводительным вычислиениям.  Как следствие, кластер должен быть небольшим и максимально простым в использовании. Читать статью полностью…


Речь у нас пойдет об iWARP.  iWARP  или, полностью,  Internet Wide Area RDMA Protocol,  — это набор стандартов для обеспечения работы RDMA по IP-сетям,  созданный для сетей 10 Gigabit Ethernet. По сути iWARP направлен на то, что бы переложить часть нагрузки по обработке TCP/IP на «железо», в частности, на  сетевые адаптеры, разгружая тем самым центральный процессор и увеличивая эффективность  сетевого стека.  Как следствие, мы получаем возможность построения ethernet сетей с низкой латентностью. Для рынка HPC систем это означает, в первую очередь, что стандартный ethernet становится альтернативой быстрым сетям Infiniband, но обэтом позже.

Первые спецификации iWARP были опубликованы RDMA Consortium  еще в октябре 2002 года. После доработок, в  2007 году IETF (Internet Engineering Task Force) опубликовал уже стандарт  RDMA через TCP, разработанный RDMA Consortium.

Ключевые составляющие iWARP

Сущность набора стандартов iWARP можно свести к трем основным понятиям:

• Kernel bypass — доставка данных непосредственно в окружение пользователя, устраняя необходимость  переключения контекста приложения между режимами ядра и пользователя.

Direct Data Placement  — доставка данных в память приложения без копирования данных между различными буферами, например между  буфером адаптера и буфером сетевого стека.

Transport Acceleration   — ускорение обработки стека  TCP/IP за счет переноса процесса обработки непосредственно на сетевую карту без использования центрального процессора  и системного программного обеспечения.

Рассмотрим подробнее каждую из составляющих: Читать статью полностью…


Компания Е-Троник завершила проект в Санкт-Петербургском государственном политехническом университете (СПбГПУ) по созданию небольшого экспериментального суперкластера.
Проект задумывался давно, и целью его реализации и проведения исследовательских работ, являлось принятие решения о выборе базовых вычислительных средств и стратегии организации дальнейших работ с ними. Конечно же можно было выбрать одно из стандартных решений — создать некую кластерную систему с максимальной пиковой производительностью, ориентированной на выполнение MPI-программ и содержащей большое количество графических процессоров, что обеспечило бы большую пиковую производительность и высокие показатели на тесте Linpack. Однако в процессе написания технических требований к системе, стороны пришли к пониманию, что это вариант — неприемлем, поскольку: Читать статью полностью…


В период летнего затишья выдаются иногда деньки, когда есть время заняться давно задуманными исследованиями. Компания Е-Троник в содружестве с компанией  Netberg провели  оценочное  тестирование распараллеливания при рендеринге изображений.

Целью было  узнать насколько можно  использовать весь функционал и все возможности  многоядерного сервера на процессорах  Intel Xeon E5405 и  AMD Opteron Twelve Core Model 6174 при обработке изображений. Читать статью полностью…


тема неохватно велика ...

Среди прочих, многочисленных, тенденций развития систем автоматизации промышленных процессов, сегодня все более зримой и весомой становится роль средств обеспечения безопасности и, в том числе, обеспечения безопасности информационной. Тема обеспечения безопасного хранения и передачи данных в компьютерных сетях неохватно велика и многогранна. Решение этой задачи представляет собой сложный комплекс абсолютно разнородных действий, от совершенно административного, не имеющего никакого отношения к сетевым премудростям, вопроса недопущения посторонних к узловым точкам коммутации кабельной сети, до очень узких, специальных вопросов сетевого дизайна, выбора сетевых протоколов и приложений, взаимоувязки логики бизнес-процессов с логикой информационных потоков в сети, определения уровней доступов и средств контроля. Список может быть продолжен до бесконечности. «Ученый труд», описывающий все подробности и детали всего этого многообразия, потребовал бы длительной работы большого коллектива авторов и превратился бы в многотомное издание, конкурирующее с «Encyclopedia Britannica» по объему и широте охвата жизненных проблем. Посему сосредоточим наше внимание всего лишь на одном из многочисленных разделов этой, в высшей степени увлекательной, проблемы.  Читать статью полностью…