Все о кластерах и кое-что об IBM. Рассказала «Тринити»

Одна из наиболее интеллектуальных сфер деятельности «Тринити» – создание комплексных вычислительных систем. Компания поставляет кластерные решения от ведущих компьютерных компаний, таких как Compaq, Dell, Hewlett-Packard, IBM, Sun Microsystems. С целью продвижения собственных услуг, а также для популяризации ключевых технологий, которые используются сегодня в данной области, «Тринити» проводит ознакомительные семинары, последний из которых - «Параллельные вычисления для решения прикладных задач. Опыт построения и внедрения вычислительных кластеров», был организован в ноябре 2007 года, совместно с «Саровским Инженерным Центром», где кластерные технологии используются для расчета и моделирования сложных научных задач.

Как отметили представители «Тринити», данное мероприятие было организовано в формате научной встречи, чем вызвало интерес у представителей научного круга, а также сотрудников промышленных организаций, где применяются высокоточные технологии - машиностроение, судостроение, авиапром, энергетическая отрасль, а также у пользователей CAE-систем, инжиниринговых фирм и научно-исследовательских центров.

Первым на конференции выступил руководитель отдела системной интеграции компании «Тринити» Сергей Селезнев. Он назвал сферы применения высокопроизводительных кластерных технологий, и задачи, которые такие системы решают. Как пояснил Сергей Селезнев, одна из ключевых задач, решаемых с помощью вычислительных кластерных технологий – моделирование различных процессов и явлений. Сегодня кластерные технологии имеют несколько областей применения, ключевые из которых: отрасли тяжелой промышленности и машиностроения, наука и образование, погодные и климатические исследования, ядерные, космические, энергетические и военные государственные программы, а также финансовые компании и банки.

В России наибольшая концентрация кластерных вычислительных центров наблюдается в научных институтах и университетах – это первый эшелон; далее идут предприятия, занятые в тяжелой и нефтедобывающей промышленности: ориентированные на разведку и добычу полезных ископаемых, машиностроение, производство лекарственных препаратов, а также финансовые структуры. Сергей Селезнев сообщил, что в последние годы отмечается повышение интереса к кластерным технологиям со стороны отечественных предприятий, которым, для повышения конкурентоспособности бизнеса, требуется мощная вычислительная техника.

Следующим выступил директор «Саровского Инженерного Центра» (СИНЦ) Александр Рябов, который рассказал о возглавляемой компании и привел примеры ее деятельности. СИНЦ является научно-инженерным предприятием, работающим в области современных компьютерных технологий. Его специалисты решают компьютерные статические, динамические и тепловые расчеты различных машиностроительных конструкций для российских и зарубежных предприятий авиационной промышленности, атомной энергетики, нефтегазовой промышленности, общего машиностроения и других отраслей. В своем выступлении Александр Рябов подчеркнул, что сейчас в науке господствует кластерная эра, которая пришла на смену однопроцессорным технологиям.

Александр Рябов описал и продемонстрировал ряд реализованных проектов СИНЦ, моделирующих, на основе высокоточных расчетов, различные ситуации в промышленности. В числе наиболее интересных: расчет данных для демонтажа старого железнодорожного моста. Сотрудниками Центра была предложена технология взрывной резки, которая позволила существенно сократить время операции по сравнению с традиционным методом, использующим гидравлическое оборудование. Безопасность метода была обоснована на основе компьютерных расчетов динамической деформации моста при его падении, что позволило применить новую технологию демонтажа.
Как пояснил Алексей Рябов, с помощью компьютерной обработки возможно создавать высокодетализированные модели, например, нефтяных и газовых месторождений, что обеспечивает более эффективную, безопасную и дешевую разработку скважин.

Выступление Алексея Рябова продолжил его коллега, научный сотрудник СИНЦ Виктор Спирин. Он подчеркнул, что такие расчеты производятся с помощью специализированных программ. В СИНЦ в работе используются решения английской компании CD-adapco, с которой Центр сотрудничает с 1999 года. CD-adapco предлагает средства компьютерного моделирования для решения сложных инженерных проблем в различных отраслях гражданской промышленности и медицины. Потребителями решений компании являются более 4 тыс. специалистов по всему миру. СИНЦ является официальным представителем компании CD-adapco в России. В штате Центра работают 20 специалистов-тестировщиков, которые ведут тестирование программ разработчика. Для сравнения, в головном офисе CD-adapco в Лондоне рабочая группа тестировщиков включает лишь пять сотрудников.

Далее выступил научный сотрудник Санкт-Петербургского Государственного Политехнического Университета (СПбГПУ) Юрий Болдарев, который рассказал о практике построения суперкомпьютеров на базе Центра высокопроизводительных вычислительных кластерных технологий кафедры «Компьютерных технологий в машиностроении» механико-машиностроительного факультета СПбГТУ, который работает с 1 февраля 2001 года на основании решения Совета Федеральной Целевой Программы «Интеграция вузовской и академической науки России».

Вычисления научного центра СПбГПУ опираются на ряд ведущих программно-аппаратных комплексов, из которых Юрий Болдарев выделил комплекс для инженерного и научного анализа Ansys, который позволяет решать широкий спектр задач как из области механики деформируемого твердого тела, так и из области гидро-, магнито- и аэродинамики.

Стоит отметить, что высшие школы, на базе которых работают вычислительные кластеры, решают не только научные и теоретические вопросы, но и реализуют практические задачи. Юрий Болдарев привел в пример, а также проиллюстрировал проект Центра по моделированию ботапорта - элемента конструкции дамбы, строительство которой ведется в настоящее время в Финском заливе вблизи Кронштадта. В рамках проекта сотрудники Центра СПбГПУ при помощи кластерных технологий смоделировали и выразили в визуальном формате подводные движения, которые препятствуют устойчивости ботапорта. Юрий Болдарев подчеркнул, что в таких сложных расчетах, как, например, при строительстве дамбы в Кронштадте, особенно важна визуализация расчетов.

О последних разработках в области кластерных технологий рассказал представитель компании IBM. Стоит отметить, что IBM в течение десяти лет занимает лидирующую позицию в рейтинге «Топ 100» самых мощных суперкомпьютеров. Как сообщалось в докладе, одной из тенденций IBM последнего времени является сборка кластеров из стандартных компонентов на базе Windows, широкий спектр который представлен на рынке. Однако, по мнению IBM, наиболее удобным представляется покупка уже готового кластерного решения.

Как отметил докладчик, IBM продолжает создавать решения для систем открытым исходным кодом типа Linux, положительная сторона которых - выгодное соотношение цена/производительность. Cluster 1350 представляет собой готовое кластерное решение, объединяющее серверные узлы на базе основных процессоров, таких как Xeon, PowerPC и Opteron. В качестве операционной системы System Cluster 1350 применяется Microsoft 2003. Кроме того, здесь же компания предлагает модульный сервер BladeCenter QS20, который присутствует в составе моделей из линейки IBM System Cluster 1350. Продукт оснащен двумя процессорами Cell BE (3,2 ГГц), а также модулями аппаратных ускорителей ClearSpeed, которые имеют интерфейс PCI-X. Данное программное обеспечение может перехватывать обращение к математическим библиотекам, поддерживаемым платой, направляя его на обработку ускорителю. После этого вычисленный результат помещается в оперативную память, откуда возвращается приложению. В состав комплектации кластерной системы 1350 входят платформы 1U x3455, 2U x3655 и 4U x3755, а также «свежие» системы на базе чипов Xeon и Power. В максимальном варианте кластерная система 1350 может содержать до 1024 узлов.

Одним из самых доступных способов консолидации ИТ-инфраструктуры в линейке этого вендора является решение IBM BladeCenter, в том числе и за счет радикального снижения расходов. Шасси BladeCenter допускает установку серверов-лезвий с разными типами процессоров – Intel Xeon, IBM PowerPC, AMD Opteron. Выбор операционных систем также широк: blade-серверы могут работать под управлением Microsoft Windows, Linux, Novell Netware, VMware ESX, IBM AIX, Sun Solaris. Напомним, что блейд-системы, представляют собой экономичное решение с точки зрения энергопотребления и охлаждения, поскольку возможно рассчитать потребление энергии и управлять теплом в кластерах. Кроме того, такие серверы максимально компактны.

Также на семинаре было рассказано о высокопроизводительной файловой системе IBM GPFS для построения кластеров, которую возможно использовать в решениях на базе компонентов от различных поставщиков. GPFS – усовершенствованная файловая система для высокопроизводительных вычислительных кластеров, обеспечивающая высокоскоростной доступ к приложениям, выполняющимся на нескольких узлах Linux- или AIX-кластеров. Сергей Горбас подчеркнул, что GPFS не является клиент-серверной системой, как NFS, DFS, AGS, и в ней нет «узкого места» в виде единого сервера. Система применима в таких областях, как инженерное проектирование, обработка цифрового контента, анализ данных, финансовый анализ, обработки сейсмической информации и научных исследований.

В заключительной части конференции специалисты «Тринити» - ведущий инженер Сергей Тараненко и системный инженер Алексей Швецов выступили с докладом о результатах тестирования экспериментального вычислительного многоузлового кластера с Infiniband-интерконектом, который был сконструирован в компании. Как пояснили демонстраторы, данная система создавалась с тем, чтобы в большей мере понимать требования клиентов.

Кластер работает на 64 ядрах, на платформе Supermicro (четыре платформы)и состоит из семи вычислительных нот. В основе системы лежит процессор Intel Xeon QuadCore 5335. При создании кластера использовались одноюнитовые серверы для каждого узла. По расчетам специалистов «Тринити», его производительность равна 227 гигафлопс. Суммарный объем операций системы равняется 72 Гбайт, максимальное потребление мощности – 4 кВт. В системе использован вычислительный интерконнект – Infiniband мощностью 20 гигафлопс.

Как рассказали докладчики, при создании кластера были использованы ядра Linux 2.6.23. Специалисты подчеркнули, что при конструировании такой системы желательно применять ядра старше 2.6.16 серии, которые дополнены переработанной реализацией posix threads. Доступ к файлам данных в кластере может быть реализован на выбор либо с помощью распределенной файловой системой Cluster FS, в данном случае скорость записи протокола будет равняться 190 Мбит/c (8 узлов), либо с применением классического варианта - NFS-сервера на управляющем узле, скорость записи потока тогда будет достигать 50 Мбит/с.

В качестве тестирующей программы был использован продукт Gromacs – популярный пакет для моделирования молекулярной динамики. В рамках теста на прирост производительности при использовании интерконекта Infiniband было отмечено, что пик производительности кластера достигается при работе всего лишь 16 ядер системы, тогда как далее кривая графика снижается, и при постепенном подключении остальных ядер, поднимается на максимальный предел, не превышающий первого результата. Основываясь на этих данных, специалисты компании пришли к выводу, что производительность кластера не всегда соизмерима количеству используемых ядер. Кроме того, было отмечено, что система показывает разные результаты при использовании разных интерконнектов.

Специалисты пояснили, что наиболее эффективная работа системы наблюдается при постановке динамических задач, включая такие области, как молекулярная динамика, квантовая механика, а также любых задач с процессами, протекающими во времени. Специалисты подчеркнули, что неправильно спроектированная архитектура кластера может свести к минимуму общую эффективность системы. Как отметил директор по развитию компании «Тринити» Дмитрий Гриневич, данный тестовый проект открыт, и с ним могут ознакомиться все желающие, для которых могут быть полезны кластерные системы.

Гости конференции охарактеризовали мероприятие как имеющее не только теоретическую, но и практическую пользу. «Эффективность конференций, посвященных инновационным методам обработки данных, применяемых в науке, трудно недооценить. Такие конференции очень полезны, поскольку показывают, на каком этапе развития находится инженерная мысль в современном мире. Кроме того, такие мероприятия способствуют повышению применения новых технологий в бизнес, поддерживают диалог между научным сообществом и промышленностью. В связи с масштабной информатизацией бизнеса, промышленность постепенно приходит к осознанию необходимости использования кластерных систем. Однако, не всегда ясно видит конкретную пользу кластерного подхода. Здесь, научный опыт учит представителей промышленности формулировать задачи, другими словами, тренировать умы, в результате чего рождаются идеи использования таких инновационных методик», - прокомментировал конференцию сотрудник компании «ТрансСервисСвязь» Андрей Кольчугин.

Подробности

Компания «Тринити» была основана в 1993 году в Петербурге, в 2000 году был открыт офис в Москве (компания «Тринити Солюшнс»). Основные направления деятельности компании – производство и поставка серверов и систем хранения данных, разработка и внедрение комплексных вычислительных систем. Наиболее интеллектуальная сфера бизнеса компании – выполнение сложных проектов по построению ИТ-инфраструктуры, а именно создание высокопроизводительных и отказоустойчивых кластерных систем, распределенных катастрофоустойчивых решений, а также систем виртуализации данных.