Сложные случаи при организации климатических решений в ЦОДах

Полупромышленные потолочные кондиционеры — это всегда «ружье на стене»

Любой полупромышленный кондиционер, который размещен над оборудованием - это потенциальный источник аварийной ситуации. Как говорится, «если на стене висит ружье, оно рано или поздно выстрелит». И если в ЦОДе используется потолочный кондиционер, он рано или поздно «протечет». Это может случиться по разным причинам: обслуживающий персонал не заменит вовремя фильтр, не почистит дренаж, не заметит, что сломалась помпа. Вода из кондиционера польётся вниз на оборудование, создавая поломку, которая не попадает под гарантийный ремонт и влечет большие финансовые потери, «разбор полетов», поиск и увольнения виновных.

Руководитель направления комплексных инженерных решений компании C3 Tech (входит в С3 Group) Александр Ежов
Фото: С3 Group

При всем этом, случаи использования таких кондиционеров в ЦОДах до сих пор встречаются. Более того, есть даже некий тренд ставить полупромышленные системы кондиционирования канального или потолочного типа в помещениях ИБП и аккумуляторных. Аргумент «за» звучит так: это экономит средства, потому что более дорогих систем комнатам ИБП не нужно. В основе ИБП довольно простые вычислительные элементы, для них статика не критична, и кондиционеры небольшой мощности представляются рациональным выбором.

Но нельзя забывать, что для самих аккумуляторов, чтобы они не рассыхались, нужно не только теплоотведение, но и поддержание влажности. Полупромышленные кондиционеры влажность не поддерживают, а только осушают воздух. Для продления срока службы аккумуляторов они не то чтобы неэффективны, а даже вредны. Зато, если потолочный кондиционер протечет, это гарантированно приведет к порче оборудования. В худших случаях отказ одного ИБП, на который попала вода, влечет за собой значительное увеличение нагрузки на остальные модули, что приведет к их отказу и даже выходу из строя.

Хотелось бы предостеречь заказчиков от использования таких кондиционеров не только в помещениях ИБП, но и в принципе в ЦОДах.

Шкафные кондиционеры для комнат ИБП лучше, чем рядные

Многие заказчики помнят времена, когда вычислительные мощности у бизнеса были невелики, серверы помещались на столах, а блоки питания — буквально под столами. Сейчас, когда мы переходим на серьезные дорогие технологии, использование старых подходов становится критически опасным. Однако на некоторых участках технологии, которые считаются устаревшими, все еще могут успешно применяться.

Так, в ЦОДах с мощностями от 8 кВт на одну стойку от шкафных кондиционеров сейчас отказываются. Но установка таких кондиционеров в аккумуляторных и комнатах ИБП не только возможна, но и оптимальна. Выбор кондиционеров для ИБП имеет свои особенности: например, для лучшей работы источника нужно, чтобы кондиционер забирал воздух сзади ИБП и подавал охлажденный в пространство перед ним. Шкафные кондиционеры здесь будут наилучшим решением — наиболее эффективным и дешевым. Ставить возле ИБП рядный кондиционер рекомендуется только тогда, когда для шкафного нет подходящего места или мощность ИБП действительно велика.

Ожидания от мобильных ЦОДов должны быть реалистичны

Несмотря на все санкции и ограничения, цифровизация в нашей стране запущена и идет полным ходом. Мощности ЦОДов все более востребованы. Когда из-за сложных условий строительства или эксплуатации возведение большого ЦОДа нецелесообразно, а использование облачных решений затруднительно, заказчики обращаются к направлению мобильных ЦОДов — МЦОДам. К ним относятся модульные, контейнерные и микроЦОДы.

Модульная конструкция позволяет быстро возводить такие ЦОДы: ставятся опоры, делаются рамы, модули собираются и стыкуются, полученное помещение заполняется стойками с вычислительными мощностями и ИБП. ЦОДы контейнерного типа действительно позволяют повысить энергетическую эффективность: сам по себе объем контейнера довольно маленький, оборудование и кондиционеры внутри контейнера устанавливаются максимально плотно. МикроЦОДы представляют собой одну или несколько объединенных герметичных серверных стоек, в которых устанавливается не только само ИТ-оборудование, но и все необходимые инженерные системы. Особенно популярны такие решения у государственных компаний, организаций с большим количеством операторских или телеметрических пунктов и на промышленных производствах. МикроЦОД стал отличным решением, когда объем вычислительных мощностей не достаточен для отдельной серверной или отсутствует возможность организации соответствующего помещения. Как правило, микроЦОДы не всегда подходят для размещения оборудования, требующего большой нагрузки: такие решения рассчитаны на мощности до 60 кВт.

Важно помнить, что чем компактнее само решение, тем точнее должно быть техническое задание, особенно в плане необходимой мощности и автономии. Как правило, большинство мобильных ЦОД предусматривает возможность масштабирования, но лучше заранее уточнить у производителя возможность будущего наращивания полезного пространства и мощности. Увеличение времени автономии требует установки дополнительных батарей, а это, кроме цены, также вес и дополнительные теплопритоки.

Обычно в «больших» ЦОДах рассчитывают автономную работу до пяти минут, чтобы не обращать внимания на кратковременные просадки напряжения. При наличии дизельной генераторной установки время автономии лучше закладывать до 10 минут, чтобы дизель успел запуститься и выйти на номинальную мощность. В отдельных случаях заказчикам нужна автономия на 30-40 минут, чтобы безопасно сохранить данные и корректно завершить важные процессы. Большинство микроЦОДов для систем телематики, видеонаблюдения и управления критически важной инфраструктурой запрашивают с автономией до четырех часов.

Размещение блоков ИИ требует специальной подготовки в ЦОДе

Часто внутри классического ЦОДа заказчик стремится разместить блоки искусственного интеллекта. Обычно они выполнены на графических ускорителях и обладают настолько большим тепловыделением, что почти всегда продаются в комплекте со встроенной водяной системой охлаждения. В таких модулях вычислительные процессоры ИИ охлаждаются водой, а все остальные составляющие — воздухом. При этом даже воздушное охлаждение для блоков ИИ требуется очень большой мощности, и развернуть такие системы в обычном ЦОДе бывает очень непросто. Проблема проста: например, есть классический ЦОД, допустим, на 200 кВт и 40 стоек, то есть проектная мощность составляет 5кВт на стойку. И связана эта мощность не с системой питания, а с контролем микроклимата: можно подвести дополнительный кабель питания, но практически невозможно подвести больше воздуха, чем есть. Сетевые инженеры редко смотрят проекты и оперируют общими цифрами и часто размещают высоконагруженные элементы в одном месте. В итоге электрическая и тепловая мощности не превышены, а оборудование при этом перегревается. И тут уже сотрудники эксплуатации начинают пытаться улучшить теплоотведение с помощью вентиляторов, воздуховодов, индивидуальной изоляции и задействования дополнительных кондиционеров.

Сделать так можно, но крайне нежелательно, потому что это значительно повышает риск отказа не только блоков ИИ, но и рушит балансы тепловых мощностей для остального оборудования. В такой ситуации я бы рекомендовал рассмотреть возможность использования МикроЦОДа с индивидуальным кондиционером и системой бесперебойного питания внутри «большого» ЦОДа для создания и поддержания необходимых индивидуальных условий эксплуатации для такого высоконагруженного оборудования.

Альтернатива — иммерсионное охлаждение, когда высоконагруженные стойки погружаются в теплоноситель, который поддерживает оптимальную температуру. Но такой способ охлаждения приводит к необходимости решить ряд непростых вопросов, связанных с организацией системы иммерсионного охлаждения и ее эксплуатацией — начиная от поиска подходящего помещения для установки ванны с жидкостью и до обучения специалистов по эксплуатации особенностям работы с такими системами.

Рынок классических и микроЦОДов будет развиваться. Строить ЦОДы в России и странах СНГ выгодно как в плане логистики поставок оборудования, так и с точки зрения присутствия потенциальных заказчиков. Уже в ближайшем будущем решения, которые являются инновационными сегодня, станут широко распространенными. Чтобы повышать свою конкурентоспособность на этом рынке, имеет смысл нарабатывать компетенции в новых направлениях, а также, конечно, вовремя учиться на ошибках. По возможности — на чужих.

Автор: Александр Ежов, руководитель направления комплексных инженерных решений компании C3 Tech (входит в С3 Group)