Отечественные интеграторы на рынке ЦОД: технологии, проекты, перспективы. Комментарии участников рынка

Отечественный рынок ЦОД продолжает свой рост. Одновременно с этим растет конкуренция между игроками и требования заказчиков. О том, как развивается этот сектор сегодня, какие инновации и законодательные инициативы лежат в основе этого процесса, велики ли риски строительства ЦОДов в России, как решаются проблемы сейсмоустойчивости и энергопотребления – об этом за виртуальным круглым столом ICT-Online.ru беседуют представители компаний СТЭП ЛОДЖИК, КРОК, «ИНСИСТЕМС» (ГК ЛАНИТ), INLINE Technologies, «Инфосистемы Джет» и Softline. Они также рассказывают о наиболее интересных проектах на рынке ЦОД и дают прогнозы его дальнейшего развития.

ICT-Online.ru: Расскажите, пожалуйста, как происходит в настоящее время развитие рынка ЦОД? Появились ли какие-либо принципиально новые тренды?

Заместитель начальника отдела проектирования инженерных систем СТЭП ЛОДЖИК Вадим Каллэ: Рынок ЦОД растет: появляется множество новых объектов, как корпоративных, так и коммерческих. Во многом на активное развитие рынка влияют такие факторы, как органический прирост данных (по прогнозам IDC, к 2020 году объем данных в мире достигнет 40 трлн Гб, то есть на каждого жителя Земли будет приходиться по 5200 Гб данных) и законодательные инициативы, для реализации которых требуются дополнительные вычислительные мощности (№ 242-ФЗ, пакет Яровой).

 

Заместитель начальника отдела проектирования инженерных систем СТЭП ЛОДЖИК Вадим Каллэ

 

При этом после кризиса 2014-2015 годов заказчики стали более вдумчиво относиться к затратам, поэтому практически в каждом новом проекте встречаются требования по оптимизации CAPEX. Часто по этой же причине в проектах используется оборудование производителей, которые ранее не были широко представлены на российском рынке. В том числе появляются отечественные производители климатического оборудования и прецизионной техники.

В отличие от западных стран, на российском рынке ЦОД пока не наблюдается массового перехода на «зеленые» технологии. Причина опять же кроется в финансовой стороне вопроса. Как правило, заказчик хочет, чтобы его затраты окупились за 3-5 лет. Но в нынешних условиях это невозможно: при дешевой электроэнергии капиталовложения в «зеленые» технологии слишком высоки.

Руководитель сети дата-центров компании КРОК Павел Колмычек: Рынок ЦОД продолжает консолидироваться. Небольшие площадки либо уходят с рынка, либо становятся нишевыми игроками. Но с большей вероятностью их покупают или «ассимилируют» на своей площади более крупные и оптимальные игроки. На рынке сейчас есть один игрок, который явно выбрал стратегию покупок других ЦОД, и еще один, который успешно продает оптом стойко-места в своих ЦОД, куда более мелкие игроки мигрируют своих заказчиков. Таких тенденций три года назад не было, а сейчас это свершившийся факт. При этом вполне вероятно возникновение ключевого провайдера, если при слиянии объединятся хотя бы два игрока из ТОП-5. При подобном слиянии новая компания может получить 15-25 % рынка. В таком случае она вполне сможет влиять на рыночные тренды только своими действиями.

 

Руководитель сети дата-центров компании КРОК Павел Колмычек

 

Руководитель направления электромеханических систем КРОК Сергей Махлин: В настоящее время мы наблюдаем рост потребностей заказчиков в вычислительных мощностях и объёмах стойкомест. Растёт и требуемая мощность стойки как в корпоративном, так и в коммерческом сегментах, и эта мощность составляет от 7 кВт. Поэтому вопрос сокращения энергопотребления остается актуальным. При этом главный критерий высокого результата – хорошие показатели PUE (Power Usage Effectiveness, коэффициент эффективности использования энергии) без увеличения капитальных затрат. Конечно, это не может не влиять на внедряемые в ЦОД инженерные решения. Например, все чаще используются высокоэффективные установки холодоснабжения с прямым фрикулингом. Такие установки позволяют добиваться среднегодового PUE на уровне 1,18 и даже ниже.

 

Руководитель направления электромеханических систем КРОК Сергей Махлин

 

Генеральный директор компании «ИНСИСТЕМС» (ГК ЛАНИТ) Евгений Вирцер: Развитие рынка ЦОД происходит достаточно сложно, как любая история, требующая инвестиций на фоне неоднозначного спроса. Новые тренды – ЦОДы для Big Data с менее серьезными требованиями к отказоустойчивости инфраструктуры.

 

Генеральный директор компании «ИНСИСТЕМС» (ГК ЛАНИТ) Евгений Вирцер

 

Руководитель отдела облачных решений Softline Сергей Самоукин: В настоящее время рынок ЦОД продолжает расти. Это связано с влиянием долгосрочных технологических и экономических трендов, ростом облачного рынка и стабильным спросом на услуги Colocation. Также это объясняется повышением доверия к облачным услугам со стороны крупного бизнеса и проводимой многими компаниями политикой оптимизации затрат на ИТ-инфраструктуру. В целом, опыт Softline наглядно подтверждает эти данные - за прошлый год в компании высокий темп роста показали такие направления, как облачные технологии – 83 % роста, собственные услуги – 25 % и решения в области аппаратного обеспечения, объем которых возрос на 44 %. Помимо этого, существенное влияние на отрасль оказали телекоммуникационные компании, которые стали фокусироваться на секторе облачных услуг, повышая свою долю присутствия на этом рынке. По нашим прогнозам, в будущем рынок ЦОД ожидает дальнейшее развитие и консолидация.

 

Руководитель отдела облачных решений Softline Сергей Самоукин

 

Среди новых трендов можно отметить появление мультиоблачных сервисов, в основе которых лежит стратегия развертывания ИТ-инфраструктуры на базе нескольких облачных провайдеров и платформ без привязки к одному поставщику услуг. Распределение рабочих нагрузок между различными провайдерами позволяет заказчику выбирать лучшие условия по каждой услуге.

Директор департамента инженерных систем INLINE Technologies Александр Переведенцев: На мой взгляд, можно выделить два основных фактора, которые в течение последних трех лет влияют на развитие информационных технологий в России. Во-первых, это общемировая тенденция информатизации общества, то есть внедрение информационных технологий во все сферы деятельности человека. В России это выражается, прежде всего, в широком развертывании облачных технологий, развитии концепции Интернета вещей, а также в масштабной цифровизации в госсекторе и внедрении технологий Big Data. Во-вторых, это растущие требования регулятора, которые отражены, в частности, в Федеральном законе № 152-ФЗ «О персональных данных» и так называемом «законе Яровой». Все это дало толчок к строительству новых крупных ЦОД.

 

Директор департамента инженерных систем INLINE Technologies Александр Переведенцев

 

Что касается основных тенденций, то более плотным становится взаимодействие производителей ИТ-оборудования и разработчиков инженерной инфраструктуры. Этот симбиоз является результатом вынужденного увеличения стоимости различных услуг из-за ужесточения правил со стороны регулятора. Например, для выполнения «закона Яровой» операторы вынуждены построить или арендовать довольно внушительную инфраструктуру, затраты на строительство и использование которой в конечном итоге должны были лечь дополнительным грузом на потребителя. Между тем, совместная деятельность ИТ-производителей и разработчиков инженерных систем во многом позволила оптимизировать капитальные и операционные затраты, например, за счет разработки серверного оборудования, адаптированного к более широким температурным диапазонам эксплуатации.

Можно отметить также, что все более уверенные позиции на рынке занимает создание быстровозводимых модульных ЦОД с предустановленным оборудованием на заводе-изготовителе. Такое решение экономит время развертывания ЦОД в 1,5-2 раза по сравнению с традиционным строительством, а кроме того, обеспечивает высокое качество и позволяет минимизировать ошибки при реализации благодаря своей простой тиражируемости и отсутствию у интегратора необходимости «изобретать велосипед». Да и в отношении масштабируемости модульный ЦОД – это идеальное решение для постепенного развития инфраструктуры.

ICT-Online.ru: Проще или сложнее стало на этом рынке работать и почему? Какие уникальные компетенции в части ЦОД нужны интеграторам сегодня?

В конце 2018 года компания СТЭП ЛОДЖИК отметила свое 26-летие. Компания прошла путь от поставщика компьютерного оборудования и услуг сервиса до многопрофильного системного интегратора, постоянно повышающего эффективность бизнеса заказчиков благодаря инновационным и высококачественным ИТ-решениям и услугам. Компания реализует масштабные инфраструктурные проекты любого уровня сложности на территории России и стран СНГ (см. новость раздела «СТЭП ЛОДЖИК» от 26 ноября 2018 г.).

Вадим Каллэ (СТЭП ЛОДЖИК): Безусловно, со временем работать становится сложнее. Российский рынок ЦОД конкурентно насыщен: сегодня множество компаний предлагают услуги по строительству, модернизации и эксплуатации дата-центров. Большинство из них имеют высокие уровни партнерства с вендорами, знают, где дешевле приобрести то или иное оборудование. Поэтому при выборе подрядчика заказчики смотрят не только на релевантный опыт и на максимальную проработку проекта на стадиях ТКП, ТЗ. Важны и дополнительные преференции, которые они получат при работе с конкретным интегратором. Это могут быть специальные услуги, например, 3D-моделирование, визуализация проекта на начальном этапе.

Если говорить о конкурентных преимуществах СТЭП ЛОДЖИК, то это полный комплекс услуг в области проектирования и строительства инженерной инфраструктуры, использование технологий BIM, 3D- и CFD-моделирования. Кроме того, в проектах мы используем BIM+Enscape и BIM+Live, которые позволяют выполнять моделирование и художественную визуализацию различных объектов – от фрагментов инженерных систем до застройки районов с реальным рельефом местности, а также перемещаться по 3D-модели объекта в режиме реального времени с помощью VR. Применению данных технологий сопутствуют высокая степень автоматизации бизнес-процессов, прозрачность схем взаимодействия и максимальная степень ответственности участников процесса на всех этапах жизненного цикла объекта. Также нашим конкурентным преимуществом является центр технической поддержки, который уже более 20 лет осуществляет техническое сопровождение проектов и предлагает заказчикам сервис и ремонт высокотехнологичного оборудования ведущих мировых и отечественных производителей.

Еще одно из направлений нашего развития – энергомоделирование (Building Energy Modeling, BEM). Это оценка комплексной энергоэффективности всех инженерных систем, конструктивных решений, расположения здания в пространстве и так далее. Благодаря специальным инженерным расчетам можно оценить потребление энергии объектом в течение года и спрогнозировать окупаемость проектных решений. Уже сегодня в Европе BEM является стандартом.

Павел Колмычек (КРОК): Интеграторам сегодня нужно научиться эффективно строить комплексные услуги на базе ЦОД: начиная от HaaS или облачных услуг и заканчивая полным аутсорсингом ИТ-инфраструктуры или ИТ-департамента заказчика. В противном случае состязаться со специализированными провайдерами уже невозможно. Поэтому мы трансформируем бизнес, выходя за пределы нашего основного рынка. Сейчас в приоритете развитие экосистемы услуг вокруг облака и мощностей ЦОД, где сеть дата-центров выступает технологической инфраструктурой для новых сервисов с добавленной ценностью. Благодаря таким услугам бизнес может создавать цифровые платформы и запускать практически любые сервисы для своих клиентов.

Сергей Махлин (КРОК): Несмотря на то, что часть игроков покинуло рынок, конкуренция на нем не уменьшилась. Заказчики требуют от интеграторов гибкости и высочайшей скорости принятия решений. Владельцам ЦОД нужен надежный партнёр с высоким уровнем, как технических и инженерных компетенций, так и организационных. Зачастую управление проектами в условиях сверхсжатых сроков требует опытных менеджеров и руководителей. Поэтому для интеграторов, в первую очередь, важна высокопрофессиональная команда. Ее знания и умения должны постоянно поддерживаться и расширяться актуальными технологическими инновациями и опытом мировых практик в этой области. Еще одна составляющая – умение оптимизировать существующие на рынке решения под поставленную задачу. Следить за мировыми практиками – хорошо, однако гораздо важнее правильно применять их в конкретном проекте.

Руководитель направления ЦОД Центра сетевых решений «Инфосистемы Джет» Всеволод Воробьев: Работать на рынке ЦОД становится сложнее. Появляются комплексные проекты: кроме строительства дата-центра, интегратор теперь занимается сопутствующими непрофильными задачами: юридическим оформлением земельного участка под ЦОД, возведением здания, подведением к нему различных коммуникаций и так далее. Поэтому в современных условиях ИТ-интегратору нужно разбираться не только в технологиях и инженерной инфраструктуре, но и в строительных и юридических нюансах. Зачастую это затягивает сроки реализации проекта по независящим от интегратора причинам. А это несет определенные риски.

 

Руководитель направления ЦОД Центра сетевых решений «Инфосистемы Джет» Всеволод Воробьев


Первый в Санкт-Петербурге ЦОД, соответствующий уровню отказоустойчивости Tier III Uptime Institute, был спроектирован компанией ЛАНИТ. Центр обработки данных информационно-технического центра (ИТЦ) «Инфоресурс» получил сертификат Tier Design Uptime Institute и подтвердил соответствие стандарту Tier Standard: Topology. Проверку проводила консалтинговая компания Uptime Institute. Также это первый сертифицированный ЦОД компании ЛАНИТ, имеющий мощность свыше 21 МВт (см. новость раздела «ЛАНИТ» от 4 июля 2017 г.).

Евгений Вирцер («ИНСИСТЕМС»): Работать стало и сложнее, и проще. Сложнее потому, что заказчики больше времени тратят на принятие решений, ищут оптимальные варианты. Легче по причине того, что заказчики все больше и больше доверяют создание ЦОДов действительно профессиональным и опытным компаниям, соответственно, конкуренция стала более технологичной.

Сергей Самоукин (Softline): Для некоторых интеграторов рынок стал сложнее из-за роста числа компаний-операторов, выбравших ЦОД в качестве основного бизнеса. Постепенно, с развитием рынка ЦОД и роста востребованности облачных сервисов, многие интеграторы стали модернизировать портфель услуг, переключаясь на сервисы «поверх» ЦОДа: облака (IaaS, SaaS, PaaS), аренду оборудования, техподдержку, аутсорсинг и так далее. Например, Softline предлагает заказчикам собственные и вендорские облачные решения на условиях подписки, аренды и лизинга. Такие схемы помогают заказчикам перевести капитальные затраты в операционные и не выводить оборотные средства из бюджета компании. Подобные решения в последние годы становятся более востребованными и те интеграторы, которые не перейдут на продажу облачных решений и сервисных услуг, скорее всего, будут терять свои позиции на рынке. Использование облачных технологий и услуг помогает компаниям заложить фундамент для цифровой трансформации, что сейчас является приоритетом для бизнеса.

Александр Переведенцев (INLINE Technologies): Рынок ИТ-интеграции в России претерпел существенные изменения. И на данный момент нельзя сказать, что он стабилизировался. По моему мнению, это вносит небольшую сумятицу на рынке ИТ в целом. В то же время стабилизировался круг основных потребителей ЦОД, и это дает определенную предсказуемость. Так что в результате сложнее работать не стало.

Тем не менее, хотя рынок инженерной инфраструктуры ЦОД и довольно консервативный, он все равно требует от интегратора развития компетенций, позволяющих обеспечить масштабируемость, повысить надежность и энергоэффективность ЦОД, а также сократить время реализации проекта. Новые подходы и решения на базе таких компетенций уже применяются передовыми интеграторами и производителями – например, в виде строительства модульных ЦОД, о которых я уже упомянул.

ICT-Online.ru: Каковы тенденции строительства ЦОДов в России в условиях перехода на цифровую экономику?

Павел Колмычек (КРОК): Переход к цифровой экономике пока остается на уровне формирования программ, реализация которых, скорее всего, начнется в следующем, 2020 году. При этом ведущие игроки начинают присматриваться к разрабатываемым стратегиям, но конкретных направленных действий на рынке еще не заметно. Большим вызовом для развития цифровой экономики будет почти полное отсутствие ЦОД в регионах: так сегодня до 90 % мощностей коммерческих ЦОД сосредоточено в Москве и Санкт-Петербурге, на долю всех остальных регионов приходится всего 10 % мощностей.

Сергей Махлин (КРОК): Дальнейшее развитие Интернета вещей, промышленного Интернета вещей, искусственного интеллекта и технологии Big Data будет требовать все больших вычислительных мощностей, а значит – консолидации центральных узлов и построения крупных ЦОД. С другой стороны, ограниченность каналов связи и удалённость объектов потребует вычислительные мощности на периферии. Отсюда повышение спроса на небольшие ЦОД, например, модульные или контейнерные, расположенные в непосредственной близи от технологического процесса.

Всеволод Воробьев («Инфосистемы Джет»): Цифровизация проникает в технологические процессы компаний, не связанными с ИТ напрямую. А огромные массивы данных нужно где-то хранить и обрабатывать. Поэтому спрос на строительство собственных дата-центров существенно растет.

Евгений Вирцер («ИНСИСТЕМС»): Видна одна основная тенденция – перевод государственных данных на площадки «Ростелекома». И это, конечно, замедляет рыночное развитие отрасли.

Александр Переведенцев (INLINE Technologies): Принятое решение о переходе к цифровой экономике значительно подстегнуло строительство ЦОД в нашей стране, особенно в крупных региональных центрах. Запуск данной программы компенсировал снижение спроса на строительство ЦОД для традиционных задач, включая коммерческие дата-центры.

ICT-Online.ru: Назовите проблемы и риски строительства ЦОДов в России.

СТЭП ЛОДЖИК объявила о получении статуса Silver Reseller компании Rapid7 – производителя продуктов для управления безопасностью сети и тестирования систем защиты ИТ-инфраструктуры от проникновения потенциально опасных объектов. Теперь заказчики интегратора получают возможность воспользоваться продуктами Rapid7 для анализа и организации информационной безопасности, а также квалифицированными услугами по их настройке и внедрению в корпоративный ИТ-ландшафт (см. новость раздела «СТЭП ЛОДЖИК» от 27 февраля 2019 г.).

Вадим Каллэ (СТЭП ЛОДЖИК): Здесь хотелось бы сосредоточиться на трех основных проблемах. В первую очередь, это культура строительства, которая находится на достаточно низком уровне в нашей стране в силу ряда исторических причин. Не стоит забывать о том, что все этапы строительства ЦОД – от выбора площадки и проведения предпроектного обследования до организации строительного процесса – требуют тщательной проработки, специфических навыков, оформления соответствующей документации и так далее. Именно поэтому так важно выбрать квалифицированного подрядчика, который обладает навыками ведения и управления сложного инфраструктурного проекта.

Во-вторых, это отсутствие регламентов и рекомендательных документов по строительству дата-центров в РФ. Безусловно, создание национальных стандартов во многом облегчило бы работу ИТ-компаний, сделало бы ее более прозрачной и оказало бы существенное влияние на развитие рынка ЦОД.

Кроме того, дата-центр – это высокозатратный объект, и важной проблемой строительства ЦОД, на мой взгляд, является отсутствие достаточного количества инвестиций в данную сферу, и иногда – стремление к неуместной экономии. Например, заказчик может проектировать техническое решение с одной компанией, а реализовывать его с другой, также использовать оборудование, не предусмотренное проектом. Но этот путь таит в себе множество подводных камней: специалисты компании, не имевшей отношения к проектированию, могут не разобраться в нюансах, не обладать соответствующими технологическими ресурсами и компетенциями, наконец, некорректно осуществить авторский надзор. Все это приведет к возникновению коллизий при реализации и выходу за рамки бюджета: проект придется переделывать, появятся непредвиденные расходы.

Сергей Махлин (КРОК): Огромные территории и относительно низкая стоимость электроэнергии делают Россию довольно привлекательной для строительства ЦОД. При четкой постановке целей и задач, а также привлечения экспертов еще на этапе планирования, можно свести риски к минимуму и избежать проблем как на этапах проектирования и реализации, так и на этапе эксплуатации готового ЦОД. Например, флагманский ЦОД сети дата-центров КРОК работает без остановки с момента запуска в эксплуатацию осенью 2011 года, а это уже больше 2500 дней.

Всеволод Воробьев («Инфосистемы Джет»): Основная проблема связана с подключением дата-центров к электроснабжению. Особенно остро она стоит на территории Москвы и Московской области. Также трудности возникают при оформлении юридических документов на землю под ЦОД, получением различных разрешений на строительство и так далее.

Евгений Вирцер («ИНСИСТЕМС»): Риски, как и в любом инфраструктурном строительстве, – гарантия долгоиграющего спроса.

Сергей Самоукин (Softline): Одной из основных проблем строительства ЦОДов в России по-прежнему остается нестабильность валютного курса, так как все основное оборудование производится за рубежом. Есть российские поставщики, собирающие оборудование для дата-центров, но пока они не очень популярны среди ЦОДов уровня Tier-3. Кроме того, рынок, в целом, уже поделен, и новые игроки будет вынуждены снижать цены. А при учете строительства ЦОД за доллары – перспектива низких цен становится сомнительной, а инвестиции могут не окупиться.

Александр Переведенцев (INLINE Technologies): Безусловно, отрицательное влияние в определенные сегменты рынка ЦОД вносят санкции, что, в конечном счете, увеличивает стоимость объектов.

Как и в любой другой отрасли, для снижения рисков необходима стабильная экономическая ситуация. Это позволит повысить определенность в проектах, связанных с постоплатой, закупкой импортного оборудования.

ICT-Online.ru: Оправдано ли строительство сейсмоустойчивых ЦОДов?

20 марта 2019 года компания КРОК собрала журналистов, чтобы рассказать о развитии облачных сервисов за последние 10 лет, и поделиться результатами работы за прошедший год. За предоставление услуг заказчикам отвечает КРОК Облачные сервисы - отдельный бизнес-юнит КРОК. Фокус на этом направлении позволил вырастить выручку в 2018 году на 30 %, до 1,35 млрд рублей. Общее число клиентов за этот период увеличилось на 27 % (см. новость раздела «КРОК» от 20 марта 2019 г.).

Сергей Махлин (КРОК): Здесь все зависит от поставленных задач. Если заказчику необходимо построить ЦОД в регионе, где вероятность землетрясений велика, то вопрос оправданности даже не стоит. В России сейсмоопасных регионов не так много, поэтому сейсмоустойчивые ЦОД актуальны только для некоторых регионов – например, Камчатки. Однако существуют страны, где большая часть территории находится в зоне сейсмической активности. Например, в Турции – это порядка 95 %. Поэтому строительство дата-центров в подобных регионах обязано быть сейсмоустойчивым. Другой вопрос, что традиционные подходы к такому строительству рассматривают только безопасность человека. Поэтому крупное землетрясение может стать фатальным для дорогостоящего оборудования и ещё более ценной информации. В одном из наших проектов, где КРОК выступал в роли технического консультанта, мы пересмотрели такой подход и поставили во главу угла как безопасность человека, так и гарантированное сохранение работоспособности оборудования и даже его непрерывное функционирование. В результате созданный ЦОД способен не только выдержать MCE (Maximum Considered Earthquake) – самое сильное землетрясение, которое случается один раз в 2500 лет – но и продолжить работу во время и после него.

Всеволод Воробьев («Инфосистемы Джет»): Да, конечно, и у нас есть подобные проекты. Например, в Узбекистане, где у компании «Инфосистемы Джет» есть представительство, мы строим именно сейсмоустойчивые дата-центры. Такие ЦОДы требуют специальных виброопор, а также возможности переноса в случае землетрясений (контейнерный дата-центр).

Евгений Вирцер («ИНСИСТЕМС»): С моей точки зрения, в сейсмически опасных местах строительство и эксплуатация объектов всегда будет дороже. Поэтому экономического смысла в строительстве сейсмоустойчивых ЦОДов точно нет.

Сергей Самоукин (Softline): В России не так много сейсмически активных мест. К тому же, территория нашей страны огромна, и всегда можно найти место под строительство в благоприятной зоне. Возможно, строительство сейсмоустойчивых ЦОДов будет оправданным только для компаний, которые привязаны к конкретной локации при выборе места расположения дата-центров.

ICT-Online.ru: Поделитесь опытом, как значительно снизить энергопотребление ЦОДа?

Вадим Каллэ (СТЭП ЛОДЖИК): Одна из самых эффективных технологий в системе охлаждения ЦОД, позволяющая существенно снизить потребление электроэнергии и сократить расходы на обслуживание самой системы, – фрикулинг. Подобные решения производят большинство отраслевых вендоров – APC by Schneider Electric, Vertiv, STULZ и другие.

Не самая распространенная, но уже внедренная в некоторых дата-центрах РФ, – система Киото-кулинг. Это «зеленая» технология, которая круглогодично использует холод окружающей среды для охлаждения ЦОД. Для обеспечения требуемой надёжности работы подобных систем применяются резервные парокомпрессионные машины, но основная производительность системы охлаждения обеспечивается за счет окружающей среды при минимальном потреблении электроэнергии. При этом среднегодовой PUE всего ЦОД снижается с 1,3-1,25 для систем на базе водяного охлаждения до 1,15 для систем, построенных по технологии Киото-кулинг.

Кроме того, существуют технологии с использованием бросового тепла для генерации холода. СТЭП ЛОДЖИК как раз работает над одним из таких проектов. Принцип работы системы таков: в хладоцентре ЦОД устанавливаются абсорбционные холодильные машины (АБХМ), которые в своем цикле используют тепло, поступающее от источника, находящегося в непосредственной близости от дата-центра, – например, ТЭЦ или завода.

 

 

Генерация холода происходит в специальном цикле испарения воды в вакууме и абсорбции в растворе бромида лития, который далее регенерируется с использованием внешнего источника тепла. Значение PUE для данной схемы также находится на уровне 1,15. Однако окупаемость таких решений на данный момент – от 7-8 лет при текущих ценах на электричество.

Сергей Махлин (КРОК): Снизить энергопотребление можно двумя способами: либо выключить все оборудование, что неприменимо для объектов такого назначения, либо добиться его максимальной эффективности. Она достигается путем использования современного оборудования, скрупулезного расчета, подбора и проверки совместной работы всех систем, а также их тонкой настройкой в запущенном дата-центре. Такая настройка может занять значительное время, однако без неё максимальной эффективности не добиться. Например, в одном из проектов мы использовали для холодоснабжения связку чиллер-драйкулер-фанкойл в сочетании с роторными ИБП. В итоге добились PUE на уровне 1,35 и это в максимально тёплое время года. Это на 20 % лучше средних показателей дата-центров по миру. Подобный результат удивил как экспертов Uptime Institute, проводивших сертификацию ЦОД, так и производителя чиллеров, который не позиционировал данную модель как инсталлируемую в дата-центрах.

Александр Переведенцев (INLINE Technologies): Уже сегодня наша компания активно применяет решения, позволяющие частично или полностью перейти на бескомпрессорные системы отвода тепла с помощью различных методов свободного охлаждения с применением адиабатических установок. Это стало возможным после появления на рынке серверов с новой архитектурой, которая допускает их эксплуатацию при температуре 30°С. И это только начало. Совместная работа ведется над системами иммерсионного охлаждения, которые показывают еще более интересные результаты.

ICT-Online.ru: Внедрение энергоэффективных систем охлаждения в ЦОДах - насколько это актуально, как реализуется?

Сергей Махлин (КРОК): Холодоснабжение – основной потребитель электроэнергии в ЦОД после ИТ-оборудования. Поэтому производители оборудования для этих систем пытаются сократить их потребление. Наиболее эффективными считаются системы с адиабатикой, установки прямого фрикулинга и перспективные решения, такие как иммерсионное охлаждение и тепловые трубки. Последние пока не нашли широкого применения, так как требуют принципиального пересмотра подходов к системам охлаждения. Конечно, применение любых решений для систем холодоснабжения имеет определенные ограничения и зависит от многих факторов – региона строительства, его климатических особенностей и так далее.

Помимо этого, повысить энергоэффективность дата-центра может, как ни странно, и сам заказчик. Долгое время активному ИТ-оборудованию требовалось поддерживать температуру в машзалах на уровне 22°С +/- 2 градуса. Однако уже сейчас некоторые производители серверных платформ подтверждают возможность работы и при больших температурах, 26-30°С, что позволит шире применять, например, прямой фрикулинг.

Евгений Вирцер («ИНСИСТЕМС»): Внедрение энергоэффективных систем охлаждения в ЦОДах 100 % актуально. Позволяет экономить до 90 % потребления электричества для охлаждения и продлевает пользовательский ресурс оборудования.

Сергей Самоукин (Softline): Энергоэффективность - один из важнейших факторов успешного функционирования ЦОД. В последние годы уровень энергопотребления дата-центров растет из-за наращивания ИТ-мощностей. Снижение издержек и оптимизация энергопотребления играют все более заметную роль для отрасли. Внедрение энергоэффективных охлаждающих систем помогает решить эти проблемы. Лучше всего зарекомендовали себя решения на основе свободного охлаждения (фрикулинга), так как технология позволяет более экономично использовать ЦОД. Именно ее мы обычно рекомендуем нашим заказчикам.

Александр Переведенцев (INLINE Technologies): Это зависит от стоимости, а точнее, от отношения капитальных и эксплуатационных затрат, которое определяется прежде всего стоимостью электроэнергии в том регионе, где строится ЦОД. По моему мнению, окупаемость энергоэффективной системы не должна превышать 3–4 лет.

ICT-Online.ru: Расскажите о наиболее интересном проекте, связанном со строительством или эксплуатацией ЦОДа.

Вадим Каллэ (СТЭП ЛОДЖИК): Одним из масштабных и интересных проектов, реализованных нами за последнее время, стало моделирование и симуляция теплофизических процессов для крупного логистического центра. В BIM мы спроектировали инженерную инфраструктуру ЦОД, складского комплекса и прилегающих к нему зданий, а также смоделировали здания по имеющейся документации от архитекторов. В числе инженерных систем были кондиционирование и вентиляция, сети электроснабжения, СКС, системы видеонаблюдения и безопасности, газовое пожаротушение.

 

 

 

 

Важной задачей, которую мы решили с помощью CFD, стало обеспечение правильного температурного режима в ЦОД, его симуляция при реальной проектной нагрузке и выбор оптимальной конфигурации перегородок для разделения «холодных» и «горячих» коридоров, настроек решеток фальшпола.

ИТ-компания КРОК объявила итоги операционной деятельности за 12 месяцев 2018 года. Выручка увеличилась на 34,5 % по сравнению с аналогичным периодом прошлого года и составила 30 320 млн рублей. В рамках стратегии 2019-2021 КРОК планирует расти за счет перспективных технологий, управляемых ИТ-сервисов, консалтинга и сосредоточиться на развитии продуктовых инноваций (см. новость раздела «КРОК» от 25 апреля 2019 г.).

Сергей Махлин (КРОК): Одним из самых интересным проектов, в котором нам довелось поучаствовать, несомненно, было строительство 16-МВтного центра обработки данных в Стамбуле, Турция. КРОК выступал в нем техническим консультантом.

Проект интересен и сложен тем, что ЦОД строился в одном из наиболее сейсмоопасных регионов мира. Было проштудировано много материалов, стандартов и best practices. Все они рассматривали сейсмобезопасность только в разрезе безопасности для человека. Нам же была поставлена амбициозная задача сделать так, чтобы ЦОД сохранял работоспособность как во время, так и после землетрясения. Для изучения вопросов сейсмобезопасности мы даже привлекали профессоров Стамбульского университета.

Совместно с ними была проработана концепция, на тот момент уникальная для Турции - все здания ЦОД и его инженерное оборудование было решено установить на сейсмоизолированную плиту. Она, в свою очередь, поставлена на 120 специализированных шарниров-сейсмоизоляторов, которые ослабляют ускорение при землетрясении до уровня 0,2g. В итоге сейсмостойкость ЦОД была подтверждена компанией ARUP, известной международной компанией в области инженерного проектирования.

Также из интересных особенностей – сертификация ЦОД на соответствие уровню Tier III -проводилась экспертами Uptime в августе, самом жарком месяце в регионе, то есть в самых тяжелых для оборудования условиях. При участии наших специалистов дата-центр выдержал недельные испытания, удостоился лестных отзывов от специалистов Uptime и получил заветную плашку.

Всеволод Воробьев («Инфосистемы Джет»): В 2018 году мы за 4 месяца построили уникальный контейнерный ЦОД для одной из крупнейших мясоперерабатывающих компаний в России – ABI Product. Особенностью проекта стало использование нестандартного контейнера, увеличенного по ширине и высоте, а также специальных силовых разъемов повышенной мощности. Это решение - разработка компании Marechal Electric Group, и она впервые была реализована нашими экспертами на российском рынке.

КЦОД оснащен системами бесперебойного электроснабжения, кондиционирования, газового пожаротушения, управления доступом, видеонаблюдения. Для обеспечения отказоустойчивости большая часть подсистем имеет резервирование не менее «N+1». На случай перебоев с электроэнергией мы предусмотрели автоматический перевод ЦОД на электропитание от ДГУ, рассчитанной на 8-часовую работу без дозаправки. Модульная конструкция дата-центра надежно защищает размещенное в нем оборудование от электрических, температурных, климатических и ударных нагрузок. Рабочий диапазон температур ЦОД составляет от -40°С до +40°С.

Важно, что команда «Инфосистемы Джет» выступила в этом проекте не только как классический ИТ-интегратор, но и как соисполнитель строительно-монтажных работ по подготовке площадки для дата-центра, включая закладку фундамента.

Евгений Вирцер («ИНСИСТЕМС»): «ИНСИСТЕМС» выступал генеральным подрядчиком объекта МегаЦОД-2 Сбербанка в Сколково. 2000 стоек, мощность 30 МВт. Самые современные технические решения, жесткие сроки реализации и при этом не раздутый бюджет – совокупность этих факторов делает этот объект самым интересным нашим проектом на сегодняшний день.

ICT-Online.ru: Ваши прогнозы развития отечественного рынка ЦОД?

Вадим Каллэ (СТЭП ЛОДЖИК): Стремительная цифровизация, охватившая все отрасли экономики, является драйвером роста рынка корпоративных и Collocation ЦОД. Технологии IoT, IIoT, 5G позволяют подключить огромное количество устройств, информацию с которых необходимо собирать, хранить, обрабатывать и анализировать. Все это потребует дополнительных вычислительных мощностей и приведет к бурному росту количества дата-центров в нашей стране.

Евгений Вирцер («ИНСИСТЕМС»): При рыночном регулировании развитие отечественного рынка ЦОД будет происходить более быстрыми темпами.

Павел Колмычек (КРОК): В 2019 году вполне возможно локальное замедление роста количества стоек, так как большинство крупных площадок уже исчерпало возможности роста. Для дальнейшего роста нужен старт новых локаций, что требует большего времени ввода в эксплуатацию. Поэтому в этом году мы не ожидаем столь же высоких темпов роста, как в 2017 и 2018 годах. Но вполне возможно, что это будет компенсировано более высокими темпами развития рынка в 2020 году.

Сергей Самоукин (Softline): По нашим прогнозам, рынок ЦОД продолжит развиваться. Государственные структуры обратили пристальное внимание на эту отрасль, в связи с чем в перспективе они могут занять до 30-40 % рынка. Новых игроков в ближайшем будущем, вероятнее всего, не появится, а интерес существующих российских компаний к облачным сервисам будет расти. Основным драйвером для этого послужит процесс цифровой трансформации бизнеса: использование облачных технологий позволяет компаниям оптимизировать затраты на ИТ, повысить конкурентоспособность, отказоустойчивость, быстро реализовывать ИТ-проекты. При этом важным критерием перехода в облако станет экономическая составляющая: при использовании облаков затраты компании переводятся из капитальных в операционные, становятся более прогнозируемыми и управляемыми. В целом, опыт Softline подтверждает данные о высоких темпах роста облачных сервисов и их востребованности в России.

Автор: Анна Тумакова.

Тематики: Интеграция

Ключевые слова: центр обработки данных, ЦОД, Инфосистемы Джет, хранение данных, ЛАНИТ, КРОК, Инлайн Груп, Софтлайн, СТЭП ЛОДЖИК