В статье ICT-Online.ru о проекте рассказал DevOps-инженер RWB Иван Откидач, автор разработки RAF. Технический разбор на Хабре он подготовил сам: описал ограничения Redis Cluster и созданный им сервис для автоматического переключения мастеров. Обе публикации посвящены одной задаче — сохранить возможность восстановления кластера при потере зоны доступности.
По сообщениям «Яндекса», 8–11 октября пострадали его дата-центры в Сасово, Калуге и Владимире. Работа площадок в Сасово и Владимире была остановлена, в Калуге вышла из строя часть инфраструктуры. Для компаний, которые готовятся к подобным отказам, важно проверить не только сохранность резервных копий, но и способность оставшихся серверов продолжить обслуживание запросов.
Redis Cluster распределяет данные между ведущими узлами — мастерами. Их копии хранят реплики, которые могут принять на себя обслуживание данных при отказе мастера. Однако назначение замены требует голосов большинства ведущих узлов кластера. Если их осталось слишком мало, автоматическое переключение не состоится, даже когда сами копии доступны.
Например, у кластера три мастера, два из которых находятся на одной площадке. Ее отключение оставляет лишь один голос при необходимых двух. Если же разместить по одному мастеру в каждой из трех зон, потеря одной зоны сохранит большинство. При наличии доступной реплики для отключенного мастера кластер сможет выбрать замену.
Как написано в блоге RWB, виртуальные машины с Redis во внутреннем облаке компании распределены поровну между тремя зонами доступности. Но роли мастеров могут оказаться сосредоточены в одной зоне. Иван Откидач исследовал этот сценарий и разработал RAF для контроля размещения ролей с учетом инфраструктуры компании.
Контроллер работает поверх Redis Cluster. Он получает сведения о зонах доступности из корпоративного мониторинга и сопоставляет их с текущим состоянием кластера через Redis Cluster API. Обнаружив опасное распределение мастеров, RAF выбирает реплики, которым можно передать ведущие роли на других площадках.
Переключения выполняются последовательно. Сначала сервис проверяет доступность узлов и отставание реплики от мастера, затем запускает штатный механизм Redis. После каждой операции он проверяет нового мастера, синхронизацию реплик и итоговое распределение ролей. При ошибках или превышении времени ожидания отправляет уведомления.
Такая подготовка происходит до аварии, пока серверы доступны и могут согласовать смену ролей. При плановом переключении обработка запросов ненадолго приостанавливается, поэтому клиентские приложения должны корректно обрабатывать перенаправления и повторять запросы. Задача RAF — уменьшить риск затяжного простоя при последующем отказе зоны.
В публикации ICT-Online.ru описан путь от моделирования аварий и тестирования на стендах до внедрения в рабочие кластеры. Сервис использует существующие мониторинг и внутреннее облако RWB, а также стандартные механизмы Redis. Проект не требовал крупных вложений в закупку внешнего продукта.
В результате команда получила автоматический контроль того, что прежде требовало бы регулярной ручной проверки. При этом RAF рассчитан на конкретный сценарий: сохранение возможности автоматического восстановления при потере одной зоны. Он не заменяет резервное копирование и не гарантирует работу при одновременной утрате нескольких площадок.
Иван Откидач работает в команде администрирования баз данных RWB и специализируется на NoSQL-хранилищах, включая Redis и MongoDB. Является членом Hackathon Raptors Association (международная ассоциация IT-специалистов, организующая хакатоны и оценивающая технологические проекты), а также выступает судьей в Business Intelligence Group (американская организация, присуждающая международные бизнес-премии за инновации, технологии и лидерство). Помимо эксплуатационных задач, он занимается исследованиями в области компьютерных наук, Linux и систем с низкими задержками и публикует научные работы. В частности, его статья в журнале «Universum: технические науки» посвящена методам уменьшения сетевых задержек в Linux. Опубликовав разбор RAF, инженер описал для профессионального сообщества способ повышения устойчивости Redis Cluster к отказу зон доступности.
В статье ICT-Online.ru приведена оценка компании, согласно которой внедрение RAF экономит RWB до 200,9 млн рублей в год за счет предотвращения простоев и сокращения затрат на устранение последствий сбоев.
Кейс RWB показывает, что устойчивость баз данных зависит не только от числа площадок и наличия реплик, но и от распределения ролей между узлами. В этом проекте Иван Откидач выявил конкретный риск и возглавил внедрение RAF, а команда поддержала и проверила решение. Такая подготовка снижает вероятность остановки кластера при отказе одной зоны доступности и напрямую влияет на работоспособность тех сервисов компании, которые взаимодействуют с Redis.