«Диасофт» выводит на рынок объектное хранилище для Data Lakehouse и критичных данных

Продукт построен в высокопроизводительной архитектуре с отдельным масштабируемым слоем метаданных, что решает ключевую проблему деградации при росте числа файлов. Для объектного доступа реализован S3-совместимый API и файловые интерфейсы (S3, FUSE, WebDAV, HDFS, gRPC, REST) для работы на разных операционных системах.

Ключевые преимущества «S3 Архипелаг»:

• Оптимизация использования в составе Data Lakehouse, интеграция с Digital Q.DataFactory.
• Линейная масштабируемость при работе с объектами произвольного размера – от сотен мегабайт до многотерабайтных объектов
• Поддержка сильной согласованности.
• Поддержка «теплых» и «холодных» типов данных через гибкую иерархию.
• «Горячая» репликация и перебалансировка.
• Отказоустойчивость без SPOF.
• Низкие требования к ресурсам.
• Интеллектуальная оптимизация мелких объектов, позволяющая снизить совокупную стоимость владения (TCO) инфраструктурой хранения мелких файлов на 40-60%. За счет разделения слоев метаданных (Filer) и данных (Volume) потребляет в 2-3 раза меньше CPU и RAM, чем Ceph.
• Управление временем жизни данных (TTL).

Два типа хранилища в одном

«S3 Архипелаг» заменяет два разнородных хранилища (объектного – для аналитики, файлового – для приложений) путем объединения их на единой платформе. Это сокращает затраты на оборудование и лицензии, а также операционные расходы на администрирование, мониторинг и бэкап.

Надежное хранение данных

Продукт обеспечивает отказоустойчивое хранение критичных данных, включая огромные коллекции мелких файлов с помощью оптимизированной архитектуры («Master-Volume-Filer»). Такая архитектура обеспечивают линейную масштабируемость метаданных и позволяет хранить десятки и сотни миллиардов файлов без деградации производительности на операциях листинга и поиска.

Масштабирование «на лету»

«S3 Архипелаг» обеспечивает «горячее» масштабирование без перерывов: емкость и вычислительные ресурсы подключаются в работающий кластер простым добавлением узлов. Система автоматически перераспределяет данные для оптимальной нагрузки.

Высокая производительность

Чтобы подтвердить готовность «S3 Архипелаг» к работе с критичными и высоконагруженными системами, специалисты «Диасофт» провели серию тестов на эталонном стенде в среде Astra Linux Special Edition. Конфигурация из шести узлов (8 ядер, 32 GB RAM, NVMe-диски и сеть 10GbE) показала, что хранилище способно выдержать более 45 000 операций записи в секунду, сохраняя стабильное время отклика. Это в 2,4 раза выше, чем показал Ceph RGW в аналогичных условиях на том же оборудовании.

Такой результат – гарантия, что платформа справится с пиковыми нагрузками в реальном проекте. Например, в архитектуре Data Lakehouse, когда сотни потоков данных одновременно пишут сырую информацию в Bronze-слой, а движки Spark и Trino выполняют сложные запросы к Silver и Gold-слоям. Высокая производительность «S3 Архипелаг» позволяет наращивать объемы хранилища, просто добавляя серверы в кластер, без деградации скорости и сюрпризов при масштабировании.

Отказоустойчивость

Используется гибридная схема устойчивости. Для «горячих» данных настраивается многократная репликация для скорости, для «холодных» архивов применяется стирающее кодирование (Erasure Coding) с экономией дискового пространства до 40% по сравнению с трехкратной репликацией при сохранении сопоставимого уровня отказоустойчивости.

Защита информации

Продукт обеспечивает выполнение требований КИИ, ИСПДн и ГИС за счет встроенных механизмов: сквозное шифрование (AES-256, TLS 1.3), гранулярное управление доступом с интеграцией LDAP/AD/Kerberos, Object Lock для защиты от удаления и детальный аудит всех операций.

Планы развития продукта

• Экстремальная оптимизация для Apache Iceberg и Hudi с целью повысить эффективность работы с фоновыми процессами, которые генерируют тысячи операций с файлами, снизив нагрузку и ускорив выполнение;
• Углубленная интеграция с российской СУБД Digital Q.DataBase;
• Автоматизация жизненного цикла данных с использованием AI для прогнозирующей оптимизации.