В платформе Digital Q.DataFlows добавлена возможность использования наборов данных в ETL-процессах

Специалисты «Диасофт» интегрировали каталог данных с ETL-процессами, что позволило улучшить качество данных, повысить прозрачность и доверие к ним. Каталог данных используется для организации, описания и управления метаданными в едином пространстве, позволяет классифицировать данные и легко их находить.

Теперь достаточно добавить процессор на форму проектирования ETL-процесса и выбрать нужный набор данных из каталога. Платформа автоматически настроит подключение, обработку и загрузку данных и создаст объекты в системе-приемнике, минимизируя ручной труд. Таким образом, ETL-процессы строятся быстрее за счет описанных в каталоге технических метаданных.

Преимущества интеграции каталога данных с ETL-процессами:

• Централизованный доступ к метаданным: каталог данных предоставляет полную информацию об источниках, их схемах и взаимосвязях.
• Автоматизация: автоматическое сканирование источников и обновление информации о структуре данных упрощает настройку ETL-процессов и снижает вероятность ошибок из-за изменений в источниках.
• Отслеживание происхождения данных: автоматическое отслеживание происхождения данных (Data Lineage) позволяет прослеживать полный путь данных от источника до конечного пользователя для анализа результатов обработки данных и диагностики проблем.
• Автоматическое обновление: любые изменения в структуре источников автоматически обновляются в каталоге данных и синхронизируются с ETL-процессами.

Технологическая платформа Digital Q.DataFlows позволяет значительно повысить эффективность управления данными и снизить затраты на их обслуживание благодаря единому доступу к метаданным, возможности отслеживания происхождения данных, автоматизации ETL-процессов и классификации данных.

Технологическая платформа Digital Q.DataFlows входит в экосистему low-code разработки микросервисных программных продуктов Digital Q и включена в реестр российского программного обеспечения (№ 16802 от 01.03.2023).