В Bercut рассказали о том, как монетизировать корпоративные данные

Технический директор Bercut Алексей Чистяков рассказал, как превратить данные в деньги.

По словам спикера, процесс преобразования начинается даже не с технологий, а с мышления. Топ-менеджмент компании должен осознать, какие в целом данные имеются в организации, понять, какие именно данные могут принести бизнес-эффект, а дальше начать работу непосредственно с ними: каталогизировать, обновить архитектуру и инфраструктуру для обработки данных, оценить регуляторные риски, и самое главное — повысить уровень компетенции команд.

«Цифровое развитие организации можно уместить в циклический треугольник. Организация меняет некий процесс, процесс порождает данные, эффекты, данные меняют саму организацию, результаты ее деятельности. Дальше следующий цикл. Суть в том, чтобы проходить цикл максимально быстро или,хотя бы, быстрее конкурентов», — отмечает Алексей Чистяков.

Цифровое развитие организации можно уместить в циклический треугольник
Источник: презентация Bercut

Если в одних организациях такие циклы могут составлять по несколько лет, то у других этот счет может идти на недели. Компактность цикла определяет жизнеспособность, антихрупкость компании, а также определяет способность организации к самообучению.

Модель уровня зрелости бизнес-кейсов

В Bercut была разработана модель уровня зрелости бизнес-кейсов — Case Implementation Maturity Levels или CIML, которая уже показала практичность и легкость применения. Универсальная методика подходит для большинства отраслей: финтех, телеком, производство, логистика, госсектор, разработка ПО и других. В модели выделяется пять уровней зрелости, где A – максимальный, и F – минимальный.

Модель уровня зрелости бизнес-кейсов
Источник: презентация Bercut

На примере борьбы телеком-оператора со спамом спикер более подробно рассмотрел схему пошагово.

Уровень F подразумевает, что в компании нет понимания процесса и понимания проблем, это уровень хаоса. На таком уровне компания не понимала, что у нее есть проблемы со спамом, несмотря на отдельные жалобы, — их количество не учитывалось систематически, поэтому масштаб проблемы не был оценен, а потери не измерялись. По итогу стало известно, что потери составляли 2-3% от оборота.  В результате проблем терялась база абонентов, ухудшалась репутация оператора.

Уровень D — это формализация видимости. В рассматриваемом кейсе оператор формализовал процесс, осознал, что спам — это проблема, с которой нужно работать, началась блокировка спамеров в ручном режиме. Были созданы регламенты, политики, создано описание этого процесса, назначены ответственные, выстроена аналитика и оценка эффектов. Начался сбор жалоб и иных сигналов, которые приходили в объединенную базу данных, появилась соответствующая инфраструктура: база инцидентов, базовый BI на исторических данных, ручная аналитика. В результате проблема стала измеримой, время реакции на жалобы сократилось на 50%, но блокировка еще опаздывала.

Следующий уровень С – «Автоматизация». На этом уровне жалобы стали автоматизированными, при достижении порога жалоб бан спамера происходил автоматически. Отбор различных сигналов, не только по жалобам, также стал автоматическим, появились автоматические паттерны, по которым телеком-оператор производил блокировку. Появились первые point-to-point интеграции между разными системами, первые бизнес-правила.

Уровень С — Автоматизация
Источник: презентация Bercut

По итогу время реакции по блокировкам снизилось на 90%: с двух дней до двух часов. Автоматическая блокировка происходила в 80% случаев, потери удалось снизить на 15-20%. Еще одним эффектом стала экономия FTE (Full-Time Equivalent, полная занятость) для аналитиков, операторов и другого персонала.

Спикер отмечает, что достаточно большое количество компаний находится именно на уровне C, что, в принципе, считает достойным уровнем.

Уровень B подразумевает интеграцию и связанность. В случае рассматриваемого кейса оператор начал отслеживать онлайн-сигналы из разных связанных систем: биллинг, CRM, сетевые данные, внешние партнерства с банками. Они стали формироваться в единый массив правил для автоматической блокировки. Появился реал-тайм, слой интеграции для блокировки при помощи Event Mesh. В компании появилась инфраструктура HIP, которая объединяет все доступные источники в массив правил, существенно увеличилось количество учитываемых сигналов, данные были перемещены в озеро, появился процесс оценки качества.

Уровень B: интеграция и связанность
Источник: презентация Bercut

В результате процесс создания новых правил по детекции спама сократился на 75%, а  точность определения спама выросла до 95% и выше для отдельных случаев.

Тем не менее и для этого этапа имеются свои ограничения: необходимо постоянно наращивать паттерны и сигналы, усложнять алгоритмы, в то время как спамеры со своей стороны делают то же самое.

«Уровень A — это AI Intelligence или AI Intellect. AI-модель сама на этом уровне теперь блокирует спам-компанию и учится новым паттернам борьбы. То есть вчера аналитика выявляла эти паттерны, сегодня эти паттерны выявляет и предлагает аналитикам на рассмотрение AI-модель. Спамеры тоже учатся и тоже используют нейросети. Побеждает тот, у кого больше быстрых, надежных и дешевых данных», -— рассказывает Алексей Чистяков.

Технический директор Bercut Алексей Чистяков
Фото: Bercut

На уровне А оператор внедрил дата-фабрику из HIP, которая готовит данные для ML. ML обрабатывает поток в реальном времени, также в реальном времени детектирует спам, модель самообучается, происходит автоматическая оптимизация правил, MLOps управляет жизненным циклом моделей, модель работает на живом потоке данных.

Это дало эффекты снижения спама до 1% и меньше, автоматического обучения новым паттернам, адаптации к новым типам фрода и спама за часы вместо недель, и вишенкой на торте стал заработок на спаме.

Модель не просто блокировала спам, а перенаправляла спам с абонента, заставляя спамера звонить оператору и удерживать его на линии максимально долго. За счет этого оператор мог зарабатывать на входящем соединении, которое было платным для спамера.

Уровень A: AI/ML и оптимизация
Источник: презентация Bercut

Как правило, отмечает ‘Алексей Чистяков, наибольшие сложности возникают при переходе с этапа С на этап B и выше.

Базовые технологии, которые используются на пути прохождения всех этапов, это общий контур управления данными, Hot Data – операционные потоки, как правило, интегрированные с ESB, это real-time синхронизация между системами,  автоматизация операционных процессов, используется слой данных примерно за последние сутки, и Cold Data – данные для аналитики, для обучения тяжелых моделей. Это ETL, Data Fabrica. Пакетная загрузка отсюда осуществляется в Озеро данных от TData и Data Governance от той же компании, которые проверяют и управляют качеством данных, отслеживают их происхождение.

Основные правила по  реконвертации данных в бизнес-актив

Резюмируя основные правила по реконвертации данных в бизнес-актив, Алексей Чистяков вывел несколько правил.

Первое правило — вести учет и каталогизацию своих данных, иметь хранилище для них, в идеале должен быть также единый сводный реестр метаданных. Важно понимать,  какие данные есть, где хранятся, откуда данные приходят, кто владеет этими данными, какое у них качество.

Правила конвертации данных в актив
Источник: презентация Bercut

Второе правило — знать, каких данных не хватает. Для каждого кейса, который планируется реализовать, надо понимать, какие данные нужны для реализации, какие есть, какие отсутствуют, как получить недостающие.

Правило третье — иметь в беклоге хотя бы 3-4 актуальных кейса для пилотирования, которые будут не сложными (требуются только доступные данные), но могут дать быстрый эффект, а также выбрать оптимальный — тот, на который уже имеются ресурсы, возможности и компетенции для его реализации.

Правило четвертое — поступательное строительство фабрики данных, движение должно идти по уровням зрелости. Осознание проблемы, выстраивание первых интеграций, добавление интеграций со внешними системами, подключение Data Governance и обучение AI-шных моделей, самое важное на этом этапе — качество данных, поскольку эффект будет только в этом случае.

И наконец, необходимо измерять эффект и оценивать показатели ТСО/ROI.

Наглядная демонстрация возможностей решений

Во второй части вебинара руководитель группы Delivery компании Bercut Сергей Сорокин наглядно продемонстрировал возможности решений ESB и Datamapper. Bercut ESB – это интеграционная шина, предоставляющая low-code и no-code инструменты для создания и сопровождения потоков, интеграционных потоков, которые осуществляют совокупность шагов по сквозной обработке данных, трансформации, маршрутизации.

Datamapper — это low-code инструмент, который позволяет преобразовывать и сопоставлять данные в различных форматах.

Сергей продемонстрировал три различных сценария: обработку горячих данных, обработку холодных данных и демонстрацию интеграционного потока, обеспечивающего трансформацию данных при помощи Datamapper.