Tarantool как основа для торговых и клиринговых систем Петербургской Биржи

О заказчике

Санкт-Петербургская международная товарно-сырьевая биржа (АО «Петербургская биржа», SPIMEX), крупнейшая товарная биржа России. Она организует биржевые торги на рынках нефтепродуктов, нефти, газа, сжиженных углеводородных газов, леса и стройматериалов, минеральных удобрений, а также на срочном рынке. Через эту биржу проходит около 99 % объёмов организованных торгов в указанных сегментах рынка РФ.

Об исполнителе

VK Tech — ведущий российский разработчик корпоративного ПО. VK Tech представляет готовую экосистему ИT-продуктов для бизнеса, которая включает облачную платформу для эффективной разработки и работы с данными, дата-сервисы как продукты для управления данными, от сбора до обработки и аналитики, цифровую среду для совместной работы команд любого масштаба и продукты для автоматизации HR, финансовых и операционных задач.

Задачи проекта

Было принято решение заменить основные бизнес-системы биржи, поставленные на момент основания биржи с использованием тяжелых иностранных программ.

Необходимо обновить программно-технический комплекс биржи, состоящий из системы клиринга ТР и системы электронных торгов ТР (запущены в 2008 году), системы клиринга СР и системы электронных торгов СР (2011), индекс-сервера (2015), системы регистрации внебиржевых договоров (2015) и терминала, единого окна для доступа к системам (2022).

Планировалось реализовать комплексное импортозамещение ключевых сервисов с одновременной проверкой их работоспособности в единой архитектуре и интеграции с действующей ИТ-средой. При этом речь шла не просто о замене отдельных продуктов, а о построении полнофункционального отказоустойчивого контура на базе российских решений.

В итоге должны получить новую технологическую основу, которая поддержит развитие биржи на длительную перспективу.

Ход проекта

Работы стартовали в 2023 году и полностью завершатся в 2027-м. На первом этапе была проведена детальная аналитика текущей инфраструктуры, разработана целевая архитектура и подготовлена проектная документация.

Проект реализовывался в совместной работе ИТ-специалистов Биржи и коллег из компании VK Tech.

Основными этапами были:

• активная унификация компонентов и целых систем для их последующего переиспользования,
• активное использование готовых компонентов для высокопроизводительной обработки данных в оперативной памяти,
• масштабируемая архитектура,
• разделение задач с сильным партнером,
• аренда вычислительных ресурсов вместо покупки.

Для первой задачи было принято решение построить обе торговые системы — и для товарных рынков, и для срочных рынков — на базе одной и той же архитектуры и технологического стека, несмотря на то что характер торговли на этих рынках совершенно разный. Вначале была создана система электронных торгов срочного рынка, затем на её основе была запущена вторая система для товарных рынков. В итоге было сэкономлено до одного года работы и получен взаимозаменяемый персонал для работы с этими системами.

Для использования готовых компонентов для высокопроизводительной обработки данных в оперативной памяти была выбрана СУБД Tarantool и экосистема продуктов, построенная вокруг него. Tarantool — open-source продукт российского происхождения, сервер приложений на языке Lua, интегрированный с резидентной NoSQL-СУБД, которая содержит все обрабатываемые данные и индексы в оперативной памяти, а также включает быстрый движок для работы с постоянным хранилищем (жесткие диски). Благодаря своим архитектурным особенностям, Tarantool позволяет быстро обрабатывать большие объемы данных, поэтому эта СУБД широко применяется в различных Big Data проектах.

Наиболее полезными стали сама Tarantool DataBase, предназначенная для создания высокоскоростных распределенных хранилищ данных, и модуль потоковой обработки Tarantool Quereu Enterprise, на базе которого были построены шины в торговой и клиринговой системах.

Масштабируемая архитектура может контролировать необходимое число кластеров для текущего уровня развития бизнеса, что позволяет оперативно внедрять новую функциональность, востребованную участниками. К ключевым преимуществам систем относятся повышенная отказоустойчивость и усовершенствованные механизмы защиты данных.

Разделение задач с сильным партнером помогло в создании новой системы торгов. ИТ-команда биржи взяла на себя работу с бэк-офисом и рутинными задачами, тогда как коллеги из VK Tech отвечали за создание онлайн-компонентов системы, которые работают во время самих торгов и требуют большой компетенции и опыта. В итоге была создана система, способная обрабатывать до 100 тыс. заявок в секунду, что разительно отличается от прежних 1,5-2 тыс. заявок в секунду.

Аренда вычислительных ресурсов у VK Tech применялась два раза, в начале проектирования, чтобы установить саму возможность создания такой системы силами разных организаций. Был построен прототип и проверена его работа на высококачественном и высокопроизводительном оборудовании. Второй раз на арендованном оборудовании были проведены испытания готовых торговых систем и подтверждены их высокие характеристики. Была смоделирована работа в условиях, максимально приближенных к эксплуатации. В ходе нагрузочных испытаний комплекс продемонстрировал стабильную обработку интенсивного потока входящих заявок без снижения эксплуатационных характеристик с производительностью более 100 тыс. транзакций в секунду.

Итоги проекта

В процессе создания системы были учтены отзывы и конкретные инициативы профессионального сообщества, направленные на оптимизацию процессов торговли и клиринга.

Новые торговые и клиринговые платформы предоставляются клиентам через единый биржевой терминал в режиме «одного окна», а также посредством программных интерфейсов (API), что открывает возможности для автоматизации торговых и расчетных операций.

Новая клиринговая система для срочного рынка оснащена инструментами и сервисами, отвечающими потребностям финансовых организаций. В их числе — трёхуровневая архитектура счетов, механизмы управления рисками на уровне конечного клиента с опорой на биржевую инфраструктуру, а также все модели разделения торгового и клирингового членства, предусмотренные российским законодательством. Кроме того, реализованы меры по защите средств клиентов, включая автоматический перевод позиций и обеспечение при переходе обособленных клиентов от одного клирингового участника к другому.

Перспективы проекта

Комплекс легко может быть адаптирован для применения на других торговых площадках.