Технологии Big Data в импортозамещении

Какова сейчас ситуация на рынке Big Data?

Ситуация с Big Data в плане импортозамещения выглядит в целом неплохо по той причине, что абсолютное большинство продуктов стека Big Data распространялись и продолжают распространяться по лицензии Apache. Тем не менее создание работоспособного стенда из отдельных продуктов – достаточно непростая задача. Необходимость ее решения привела к появлению на рынке таких компаний, как Cloudera и Hortonworks (впоследствии поглощенной Cloudera). Они создали готовые дистрибутивы, включающие набор наиболее востребованных продуктов, a также средства управления кластером Big Data. Долгое время эти дистрибутивы имели вполне работоспособные community-версии. Безусловно, большие вендоры, такие как Oracle, IBM и Microsoft, не могли пройти мимо истории с Big Data и создали собственные дистрибутивы, первые версии которых в значительной степени базировались на дистрибутиве Cloudera Data Hub (CDH).

«Технический директор РДТЕХ Андрей Майоров»

Такие дистрибутивы Big Data предоставляют пользователю единую платформу уровня Enterprise, оптимизированную под работу на вычислительных комплексах конкретного вендора и интегрированных с прочими продуктами вендора. Так, Oracle доработал Data Integrator (ODI) для работы с большими данными и выпустил программно-аппаратный комплекс Oracle Big Data Appliance. Несмотря на то, что продукты Big Data, такие как Hadoop, изначально задумывались для работы на неспециализированном железе, – специализированные программно-аппаратные комплексы, безусловно, дают существенный выигрыш в производительности. К тому же техническое сопровождение, предоставляемое вендором, – крайне важное преимущество, если речь идет о крупной корпоративной системе.

Сотрудничество с крупными вендорами дает клиентам чрезвычайно важное ощущение надежности, вселяет уверенность, что построенная инфраструктура не рухнет в один день. К сожалению, это ощущение пропало у отечественных заказчиков вместе с уходом западных гигантов с российского рынка.

Однако, как я уже говорил, основная часть инструментов Big Data – это все же Open Source, распространяемый по лицензии Apache. Поэтому, что касается, например, CDH, то развернутые прежде решения можно продолжать использовать. При этом важно понимать, кто их сможет эксплуатировать без технической поддержки, а также какие для этого требуются ресурсы. Следовательно, главное и общее для всех компаний условие – наличие квалифицированных ИТ-специалистов.

Если речь идет о стартапе с достаточно простой инфраструктурой приложения, которая требует не весь стек технологий Big Data, а один-два продукта, то собрать систему из отдельных продуктов не составит большого труда. Тем более что ИТ-стартап объединяет специалистов не только квалифицированных, но и обладающих энтузиазмом.

На другом полюсе – ИТ-гиганты, у которых также есть ИТ-специалисты, но при этом у них значительный объем ресурсов как финансовых, так и временных, плюс есть желание или необходимость построить уникальную сложную инфраструктуру конкретно под себя. Такие гиганты тоже могут пойти на использование отдельных продуктов Big Data.

Большинство же компаний, находящихся между этими полюсами, хотя и нуждаются в ИТ, но технологии сами по себе, несмотря на то что мир становится все более цифровым, для них не самоцель. Таким компаниям, независимо от их размера, мы бы посоветовали пытаться сохранить ту старую модель, которая действовала до февраля 2022 года: обратиться за поддержкой корпоративной системы к интегратору.

Что дает сотрудничество с интегратором?

Сотрудничество с интегратором дает все те же преимущества, что и работа с большими вендорами, а также глубокую отраслевую экспертизу сотрудников, которые внедряют проект. ИТ-персонал интегратора много лет работает в условиях проектной работы. Вполне вероятно, что заказчик найдет интегратора, который не только сумеет соблюсти все требования к участкам, связанным с Big Data, но и возьмется за решение бизнес-задач.

Основная часть интеграторов, работающих на российском рынке, – отечественные компании, и они, в отличие от больших вендоров, никуда не уходят. Более того, первый звонок о необходимости поиска импортозамещающих решений был еще в 2014 году, часть компаний этот сигнал услышали и успели подготовиться, наладив сотрудничество с отечественными вендорами.

Это, во-первых, Сбер, гигант, успешно идущий по пути создания своей платформы архитектурного софта – Platform V, в которую входит в том числе и участок, связанный с Big Data. Сегодня Сбер – один из отечественных вендоров, на которого имеет смысл обратить внимание тем заказчикам, кого устраивают решения, заточенные под работу госорганов.

Еще один вендор – Arenadata – пошел по пути Cloudera и построил очень удачную линейку продуктов. Стек предложений Arenadata покрывает практически все направления, связанные с Big Data, причем не только с неструктурированными базами данных, но и с реляционными. Все это позволяет производить высоконагруженные вычисления и иметь все необходимое в нагруженных корпоративных системах.

Конечно же, компания РДТЕХ готова выступить интегратором и взять на себя решение вопросов, связанных с Big Data, в компаниях любого размера и направления бизнеса.

Actenzo: Big Data заботится о здоровье

Ярким примером того, как РДТЕХ умеет использовать технологии Big Data, является наша собственная разработка – сервис Actenzo. Это цифровая платформа для заботы пользователей о своем здоровье и здоровье близких, для телемедицины, основанной на мониторинге пациента в его повседневной жизни, и для охраны труда.

Actenzo поддерживает широкий спектр носимых устройств, а также работает с некоторыми неносимыми медицинскими гаджетами. Специализированный сервер позволяет собирать данные с гаджетов и пересылать к нам на сервер, где данные обрабатываются, хранятся и анализируются. Если обнаруживаются потенциально опасные для пользователя гаджета ситуации, система информирует его о нарушениях физиологических показателей.

Применение Actenzo в охране труда – это еще и трекинг местоположения сотрудника. Надо знать, где находится сотрудник, чтобы быстро ему помочь в случае серьезных нарушений пульса, температуры, сердечного ритма, артериального давления, сатурации крови. О том, насколько хороши датчики, которые мы используем, говорит, например, тот факт, что частота оцифровки ЭКГ-сигнала нашим бытовым фитнес-браслетом – 250Hz, что соответствует требованиям к медицинским изделиям.

В заключение приведу кейс, который появился в нашем портфеле в ходе работы с одним из заказчиков. От этого клиента был запрос на разработку алгоритма, который позволил бы предотвратить тепловое истощение сотрудников. Специалисты этой компании выполняют тяжелую физическую работу вблизи приборов, подвержены большой тепловой нагрузке и влиянию тяжелой электромагнитной обстановки.

В своем решении мы использовали три параметра: пульс, температуру и индекс стресса, который строим на основании вариабельности сердечного ритма.

Заказчик опасался, что не удастся получить четкую временную фиксацию момента наибольшей нагрузки на организм, поскольку высокая температура в цеху и электромагнитное излучение могут отразиться и на качестве показателей с гаджетов Actenzo. Однако эксперимент показал, что решение РДТЕХ работает безупречно.

Автор: Андрей Майоров, технический директор РДТЕХ