Цифры говорят
От автономного сервиса к мировому стандарту: эксперт ICL Soft – о платформе Apache Kafka
28.10.2021 |
В сентябре группа компаний ICL провела первый в своей истории Software development meetup – мероприятие, объединившее разработчиков компании всех уровней и умений. В рамках встречи приглашенные специалисты и эксперты группы компаний ICL обсудили текущие проекты, поделились опытом и трендами в области разработки. Одним из спикеров стал Вячеслав Тарасенко, старший руководитель группы разработки .Net приложений в ICL Soft: в качестве темы своего выступления он выбрал ставшую мировым стандартом платформу Apache Kafka и в этом блиц-интервью рассказывает о ее возможностях.
– Создаваясь изначально для обработки данных социальной сети LinkedIn, сегодня платформа Apache Kafka используется многими компаниями, в том числе из списка Fortune-500. Какие задачи решает платформа?
– В большинстве случаев платформа используется как средство для быстрой доставки сообщений от неограниченного количества источников до неограниченного количество потребителей.
– Известно, что изначально Kafka создавалась как потоковый сервис. Вячеслав, можно ли сегодня судить о том, как такой старт повлиял на характер ее работы?
– Большой объем данных, идущий непрерывным потоком из разных источников, предполагает неоднородность – и здесь выступила Kafka, обрабатывающая эти сообщения вне очереди, параллельно. Сервис разрабатывался таким образом, чтобы и источники, и потребители друг о друге не знали: все висит в воздухе, и никто не знает, кто пишет, а кто читает эти миллионы сообщений. Kafka является проводником, который автономно работает в режиме реального времени – такой stateless-брокер, умеющий быстро передавать данные.
– В 2021 году Kafka позиционируется уже как экосистема. Какие элементы она в себя включает?
– Kafka в текущем ее состоянии выросла из «семьи Apache», и поэтому она очень тесно интегрирована как с другими членами «семьи Apache», так и с собственными дочерними технологиями – KSql, Kafka streams, Apache Spark, Kafka connect, Apache Apex, Hadoop. Фактически, все что есть у Apache, может интегрироваться с Kafka. Если раньше платформа подстраивалась под другие технологии, то теперь, когда она стала фактически мировым стандартом, все подстраиваются под неё: любые технологии, которые относятся к данным, их передаче и хранению, могут и будут интегрироваться с Kafka.
– Чем данное решение отличается от аналогичных на рынке – каковы его достоинства, недостатки?
– Ключевое достоинство платформы – это высокая конкурентоспособная скорость работы, большое количество готовых интеграций, быстрое внедрение. Но вместе с тем она с трудом усваивается программистами: ее интерфейс весьма сложен для восприятия, например, младшими специалистами. Чтобы использовать Kafka эффективно, нужно понимать, как она работает.
– Вячеслав, каким игрокам рынка вы порекомендуете к использованию платформу Apache Kafka?
– Сегодня все больше компаний уходит в цифровую среду. Если компания обладает большим объемом данных или же хочет переложить ответственность за доставку стриминговых данных со своих систем на другие – то только Kafka. Сегодня это стандарт без аналогов на рынке, переход к которому неизбежен. Kafka захватила практически весь рынок, и дальше будет только «хуже».
– Большое спасибо за беседу!
