Ssylka

Оптимизация отправки событий: от Kafka к файловой системе

Для решения задачи обработки миллионов сообщений в секунду с минимальным влиянием на производительность клиентских приложений, команда разработчиков отказалась от стандартных решений. Начальные попытки использования Apache Kafka оказались неэффективными из-за сложностей интеграции с прокси и высокого потребления ресурсов. Альтернативный вариант с Spring WebFlux также не подошел из-за буферизации и повышенной нагрузки на процессор.
Оптимизация отправки событий: от Kafka к файловой системе
Изображение носит иллюстративный характер

В итоге был найден неожиданно простой подход — запись событий в файлы. Каждое сообщение записывается в файл, а затем эти файлы пачками отправляются на сервер мониторинга. Такой подход минимизировал нагрузку на CPU и оперативную память, обеспечив при этом необходимую пропускную способность.

Файлы перед отправкой шифруются и подписываются для обеспечения безопасности данных. Этот подход также обеспечивает отказоустойчивость, поскольку данные сохраняются на диске. Файловый механизм позволил не только снизить потребление ресурсов, но и упростил интеграцию решения в клиентские приложения, а также в отличие от Kafka не требует дополнительных прослоек для работы с прокси-серверами.

Хотя финальная пропускная способность составила 300 000 сообщений в секунду, а не заявленные 2 миллиона, предложенное решение показало высокую эффективность с точки зрения использования ресурсов, что подтверждается графиками загрузки CPU и памяти. Разработчики утверждают, что метод позволяет настроить частоту отправки файлов, тем самым увеличивая пропускную способность, а также позволяет избежать проблем с переполнением памяти при большом потоке сообщений.


Новое на сайте

15287Жидкость, восстанавливающая форму: нарушение законов термодинамики 15286Аркадия ведьм: загадка Чарльза годфри Леланда и её влияние на современную магию 15285Кто станет новым героем Звёздных войн в 2027 году? 15283Ануше Ансари | Почему космические исследования важны для Земли 15282Гизем Гумбуская | Синтетический морфогенез: самоконструирующиеся живые архитектуры по... 15281Как предпринимателю остаться хозяином своей судьбы? 15280Люси: путешествие к древним обломкам солнечной системы 15279Роберт Лиллис: извлеченные уроки для экономически эффективных исследований дальнего... 15278Почему супермен до сих пор остаётся символом надежды и морали? 15277Райан Гослинг в роли нового героя «Звёздных войн»: что известно о фильме Star Wars:... 15276Почему экваториальная Гвинея остаётся одной из самых закрытых и жестоких диктатур мира? 15275Почему морские слизни становятся ярче под солнцем? 15274Глен Вейль | Можем ли мы использовать ИИ для построения более справедливого общества? 15273Лириды: где и как увидеть древний звездопад в этом апреле? 15272Сдержит ли налог на однодневных туристов в Венеции наплыв гостей?