Для решения задачи обработки миллионов сообщений в секунду с минимальным влиянием на производительность клиентских приложений, команда разработчиков отказалась от стандартных решений. Начальные попытки использования Apache Kafka оказались неэффективными из-за сложностей интеграции с прокси и высокого потребления ресурсов. Альтернативный вариант с Spring WebFlux также не подошел из-за буферизации и повышенной нагрузки на процессор.
В итоге был найден неожиданно простой подход — запись событий в файлы. Каждое сообщение записывается в файл, а затем эти файлы пачками отправляются на сервер мониторинга. Такой подход минимизировал нагрузку на CPU и оперативную память, обеспечив при этом необходимую пропускную способность.
Файлы перед отправкой шифруются и подписываются для обеспечения безопасности данных. Этот подход также обеспечивает отказоустойчивость, поскольку данные сохраняются на диске. Файловый механизм позволил не только снизить потребление ресурсов, но и упростил интеграцию решения в клиентские приложения, а также в отличие от Kafka не требует дополнительных прослоек для работы с прокси-серверами.
Хотя финальная пропускная способность составила 300 000 сообщений в секунду, а не заявленные 2 миллиона, предложенное решение показало высокую эффективность с точки зрения использования ресурсов, что подтверждается графиками загрузки CPU и памяти. Разработчики утверждают, что метод позволяет настроить частоту отправки файлов, тем самым увеличивая пропускную способность, а также позволяет избежать проблем с переполнением памяти при большом потоке сообщений.
Изображение носит иллюстративный характер
В итоге был найден неожиданно простой подход — запись событий в файлы. Каждое сообщение записывается в файл, а затем эти файлы пачками отправляются на сервер мониторинга. Такой подход минимизировал нагрузку на CPU и оперативную память, обеспечив при этом необходимую пропускную способность.
Файлы перед отправкой шифруются и подписываются для обеспечения безопасности данных. Этот подход также обеспечивает отказоустойчивость, поскольку данные сохраняются на диске. Файловый механизм позволил не только снизить потребление ресурсов, но и упростил интеграцию решения в клиентские приложения, а также в отличие от Kafka не требует дополнительных прослоек для работы с прокси-серверами.
Хотя финальная пропускная способность составила 300 000 сообщений в секунду, а не заявленные 2 миллиона, предложенное решение показало высокую эффективность с точки зрения использования ресурсов, что подтверждается графиками загрузки CPU и памяти. Разработчики утверждают, что метод позволяет настроить частоту отправки файлов, тем самым увеличивая пропускную способность, а также позволяет избежать проблем с переполнением памяти при большом потоке сообщений.
