Автоматизированная проверка эволюции схем состояния в Apache Flink с Jackson

Для управления эволюцией схем состояния в Apache Flink, используется кастомный сериализатор JacksonStateSerializer, поддерживающий Jackson-аннотации. Для автоматизации проверки корректности изменений схемы, введена аннотация @JacksonEvolvingState с полем version, определяющим версию схемы. При изменении схемы, разработчик должен увеличивать версию в аннотации, сохранять текущую версию класса (без package) в файл <Имя_класса>/<версия>.txt в директории src/test/resources/state/ и запускать тесты.
Автоматизированная проверка эволюции схем состояния в Apache Flink с Jackson
Изображение носит иллюстративный характер

Тесты проверяют, что все схемы, помеченные @JacksonEvolvingState, корректно эволюционируют из одной версии в другую. Тест сканирует все классы с данной аннотацией, получая версии из аннотации и выдавая комбинации для проверки. Для каждой комбинации версий выполняется создание savepoint для предыдущей версии схемы, затем восстановление состояния из savepoint с использованием новой версии схемы.

Для обеспечения корректной компиляции тестовых классов с использованием Lombok, зависимость Lombok была изменена с testCompileOnly на testImplementation, чтобы Lombok был виден в classpath теста во время компиляции. Проверка инкремента версии схемы при её изменении осуществляется путем сравнения содержимого текущей схемы в src с последней версией в test/resources/. Если содержимое отличается, тест выдает ошибку, требуя обновить версию схемы в ресурсах.

Использование аннотации @JacksonEvolvingState и автоматизированных тестов позволяет контролировать изменения схем состояния, гарантируя их обратную совместимость и предотвращая ошибки, связанные с некорректной эволюцией схем.


Новое на сайте

19989Шесть историй, которые умещаются на ладони 19986Как 30 000 аккаунтов Facebook оказались в руках вьетнамских хакеров? 19985LofyGang вернулась: как бразильские хакеры охотятся на геймеров через поддельные читы 19984Автономная проверка защиты: как не отстать от ИИ-атак 19983Взлом Trellix: хакеры добрались до исходного кода одной из ведущих компаний по... 19982Почему почти 3000 монет в норвежском поле перевернули представление о викингах? 19981Как поддельная CAPTCHA опустошает ваш счёт и крадёт криптовалюту? 19980Слежка за каждым шагом: как ИИ превращает государство в машину тотального контроля 19979Как хакеры грабят компании через звонок в «техподдержку» 19978Почему именно Нью-Йорк стал самым уязвимым городом восточного побережья перед... 19977Как одна команда git push открывала доступ к миллионам репозиториев 19976Зачем древние народы убивали ножами и мечами: оружие как основа власти 19975Как Python-бэкдор DEEPDOOR крадёт ваши облачные пароли незаметно? 19974Послание в бутылке: математика невозможного 19973Почему ИИ-инфраструктура стала новой целью хакеров быстрее, чем ждали все?
Ссылка