Автоматизированная проверка эволюции схем состояния в Apache Flink с Jackson

Для управления эволюцией схем состояния в Apache Flink, используется кастомный сериализатор JacksonStateSerializer, поддерживающий Jackson-аннотации. Для автоматизации проверки корректности изменений схемы, введена аннотация @JacksonEvolvingState с полем version, определяющим версию схемы. При изменении схемы, разработчик должен увеличивать версию в аннотации, сохранять текущую версию класса (без package) в файл <Имя_класса>/<версия>.txt в директории src/test/resources/state/ и запускать тесты.
Автоматизированная проверка эволюции схем состояния в Apache Flink с Jackson
Изображение носит иллюстративный характер

Тесты проверяют, что все схемы, помеченные @JacksonEvolvingState, корректно эволюционируют из одной версии в другую. Тест сканирует все классы с данной аннотацией, получая версии из аннотации и выдавая комбинации для проверки. Для каждой комбинации версий выполняется создание savepoint для предыдущей версии схемы, затем восстановление состояния из savepoint с использованием новой версии схемы.

Для обеспечения корректной компиляции тестовых классов с использованием Lombok, зависимость Lombok была изменена с testCompileOnly на testImplementation, чтобы Lombok был виден в classpath теста во время компиляции. Проверка инкремента версии схемы при её изменении осуществляется путем сравнения содержимого текущей схемы в src с последней версией в test/resources/. Если содержимое отличается, тест выдает ошибку, требуя обновить версию схемы в ресурсах.

Использование аннотации @JacksonEvolvingState и автоматизированных тестов позволяет контролировать изменения схем состояния, гарантируя их обратную совместимость и предотвращая ошибки, связанные с некорректной эволюцией схем.


Новое на сайте

20065[b]СПКЯ стало СПМЯ: почему переименование болезни, затрагивающей миллионы женщин, заняло... 20064[b]Почему великая пирамида Гизы пережила все землетрясения за 4500 лет[/b] 20063[b]Генетика Homo erectus: что зубная эмаль рассказала о наших предках[/b] 20062[b]Кости в бухте эребус: что кости моряков Франклина рассказывают спустя полтора века[/b] 20061[b]Крупнейший плавучий ветрогенератор в мире: Китай испытывает установку у берегов... 20060[b]Карие глаза младенца стали индиго после лечения от COVID-19[/b] 20058[b]Почему серебряная чаша с Афиной пролежала в немецком лесу две тысячи лет?[/b] 20057[b]Дыра в атмосфере солнца: вспышка достигла пика и может зажечь полярное сияние[/b] 20056[b]Динго возрастом 950 лет: кто и зачем кормил могилу животного сотни лет?[/b] 20055[b]Томоэ гозэн: женщина-самурай, которая существовала на самом деле[/b] 20054[b]Что видели астронавты «Аполлона-12» над лунным горизонтом?[/b] 20053[b]Восковой блокнот на латыни и шёлковая туалетная бумага: кто посещал средневековый... 20052[b]Хантавирус на борту: 41 человек под наблюдением после рейса MV Hondius[/b] 20051[b]Зелёные камни в пещере Пиренеев: четыре тысячи лет медной металлургии[/b]
Ссылка