Автоматизированная проверка эволюции схем состояния в Apache Flink с Jackson

Для управления эволюцией схем состояния в Apache Flink, используется кастомный сериализатор JacksonStateSerializer, поддерживающий Jackson-аннотации. Для автоматизации проверки корректности изменений схемы, введена аннотация @JacksonEvolvingState с полем version, определяющим версию схемы. При изменении схемы, разработчик должен увеличивать версию в аннотации, сохранять текущую версию класса (без package) в файл <Имя_класса>/<версия>.txt в директории src/test/resources/state/ и запускать тесты.
Автоматизированная проверка эволюции схем состояния в Apache Flink с Jackson
Изображение носит иллюстративный характер

Тесты проверяют, что все схемы, помеченные @JacksonEvolvingState, корректно эволюционируют из одной версии в другую. Тест сканирует все классы с данной аннотацией, получая версии из аннотации и выдавая комбинации для проверки. Для каждой комбинации версий выполняется создание savepoint для предыдущей версии схемы, затем восстановление состояния из savepoint с использованием новой версии схемы.

Для обеспечения корректной компиляции тестовых классов с использованием Lombok, зависимость Lombok была изменена с testCompileOnly на testImplementation, чтобы Lombok был виден в classpath теста во время компиляции. Проверка инкремента версии схемы при её изменении осуществляется путем сравнения содержимого текущей схемы в src с последней версией в test/resources/. Если содержимое отличается, тест выдает ошибку, требуя обновить версию схемы в ресурсах.

Использование аннотации @JacksonEvolvingState и автоматизированных тестов позволяет контролировать изменения схем состояния, гарантируя их обратную совместимость и предотвращая ошибки, связанные с некорректной эволюцией схем.


Новое на сайте

19817В Луксоре нашли стелу с римским императором в образе фараона 19816Экипаж Artemis II о моменте, когда земля исчезла за луной 19815Почему луна выглядит по-разному в разных точках земли? 19814Adobe экстренно закрыла опасную дыру в Acrobat Reader, которую хакеры использовали с... 19813Метеорный поток, рождённый из умирающего астероида 19812Когда робот пишет за тебя прощальную смс 19811Что общего у лунной миссии, толстого попугая, загадочной плащаницы и лекарства от диабета? 19810Какие снимки Artemis II уже стали иконами лунной программы? 19809Кто на самом деле хочет сладкого — вы или ваши бактерии? 19808Как рекламные данные 500 миллионов телефонов оказались в руках спецслужб? 19807Экипаж Artemis II вернулся на землю после десяти дней в космосе 19806Зелёная и коричневая луна: почему геологи Artemis II уже не могут усидеть на месте 19805Эксперты уверены в теплозащитном щите Artemis II, несмотря на проблемы предшественника 19804Выжить внутри торнадо: каково это — когда тебя засасывает в воронку 19803Аляскинские косатки-охотники на млекопитающих замечены у берегов Сиэтла
Ссылка