Как автоматизировать миграции ClickHouse с Liquibase в GitLab?

Для автоматизации миграций ClickHouse в GitLab используется Liquibase с плагином Arenadata, обеспечивающим поддержку кластеров. Разработчики пишут миграции на SQL, а Liquibase управляет их применением и откатом, используя changelog.xml файл, где каждая миграция – это отдельный changeSet, включающий SQL-скрипт и скрипт отката.

GitLab CI/CD pipeline автоматизирует процесс миграций, начиная с валидации changelog.xml. Валидация проверяет уникальность и последовательность ID changeSet, валидность тегов tagDatabase и наличие блока <rollback> для каждого changeSet, что гарантирует возможность отката изменений. Для валидации используется Python-скрипт с библиотекой lxml.

Для развертывания изменений на dev/stg/prod контурах используется Liquibase update с параметрами подключения к ClickHouse. В случае необходимости отката изменений, Liquibase rollback использует информацию из tagDatabase для возврата к предыдущей версии БД, что возможно благодаря валидации changelog.xml, гарантирующей последовательность версий.

Таким образом, автоматизация обеспечивает полную поддержку кластерных миграций ClickHouse, минимизацию ошибок и прозрачность процесса. Каждый changeSet документируется, а состояние БД можно откатить в случае необходимости через GitLab Pipeline.

Источник: grigoriidenisov