Для автоматизации миграций ClickHouse в GitLab используется Liquibase с плагином Arenadata, обеспечивающим поддержку кластеров. Разработчики пишут миграции на SQL, а Liquibase управляет их применением и откатом, используя changelog.xml файл, где каждая миграция – это отдельный changeSet, включающий SQL-скрипт и скрипт отката.
GitLab CI/CD pipeline автоматизирует процесс миграций, начиная с валидации changelog.xml. Валидация проверяет уникальность и последовательность ID changeSet, валидность тегов tagDatabase и наличие блока
Для развертывания изменений на dev/stg/prod контурах используется Liquibase update с параметрами подключения к ClickHouse. В случае необходимости отката изменений, Liquibase rollback использует информацию из tagDatabase для возврата к предыдущей версии БД, что возможно благодаря валидации changelog.xml, гарантирующей последовательность версий.
Таким образом, автоматизация обеспечивает полную поддержку кластерных миграций ClickHouse, минимизацию ошибок и прозрачность процесса. Каждый changeSet документируется, а состояние БД можно откатить в случае необходимости через GitLab Pipeline.
Изображение носит иллюстративный характер
GitLab CI/CD pipeline автоматизирует процесс миграций, начиная с валидации changelog.xml. Валидация проверяет уникальность и последовательность ID changeSet, валидность тегов tagDatabase и наличие блока
<rollback> для каждого changeSet, что гарантирует возможность отката изменений. Для валидации используется Python-скрипт с библиотекой lxml. Для развертывания изменений на dev/stg/prod контурах используется Liquibase update с параметрами подключения к ClickHouse. В случае необходимости отката изменений, Liquibase rollback использует информацию из tagDatabase для возврата к предыдущей версии БД, что возможно благодаря валидации changelog.xml, гарантирующей последовательность версий.
Таким образом, автоматизация обеспечивает полную поддержку кластерных миграций ClickHouse, минимизацию ошибок и прозрачность процесса. Каждый changeSet документируется, а состояние БД можно откатить в случае необходимости через GitLab Pipeline.
