Для интеграции Great Expectations с Impala, SQL-движком, официально не поддерживаемым библиотекой, потребуется ряд нестандартных решений. Во-первых, необходимо настроить подключение через SQLAlchemy, создав движок к базе данных Impala. Во-вторых, нужно организовать структуру проекта для кастомных проверок, так как в GX нет штатного способа подключения проверок из произвольной папки. Проверки подключаются импортом в основном файле.
Основные проблемы при интеграции заключаются в поддержке регулярных выражений, использовании зарезервированных слов Impala и обработке подзапросов. Регулярные выражения, не поддерживаемые диалектом Impala, обходятся путем создания собственной проверки, игнорирующей проверку диалекта и возвращающей условие в формате, понятном для Impala. Зарезервированные слова, используемые GX, переименовываются на допустимые, а тип данных NUMERIC изменяется на INTEGER. Проблема с подзапросами в SELECT решается путем выноса неподдерживаемого подзапроса в отдельный запрос и его дальнейшей подстановки в основной.
Для внедрения изменений потребуется замена ряда файлов библиотеки GX. В частности, это файлы, отвечающие за проверки уникальности значений, регулярные выражения и вспомогательные методы. Замена файлов — это способ быстрого решения проблем. Он может показаться спорным, но, по мнению авторов, он оправдан в ситуации, когда нужен быстро работающий инструмент.
Несмотря на нестандартные решения, такие как подмена файлов библиотеки, описанный подход позволяет эффективно интегрировать GX с Impala. Разработчикам необходимо быть внимательными к логам, чтобы выявить проблемные файлы, и прослеживать цепочку подключений для внесения необходимых изменений. Этот подход дает возможность использовать возможности GX для анализа качества данных в больших объемах, обрабатываемых Impala.
Изображение носит иллюстративный характер
Основные проблемы при интеграции заключаются в поддержке регулярных выражений, использовании зарезервированных слов Impala и обработке подзапросов. Регулярные выражения, не поддерживаемые диалектом Impala, обходятся путем создания собственной проверки, игнорирующей проверку диалекта и возвращающей условие в формате, понятном для Impala. Зарезервированные слова, используемые GX, переименовываются на допустимые, а тип данных NUMERIC изменяется на INTEGER. Проблема с подзапросами в SELECT решается путем выноса неподдерживаемого подзапроса в отдельный запрос и его дальнейшей подстановки в основной.
Для внедрения изменений потребуется замена ряда файлов библиотеки GX. В частности, это файлы, отвечающие за проверки уникальности значений, регулярные выражения и вспомогательные методы. Замена файлов — это способ быстрого решения проблем. Он может показаться спорным, но, по мнению авторов, он оправдан в ситуации, когда нужен быстро работающий инструмент.
Несмотря на нестандартные решения, такие как подмена файлов библиотеки, описанный подход позволяет эффективно интегрировать GX с Impala. Разработчикам необходимо быть внимательными к логам, чтобы выявить проблемные файлы, и прослеживать цепочку подключений для внесения необходимых изменений. Этот подход дает возможность использовать возможности GX для анализа качества данных в больших объемах, обрабатываемых Impala.
