Перевод парсера языка запросов YQL с ANTLR3 на ANTLR4 — сложная задача, продиктованная необходимостью поддержки современных кодогенераторов и расширения функциональности YDB. Эта миграция, кажущаяся на первый взгляд незаметной для конечного пользователя, на самом деле открывает возможности для генерации парсеров на Golang, TypeScript и C++, что критически важно для проектов вроде sqlc и улучшения пользовательского опыта.
Основная проблема заключалась в нестандартном использовании ANTLR в YDB: вместо генерации кода парсера, ANTLR3 применялся для создания protobuf-схем, описывающих структуру синтаксического дерева. Это требовало глубокого понимания механизма кодогенерации ANTLR и переработки.stg-шаблонов для ANTLR4, чтобы достичь идентичной схемы. Решение оказалось нетривиальным, особенно с учетом различий в шаблонах между версиями ANTLR.
Ключевым моментом стала адаптация процесса генерации protobuf-схем в ANTLR4 и создание соответствующего кода парсера. Для этого пришлось детально изучить иерархию шаблонов ANTLR4 и модифицировать Cpp.stg. Несмотря на специфичность задачи, ее решение позволило осуществить миграцию безболезненно, сохранив обратную совместимость и минимизируя изменения в кодовой базе YQL.
Внедрение нового парсера реализовано как опциональная, переключаемая функциональность, что минимизировало риски. Использовались шаблоны C++ и специализация типов для работы с разными версиями парсера. При тестировании обнаружилась некорректная работа лексического анализатора ANTLR4 с «жадным» захватом токенов, что потребовало исправления грамматики YQL в части обработки бэктиков в идентификаторах.
Изображение носит иллюстративный характер
Основная проблема заключалась в нестандартном использовании ANTLR в YDB: вместо генерации кода парсера, ANTLR3 применялся для создания protobuf-схем, описывающих структуру синтаксического дерева. Это требовало глубокого понимания механизма кодогенерации ANTLR и переработки.stg-шаблонов для ANTLR4, чтобы достичь идентичной схемы. Решение оказалось нетривиальным, особенно с учетом различий в шаблонах между версиями ANTLR.
Ключевым моментом стала адаптация процесса генерации protobuf-схем в ANTLR4 и создание соответствующего кода парсера. Для этого пришлось детально изучить иерархию шаблонов ANTLR4 и модифицировать Cpp.stg. Несмотря на специфичность задачи, ее решение позволило осуществить миграцию безболезненно, сохранив обратную совместимость и минимизируя изменения в кодовой базе YQL.
Внедрение нового парсера реализовано как опциональная, переключаемая функциональность, что минимизировало риски. Использовались шаблоны C++ и специализация типов для работы с разными версиями парсера. При тестировании обнаружилась некорректная работа лексического анализатора ANTLR4 с «жадным» захватом токенов, что потребовало исправления грамматики YQL в части обработки бэктиков в идентификаторах.
