ANTLR4 — ошибка замены границ операции | Как использовать TokenStreamRewriter для преобразования текста из двух событий прослушивателя в перекрывающиеся токены в исходном AST?

Взгляд на то, как работает tokenstreamrewriter, приводит к следующему пониманию:

• сначала строится список всех операций модификации
• затем вы вызываете getText()
• здесь происходит сокращение операций модификации. Идея, например, состоит в том, чтобы объединить несколько вставок вместе в одно сокращение. Его роль также состоит в том, чтобы избежать многократной замены одних и тех же данных (но я подробнее расскажу об этом позже).
• затем считывается каждый токен, в случае, если для указанного индекса токена указана модификация, TokenStreamRewriter выполняет операцию, в противном случае он просто извлекает прочитанный токен.

Давайте посмотрим, как реализованы операции модификации:

• для вставки переписчик токена в основном просто добавляет строку, которая будет добавлена ​​в текущий индекс токена, а затем делает index+1, эффективно переходя к следующему токену
• для замены переписчик tokenstream заменяет диапазон токенов новой строкой и устанавливает новый индекс в конец этого диапазона.

Таким образом, для tokenstreamrewriter перекрывающиеся замены невозможны, так как при замене вы переходите к концу диапазона заменяемых токенов. В частности, в случае, если вы уберете проверку на перекрытие, будет работать только первая замена, так как после этого индекс токена будет пройден другими заменами.

По сути, это было сделано потому, что невозможно легко определить, какие токены следует заменить при использовании перекрывающихся замен. Вам понадобится распознавание и сопоставление символов.

Итак, вы пытаетесь сделать следующее (для каждого шага изменяется часть между «*»):

*SELECT to_char(to_number(substr(ATTRIBUTE_VALUE,1,4))-3)||'0101')* from xyz;
|
V
CONCAT (*to_char(to_number(substr(ATTRIBUTE_VALUE,1,4))-3)*,'0101') from xyz;
|
V
SELECT CONCAT(CAST(to_number(substr(ATTRIBUTE_VALUE,1,4))-3) as STRING),'0101') from xyz;

чтобы добиться вашего преобразования, вы можете сделать это, заменив:

• 'to_char' -> 'CONCAT(CAST'
• '||' -> 'как STRING),'

И, используя немного интеллекта при разборе ваших токенов, например, есть ли '||' в моих токенах, чтобы узнать, является ли это строкой, вы бы знали, что заменить.

С Уважением

Я решаю это в нескольких проектах на основе ANTLR следующим образом: я перевел дерево разбора ANTLR в AST, написанное с использованием Kolasu, библиотеки с открытым исходным кодом, которую мы разработали в Strumenta.

У Kolasu есть всевозможные утилиты для обработки и изменения AST. Для всех нетривиальных проектов я заканчиваю преобразованиями в AST.

Коласу