Стандартный сборщик статистики PostgreSQL может приводить к нестабильности планов запросов из-за стохастической природы сбора данных. Даже увеличение параметра
Флуктуации в оценках количества строк, выбираемых из таблицы, могут начинаться уже на стадии SeqScan. Оценка выражений вида
В качестве решения предлагается создать расширение для PostgreSQL, которое позволит реализовать более точный сбор статистики, проходя всю таблицу и подсчитывая количество различных значений (ndistinct) и MCV. Расширение может цепляться к SeqScan нодам запросов через CustomScan. При этом можно будет использовать два хука
Такое расширение позволит реализовать предикатную статистику и более эффективно управлять статистикой для партиционированных таблиц. Также, можно будет использовать индексы для упрощения вычислений и реализовывать иные алгоритмы выборки. Хранение статистики может быть организовано в отдельной таблице
default_statistics_target не гарантирует стабильности, особенно для полей с большим количеством дубликатов. Это затрудняет воспроизводимость бенчмарков и сравнительный анализ результатов. Изображение носит иллюстративный характер
Флуктуации в оценках количества строк, выбираемых из таблицы, могут начинаться уже на стадии SeqScan. Оценка выражений вида
x = ANY (...) основывается на суммировании вероятностей для каждого элемента. Даже небольшие изменения частотности элементов выборки могут приводить к изменениям в итоговых оценках и, как следствие, к смене плана запроса. В качестве решения предлагается создать расширение для PostgreSQL, которое позволит реализовать более точный сбор статистики, проходя всю таблицу и подсчитывая количество различных значений (ndistinct) и MCV. Расширение может цепляться к SeqScan нодам запросов через CustomScan. При этом можно будет использовать два хука
get_relation_stats_hook и get_index_stats_hook для подмены стандартной статистики. Такое расширение позволит реализовать предикатную статистику и более эффективно управлять статистикой для партиционированных таблиц. Также, можно будет использовать индексы для упрощения вычислений и реализовывать иные алгоритмы выборки. Хранение статистики может быть организовано в отдельной таблице
pg_statistic_extra.
