Нестабильность статистики PostgreSQL и альтернативный сборщик

Стандартный сборщик статистики PostgreSQL может приводить к нестабильности планов запросов из-за стохастической природы сбора данных. Даже увеличение параметра default_statistics_target не гарантирует стабильности, особенно для полей с большим количеством дубликатов. Это затрудняет воспроизводимость бенчмарков и сравнительный анализ результатов.

Флуктуации в оценках количества строк, выбираемых из таблицы, могут начинаться уже на стадии SeqScan. Оценка выражений вида x = ANY (...) основывается на суммировании вероятностей для каждого элемента. Даже небольшие изменения частотности элементов выборки могут приводить к изменениям в итоговых оценках и, как следствие, к смене плана запроса.

В качестве решения предлагается создать расширение для PostgreSQL, которое позволит реализовать более точный сбор статистики, проходя всю таблицу и подсчитывая количество различных значений (ndistinct) и MCV. Расширение может цепляться к SeqScan нодам запросов через CustomScan. При этом можно будет использовать два хука get_relation_stats_hook и get_index_stats_hook для подмены стандартной статистики.

Такое расширение позволит реализовать предикатную статистику и более эффективно управлять статистикой для партиционированных таблиц. Также, можно будет использовать индексы для упрощения вычислений и реализовывать иные алгоритмы выборки. Хранение статистики может быть организовано в отдельной таблице pg_statistic_extra.

Источник: danolivo