Контекстные многорукие бандиты (CMAB) представляют собой усовершенствованный метод обучения с подкреплением для динамического ценообразования. Они учитывают контекст, такой как характеристики магазина и сезонные факторы, что позволяет оптимизировать цены в разных условиях, в отличие от классических MAB, которые предполагают однородность условий.
Ключевым моментом при использовании CMAB является моделирование связи между контекстом и спросом. В качестве моделей используются байесовская линейная регрессия и гауссовские процессы. Байесовская регрессия предполагает линейную зависимость, в то время как гауссовские процессы способны моделировать сложные нелинейные связи. Оба подхода используются в сочетании с алгоритмами выбора цен: Thompson Sampling (TS) и Upper Confidence Bound (UCB). TS основан на сэмплировании распределения наград, а UCB использует верхнюю доверительную границу оценки награды, учитывая неопределенность.
Эксперименты показали, что в задаче ценообразования UCB, как правило, обеспечивает более быстрый результат по снижению потерь (regret). При этом TS демонстрирует более стабильную сходимость к оптимальной цене, хотя может потребовать больше времени для обучения. Выбор между UCB и TS зависит от критерия оптимизации – минимизация потерь за короткое время или стабильный выбор оптимальной цены в долгосрочной перспективе. Важно отметить, что гауссовские процессы, несмотря на свою гибкость, могут потребовать более тщательной настройки для достижения лучших результатов, чем байесовская линейная регрессия.
Изображение носит иллюстративный характер
Ключевым моментом при использовании CMAB является моделирование связи между контекстом и спросом. В качестве моделей используются байесовская линейная регрессия и гауссовские процессы. Байесовская регрессия предполагает линейную зависимость, в то время как гауссовские процессы способны моделировать сложные нелинейные связи. Оба подхода используются в сочетании с алгоритмами выбора цен: Thompson Sampling (TS) и Upper Confidence Bound (UCB). TS основан на сэмплировании распределения наград, а UCB использует верхнюю доверительную границу оценки награды, учитывая неопределенность.
Эксперименты показали, что в задаче ценообразования UCB, как правило, обеспечивает более быстрый результат по снижению потерь (regret). При этом TS демонстрирует более стабильную сходимость к оптимальной цене, хотя может потребовать больше времени для обучения. Выбор между UCB и TS зависит от критерия оптимизации – минимизация потерь за короткое время или стабильный выбор оптимальной цены в долгосрочной перспективе. Важно отметить, что гауссовские процессы, несмотря на свою гибкость, могут потребовать более тщательной настройки для достижения лучших результатов, чем байесовская линейная регрессия.
