Оценка эффективности контент-продуктов, таких как "Discovery" (раздел с идеями и образами) в e-commerce, может быть сложной задачей, особенно когда A/B-тестирование кажется непрактичным. Вместо прямого A/B-теста, где часть пользователей лишается контента, используют атрибуцию продаж, связывая покупки с просмотром контента, определяя временные окна и сравнивая эффективность разных типов контента, хотя это не учитывает мультиканальность и не сравнивает с другими разделами.
Исследования показали, что пользователи, активно использующие контент Discovery, демонстрируют более качественное взаимодействие с приложением, включая увеличенное количество добавлений в корзину, в избранное и выручку. При этом использовали метод Simple Matching для уравнивания групп, подбирая похожих пользователей по числу активных дней. Для более глубокого анализа и изучения влияния контента на удержание пользователей, применяли Propensity Score Matching (PSM).
Метод PSM оказался неэффективным, так как сильно сократил размер выборки, и использовали косинусное расстояние для подбора схожих пользователей. Этот подход, представляющий пользователей как векторы на основе их характеристик и измеряющий угол между векторами, показал себя лучше, обеспечив сбалансированность групп и достаточный размер выборки для получения репрезентативных результатов. В результате квазиэксперимента было обнаружено, что пользователи, активно взаимодействующие с контентом, с большей вероятностью возвращаются в приложение на второй месяц.
В конечном итоге, хотя квазиэксперименты дают ценные результаты, их доказательная сила ниже, чем у A/B-тестов. Для более точного анализа рекомендуется проводить A/B-тесты.
Изображение носит иллюстративный характер
Исследования показали, что пользователи, активно использующие контент Discovery, демонстрируют более качественное взаимодействие с приложением, включая увеличенное количество добавлений в корзину, в избранное и выручку. При этом использовали метод Simple Matching для уравнивания групп, подбирая похожих пользователей по числу активных дней. Для более глубокого анализа и изучения влияния контента на удержание пользователей, применяли Propensity Score Matching (PSM).
Метод PSM оказался неэффективным, так как сильно сократил размер выборки, и использовали косинусное расстояние для подбора схожих пользователей. Этот подход, представляющий пользователей как векторы на основе их характеристик и измеряющий угол между векторами, показал себя лучше, обеспечив сбалансированность групп и достаточный размер выборки для получения репрезентативных результатов. В результате квазиэксперимента было обнаружено, что пользователи, активно взаимодействующие с контентом, с большей вероятностью возвращаются в приложение на второй месяц.
В конечном итоге, хотя квазиэксперименты дают ценные результаты, их доказательная сила ниже, чем у A/B-тестов. Для более точного анализа рекомендуется проводить A/B-тесты.
