Команда разработки столкнулась с проблемой тестирования множества комбинаций фич для курьерской доставки, что требовало много времени и ресурсов при использовании A/B тестов. Для решения этой проблемы они разработали симуляцию работы курьеров, позволяющую проводить продуктовые тесты без необходимости релиза в продакшен. Это позволило ускорить процесс тестирования и проверять большое количество гипотез.
При разработке симуляции команда решила использовать данные о заказах из продакшена, а не генерировать их, поскольку это экономило время и обеспечивало более реалистичные условия. Передвижение курьеров моделировалось по прямой линии между точками, а не с использованием реальных городских маршрутов, чтобы ускорить разработку. Виртуальное время симуляции позволяло моделировать работу курьеров за 12 часов всего за 3 минуты.
Симуляция собирала продуктовые метрики непосредственно внутри себя, вместо использования внешней системы аналитики. Это позволило команде быстро проверять гипотезы, создавая новые метрики и анализируя их результаты. На фронтенде симуляции можно было настраивать количество курьеров, их среднюю скорость, а также устанавливать фичи для тестирования.
Хотя текущая симуляция не выдаёт идентичные продакшену метрики, она оказалась полезна для поиска новых комбинаций фичей и подготовки к A/B-тестам. В будущем планируется повысить реалистичность симуляции, в частности, используя реальные маршруты и обучать нейросети для поиска зависимостей между фичами и метриками. Симуляция может быть применена не только к курьерской доставке, но и к другим сложным процессам, помогая быстрее тестировать гипотезы.
Изображение носит иллюстративный характер
При разработке симуляции команда решила использовать данные о заказах из продакшена, а не генерировать их, поскольку это экономило время и обеспечивало более реалистичные условия. Передвижение курьеров моделировалось по прямой линии между точками, а не с использованием реальных городских маршрутов, чтобы ускорить разработку. Виртуальное время симуляции позволяло моделировать работу курьеров за 12 часов всего за 3 минуты.
Симуляция собирала продуктовые метрики непосредственно внутри себя, вместо использования внешней системы аналитики. Это позволило команде быстро проверять гипотезы, создавая новые метрики и анализируя их результаты. На фронтенде симуляции можно было настраивать количество курьеров, их среднюю скорость, а также устанавливать фичи для тестирования.
Хотя текущая симуляция не выдаёт идентичные продакшену метрики, она оказалась полезна для поиска новых комбинаций фичей и подготовки к A/B-тестам. В будущем планируется повысить реалистичность симуляции, в частности, используя реальные маршруты и обучать нейросети для поиска зависимостей между фичами и метриками. Симуляция может быть применена не только к курьерской доставке, но и к другим сложным процессам, помогая быстрее тестировать гипотезы.
