Егор Творогов

1. A/B тестирование и экспериментальная инфраструктура

С нуля собрал систему для проведения и анализа A/B тестов. До этого почти все считалось руками, результаты могли ждать по несколько дней, а подходы между аналитиками отличались.

Что делал:

- собрал pipeline и систему анализа тестов в Jupyter(Python);
- автоматизировал расчет метрик и выгрузку результатов;
- добавил CUPED, поправки на множественное тестирование;
- через симуляции проверял alpha/beta error и реальную мощность тестов
- разбирался как работает текущая сплитовалка и где у нее ограничения;
- делал сетапы для ML тестов, geo тестов и партнерских экспериментов;
- исследовал MDE и чувствительность текущего флоу тестирования;
- собирал мониторинг и алертинг для экспериментов

В итоге:

- время получения результатов сократилось с 3-5 дней примерно до 3 минут;
- команда начала использовать единый подход к тестам вместо разрозненной ручной аналитики;
- стало сильно проще запускать новые тесты и проверять гипотезы;

Доп:

- использовал PSM и Synthetic Control / Causal Impact для квазиэкспериментов;
- провел порядка 70-80 тестов;
- делал внутренние презентации по A/B и статистике для команды.

2. Price Index и аналитика ценообразования

Собирал и развивал большую отчетность по price index для команды ценообразования и топ менеджмента.

Изначально проект был полностью с нуля:

- продумывал методологию расчета PI;
- писал SQL логику (суммарно там было что-то около 6500 строк);
- делал ETL и поставку данных;
- часть вычислений раскладывал по разным БД чтобы не убивать кластера тяжелыми запросами;
- настраивал визуализацию и помогал с документацией по расчетам

Потом уже больше занимался инфрастурктурой и поддержкой:

- под новый источник полностью переписал DAG выгрузки плоской таблицы;
- организовал поставку через S3.
- нашел почему PI расходился между ботом, дашбордом и run отчетом;
- пересобрал логику расчета и синхронизировал значения между системами;
- коммуницировал между BI, DWH и бизнесом, потому что все смотрели в разные цифры и постоянно возникали вопросы.

Сейчас выгрузки и отчетность используются ежедневно командой ЦО для мониторинга цен и принятия решений о ценах.

3. Мониторинг и алертинг

Сделал систему мониторинга по фронт марже и проблемам с ценами.

Что сделал:

- провел анализ таблиц и запросил недостающие данные у разработки
- сократил лаг обновлениия первой версии примерно с 5 часов до 1 часа
- сделал Telegram бота для доставки свежих данных;
- собрал мониторинг по аномалиям цен и маржинальности.

Из самого запоминающегося - мониторинг задетектил инцидент когда часть товаров начала продаваться по 1 рублю. Тогда получилось довольно быстро понять что что-то сломалось.

4. ML модель сегментации товаров (KVI / EDL / BASE)

Работал над ML подходом для сегментации товаров и pricing корзин

Что делал:

- переобучал кластеризацию с новыми фичами;
- расширял матрицу признаков.
- обучал классификатор поверх кластеризации;
- помогал с запуском и анализом теста.

В тесте получили около +7% к GMV и NR.

5. Прогнозирование цен конкурентов

Сделал модель прогнозирования цен конкурентов когда были проблемы с поставками данных подрядчика

Использовал:

- градиентный бустинг;
- авторегрессию;
- feature engineering.

В некоторых сценариях удалось обогнать naive/baseline прогноз. Ошибка доходила примерно до MAPE 1.5%

6. Эксперимент с распродажей скоропорта

Делал аналитическую и техническую часть процесса для распродажи скоропортящихся товаров.

Что сделал:
- предложил бизнесу гипотезу что мы можем утилизировать меньше товаров осг
- реализовал логику определения риска утилизации на основе статистики продаж и кол-ва стоков
- собрал Telegram бота для ежедневной выгрузки товаров под скидки;
- автоматизировал поставку данных для коммерции и менеджров;
- оценивал результаты эксперемента

Результат:

+11% GMV и снижение потерь примерно на 11%.

Инструмент использовался в операционке на ежедневной основе.

Дополнительно

- работал с задачами в условиях постоянно меняющегося ТЗ;
- регулярно коммуницировал с бизнесом, BI и DWH командами,
- документровал подходы и расчеты;
- делал внутренние доклады по A/B тестированию;
- умею самостоятельно тащить исследовательские и инфраструктурные задачи без готового процесса

Занимался дизайном аб-тестов, выдвигал гипотезы, собирал данные и подводил итоги, используя статистические критерии. Довелось провести 3 таких полноценных теста, использовал для двух из них Z test для пропорций и для одного парный T test.
Провел большое исследование на ретро данных на предмет необходимости сегментации каналов привлечения до входа потенциальных клиентов на шаг воронки, связанного с переходом от заинтересованности до сопровождения оператором целевого действия продажи. Использовал непараметрический критерий, тк распределение отличалось от нормального и сравнил попарно все каналы между собой, защитил результат перед заказчиками и передал на исполнение в другой отдел.
Собрал большой отчет в superset, где отразил множество бизнесовых и операционных метрик, воронку привлечения и продаж, подвел unit экономику. Для этого отчета проделал большой путь сбора, интерпретации данных, составления бизнес требований, разбора в дереве метрик и выведение отчета на регламентное обновление.
Участие в проекте «Быстрые тесты», до входа в AB быстрый заход по тестовым группам для определения лидирующих вариантов и передаче их в полноценный AB. Я непосредственно занимаюсь сбором данных, их обработкой, расчета выбранных мной метрик (на основе экспертизы) и подведением итогов, выбором конечных групп, которые далее пойдут в AB.
Довелось выступить на внутренней конференции на тему SLA.

На текущем месте работы бОльшее кол-во задач приходится на операционный стрим, регламентные расчеты ресурсов и задачи, связанные с расчетом мотивации, вознаграждения партнеров в рамках ОП. Но также присутствуют задачи повышенной неопределенности, с призрачным ТЗ и отсутствием понимания, что в итоге должно получиться у заказчиков.

Разработал новый автоматический процесс, связанный с рассылкой итоговой отчетности в рамках ОП, способствовал масштабированию на все продукты в рамках отдела и высвободил большое кол-во времени операционных руководителей, за что был особо отмечен руководителем отдела.

Совмещал должности «Python аналитик» и «Бизнес аналитик». В мои задачи входило обслуживание нескольких бизнес-линий продукта, связанного с играми и игровой активностью пользователей. Занимался переговорами с заказчиками, сбором подходящих данных с помощью SQL, обработкой сырых данных, преобразование, их очисткой. В jupyter notebook с помощью Python и набора библиотек для анализа занимался проверкой различных гипотез, поиском аномалий, закономерностей, статистическим анализом, в том числе часто когортным. Формулировал выводы, переводя с языка цифр и статистик на человеческий. Делал информативные визуализации в подтверждения или для ознакомления с ситуациями по метрикам. Работал с типичным набором качественных и количественных метрик (ARPU, ARPPU, Paying share, Session per user, lifetime, LTV…), самостоятельно их рассчитывал и оценивал за разные временные промежутки по разным разрезам трафика. Заливал отчеты и код на GitHub. Удалось проделать удачное code review более опытных коллег. Принимал активное участие в социальной жизни коллектива: созвоны, игры в кооперативе, совместное обсуждение новостей и научных статей, подходов в области анализа данных и машинного обучения.