Senior Data Engineer (A/B Platform)
Требования
Местоположение и тип занятости
Компания
Code the lifestyle
Описание вакансии
О компании и команде
Мы в поиске старшего Инженера по работе с большими данными на проект по развитию платформы данных (A/B платформы).
Платформа данных это: A/B платформа; система сбора данных, хранения, подсчета, тестирования; аналитический тулинг; хранилище продуктовых логов.
Мы хотим расширять функциональность A/B платформы, способов подсчета метрик, ускорения A/B тестирования, улучшать качество сбора и хранения пользовательских данных, создавать инструменты для ускорения работы аналитиков.
Чем предстоит заниматься:
- Разрабатывать и создавать лучшую на рынке платформу данных электронной коммерции нового поколения;
- Проектировать и разрабатывать ETL пайплайны на Airflow для Spark, Hive, Trino, а также оптимизировать действующие пайплайны и джобы на Spark;
- Обеспечивать качество данных в разных системах;
- Перерабатывать архитектуру A/B платформы и проектировать хранение данных;
- Взаимодействовать с аналитиками и ML специалистами для создания/развертывания инструментов и наборов данных, соответствующих их вариантам использования - поддерживать регулярные связи с другими командами для развития платформы AB тестов;
- Анализировать и внедрять инструменты инжиниринга данных.
Ожидания от кандидата
- Опыт работы со стеком Hadoop (YARN, HDFS, HBase, Hive);
- Опыт работы в Spark, PySpark;
- Опыт работы с Python;
- Опыт работы с Airflow.
Условия работы
- Гибкий график работы, можно удобно планировать рабочее и личное время, а также работать удаленно;
- Расширенную ДМС программу со стоматологией с первого месяца;
- Скидки на весь каталог сайта Lamoda до 40%;
- Единоразовая выплата в 15 тыс. рублей gross, которая идет в качестве частичной компенсации за обустройство рабочего места;
- Обмен знаниями внутри компании - мы организуем внутренние митапы и являемся площадкой для различных профессиональных сообществ;
- Возможность посещать конференции в качестве слушателей и докладчиков (для желающих подготовиться к выступлениям с докладами или презентациями у нас есть Speakers Club);
- Уютный офис в Москве (МЦК Хорошёво/м. Полежаевская) с настольным теннисом, кикером, тренажерным залом и йогой, а также коворкинг в центре Санкт-Петербурга.