Data Engineer

Привет!

Кошелёк — мобильное приложение, которое заменяет физический бумажник с пластиковыми картами.

Наша миссия — сделать покупки удобнее и выгоднее для пользователей и избавить мир от пластиковых карт. Вы можете перенести существующие банковские и дисконтные карты в приложение «Кошелёк», а также выпустить новые карты из каталога приложения.
В приложении уже зарегистрировано 30 миллионов пользователей. В нашей команде более 300 сотрудников, большая часть команды работает в главном офисе в Петербурге.

Мы ищем data engineer'а, который поможет нам поддерживать инфраструктуру хранения и обработки десятков терабайт данных.

В Кошельке мы собираем и анализируем много разной информации. В данный момент у нас около десяти терабайт сжатых сырых данных и мы активно растем. Инфраструктура почти не менялась с самого запуска приложения и уже не справляется с поставленными перед ней задачами.

Основные задачи:

• реализация подсчета необходимых для бизнеса метрик и автоматизация ручных процессов;
• миграция данных и процессов со старой архитектуры на новые DWH и DataLake;
• оптимизация существующих ETL (batch и streaming) и создание новых.

Что нужно знать о команде Кошелька:

• мы ценим открытое и честное общение;
• мы опираемся на факты, но верим в большие идеи;
• мы поддерживаем и направляем, но ждём проактивности, решительности и автономности;
• мы быстро растём и динамично меняем процессы, но превыше всего ставим результат;
• мы уже собрали профессионалов из Яндекса, Тинькофф, Самоката, Okko, X5 Retail Group и др.

Мы ожидаем, что вы знаете:

• BigData-фрейморки (Apache Flink/Apache Spark);
• Linux-утилиты (ssh, grep, sed, etc.);
• SQL и Python / Java;
• особенности OLAP и OLTP систем (Greenplum и Clickhouse);
• сервисы хранения объектов S3 / HDFS / MinIO;
• GitFlow;
• планировщики рабочих процессов (Oozie / Airflow).

Будет плюсом:

• опыт работы с контейнерами (Docker, Kubernetes);
• опыт мониторинга приложений и создание алертов;
• опыт построение CI/CD.

Со своей стороны предлагаем:

• участие в развитии полезного и популярного приложения;
• работу с сильной инженерной командой;
• оформление по ТК РФ, конкурентную белую зарплату, ДМС с первого дня работы, 100% компенсацию отпуска и больничного;
• оплату мобильной связи, частичную компенсацию оплаты питания;
• новую современную технику;
• помощь с переездом для кандидатов из других городов (welcome бонус);
• оплату профильных курсов и конференций;
• спорт четыре раза в неделю в офисе — йога и силовые тренировки;
• командные мероприятия, техтолки, митапы и онлайн-вечеринки;
• возможность работать полностью удалённо или в одном из наших комфортных офисов в Санкт-Петербурге (м. Чкаловская) или Москве (м. Курская).