Data Engineer

Привет!

Кошелёк — мобильное приложение, которое заменяет физический бумажник с пластиковыми картами.

Наша миссия — сделать покупки удобнее и выгоднее для пользователей и избавить мир от пластиковых карт. Вы можете перенести существующие банковские и дисконтные карты в приложение «Кошелёк», а также выпустить новые карты из каталога приложения.

В приложении уже зарегистрировано 20 миллионов пользователей. В нашей команде более 250 сотрудников, большая часть команды работает в главном офисе в Петербурге.

В Кошельке мы собираем и анализируем много разной информации. В данный момент у нас около десяти терабайт сжатых сырых данных и мы активно растем. Инфраструктура почти не менялась с самого запуска приложения и уже не справляется с поставленными перед ней задачами.

Всего у команды инженеров данных в нашей компании есть три направления работы:

1) Инфраструктура. Это поддержка всех наших серверов, сервисов и инструментов.

Сейчас у нас используются MSSQL и Clickhouse.

Мы переезжаем на полностью новую инфраструктуру хранения и обработки данных.

До конца года мы хотим совсем отказаться от MSSQL и разгрузить Clickhouse от нетипичных для него задач. Для этого мы поднимаем Greenplum.

Сырые данные мы храним в Minio, а обрабатывают это все Airflow с Flink'ом.

Кроме того, есть и PowerBI, и Metabase, и Zeppelin, и Jupyter. Нужно следить за тем, чтобы это все работало и улучшать.

2) ETL/ELT. Управление потоками данных, наполнение Data Lake и DWH, создание витрин и подобное. Для этого используются Airflow и Flink.

3) Автоматизация работы аналитиков. Сюда входит создание скриптов и инструментов, которые помогают автоматизировать рутинные задачи.

Что ждём от вас:

• опыт поддержки инфраструктуры данных (devops, аналитические базы данных, ETL-инструменты, BI-инструменты);
• опыт коммерческой разработки (предпочтительно Python и Java);
• опыт работы с потоками данных и их загрузкой (ETL, батчи, потоковая обработка);
• понимание принципов работы big data стека;
• опыт работы с терабайтами данных;
• умение работать с аналитиками (запросы на витрины данных и автоматизацию);
• желателен опыт администрирования и работы с Greenplum и Clickhouse;
• желателен опыт с Airflow, Flink и Minio.

Со своей стороны предлагаем:

• участие в развитии полезного и популярного приложения (14 млн MAU);
• работу с сильной инженерной командой;
• оформление по ТК РФ, ДМС с первого дня работы;
• гибкий график работы, возможна полностью удалённая работа;
• оплату профильных курсов и конференций;
• спорт четыре раза в неделю в офисе — йога и силовые тренировки;
• командные мероприятия;
• комфортный офис в центре города (5 минут от станции метро Чкаловская).