Data engineer/Backend-разработчик (Senior, Data Team)
Требования
Местоположение и тип занятости
Компания
Описание вакансии
О компании и команде
Мы в Data team Туту создаем и внедряем инструменты которые позволяют принимать решения на основе данных, а не при помощи гадания или экспертного опыта. После создания хранилища, которое будет достаточного качества и скорости работы под задачи бизнеса, оно может стать источником данных для сервисов основанных на поведенческих алгоритмах пользователей.
На текущий момент пользователями наших инструментов являются более 100 человек в месяц и около 25 активных пользователей, но мы хотим чтобы активных пользователей становилось больше и чтобы привлекательность инструментов для работы с данными повышалась. Подходы, которые мы используем в работе над нашими системами, растекаются по компании и приносят еще больше, не только в контексте задач аналитики.
Мы развиваем платформу аналитики в концепциях self-service, data platform и data mesh, где все владельцы систем понимают ценность данных которые они экспортируют в систему аналитики и могут управлять качеством данных осознанно.
Сейчас расширяем команду на внедрение нового инструмента для self-serve ETL который позволит в краткосрочной перспективе обновлять данные в витринах раз в час, а в перспективе и раз в минуту, и потому мы ищем Старшего дата инженера / Backend-разработчика, который будет отвечать за создание инфраструктуры и инструментов для быстрого принятий решений на основе данных. Нужно будет развивать системы:
- data lake на основе clickhouse для хранения десятков терабайт данных;
- создавать, внедрять и развивать инструменты упрощающие работу с данными.
Все, что создается нашей командой, доставляется до всех сред, включая продакш только тогда когда мы, как команда, примем решение.
Техстек:
- На текущий момент в команде используются несколько хранилищ некоторые замещают старые: clickhouse, exasol, mariadb, elasticsearch, redis;
- В основном сложную логику пишем на python;
- Активно используем очереди сообщений Kafka;
- Приложения упаковываем в docker-контейнеры внутренне облако на OpenShift или на docker-хостах;
- Мониторинг наших систем реализуем с помощью prometheus и grafana
- Все приложения которые работают на бою упаковываются в docker и выкладываются через существующий CI/CD.
У нас выстроены процессы CI/CD, все важные подсистемы покрыты тестами и мониторингом что позволяет релизиться каждую минуту. Мы делаем инструменты для наших коллег и нам нужно много общаться чтобы сделать максимально полезный продукт для пользователя. Работаем в bitbucket, jira, confluence и miro.
Придется много взаимодействовать с tech lead твоей команды, аналитиками, разработчиками твоей команды и других команд.
Основные задачи:
- Внедрение и развитие инструмента для self-service ETL (сборки витрин силами аналитиков) и повышение его надежности удобства;
- Улучшение инструментов доставки данных до системы аналитики и повышение его удобства для разработчиков понижая порог входа для доставки сырых данных в шину данных и систему аналитики;
- Описывать новые процессы и инструменты;
- Собирать и обрабатывать обратную связь от пользователей, заказчиков и команды;
- Составить понятную пользователям документацию по результату добавления новых возможностей в систему.
Ожидания от кандидата
- От 3 лет разработки на python/golang/java;
- Хорошее знание python, плюсом будет знание других языков golang/java;
- Опыт работы с оркестраторами вроде airflow;
- Базы данных и хранилища данных: обязательно хороший опыт работы с реляционными или колоночными базами;
- Опыт работы с очередями (kafka, rabbitmq и пр.);
- Опыт разработки микросервисов (проектирование API и хоть какой-то опыт разбиения на микросервисы);
- Знания систем docker, kubernetes на уровне уверенного пользователя и создания новых контейнеров или шаблонов для kubernetes.
Условия работы
Работаем 5/2, гибкое начало рабочего дня. Сейчас хотя бы раз в неделю стараемся собираться в офисе, готовность редко приезжать в офис будет плюсом. Однако, готовы рассмотреть и полную удаленку.
Про компанию:
- Приложения Туту.ру одни из самых популярных в России в категории тревел, мы следим за тем, чтобы наше продвижение было эффективным.
- Сильный блог на Хабре;
- Предоставляем все возможности для эффективного достижения целей. Любим и ценим эксперименты и поиск новых точек роста.
- Очень крутая внутренняя база знаний и профессиональные коллеги;
- Открываются новые направления, где можно делать всё с нуля.
Бонусы
Каждые полгода проходят perfomance review, в рамках которого составляется план развития, есть много возможностей для дальнейшего роста. Регулярная индексация зарплаты и премии каждый квартал по результатам работы.
Новый красивый офис в 10 мин ходьбы от м. Нагатинская. Массажные кресла, настольный теннис, горячие завтраки, своя библиотека, VR очки и все что полагается для комфортной работы, если вы на гибриде или предпочитаете работать из офиса.
И конечно весь положенный набор плюшек: ДМС со стоматологией, страховка на путешествия, Macbook, оплата больничных, крутые офф-лайн корпоративы дважды в год, а также обучение за счет компании, а также премии за прочитанные книги (да-да, вы не ослышались!) и обмен опытом.
Дополнительные инструкции
Структура собеседований:
- Общение с HR-менеджером 10-20 минут. Никаких «кем вы видите себя через 5 лет»;
- Техническое собеседование с командой (можно понять, комфортно ли вам будет вместе работать. Мы, в свою очередь, проверим ваши профессиональные знания и навыки);
- Встреча с руководителем отдела (чтобы финально прояснить все оставшиеся вопросы и детальнее проговорить задачи и погружение в роль)