Lead Data Engineer
Требования
Местоположение и тип занятости
Компания
Описание вакансии
Условия работы
Admitad — глобальная IT-компания. Мы разрабатываем решения для автоматизации и создания долгосрочных партнерств, заработка на аудитории и контенте, закупки рекламы, управления заработанными средствами.
Мы помогаем брендам и онлайн-площадкам увеличивать продажи и привлекать новых клиентов, а обладателям аудитории монетизировать ее, сотрудничать с десятками тысяч рекламодателей и управлять заработанными средствами.
Офисы компании расположены в 9 странах: Германия, Бразилия, Беларусь, США, Россия, Индия, Голландия, Украина, ОАЭ.
Штаб-квартира находится в Германии в городе Хайльбронн. По всему миру в Admitad работает более 900 человек.
Описание продукта
Компания Admitad не монолитна, она оперирует несколькими бизнесами, а также запускает или покупает новые. Эти бизнесы значимые продуктовые и финансовые данные хранят не единообразно, а в сыром виде и в ряде случаев не долго. Задача – собрать, агрегировать и дать аналитикам компании данные, а также предоставить инструменты для создания регулярных и adhoc отчётов, требующихся для поддержки управленческих решений.
Технически – data warehouse собственного изготовления. Ингредиентами являются ClickHouse как хранилище и kafka+logstash как транспорт и обработка.
Наши ближайшие цели:
- На базе Kafka сделать шину данных для всей компании с реестром схем сущностей для более надёжных контрактов между поставщиками и получателями, где хранилище лишь один из получателей.
- Оптимизировать само хранилище, чтобы стоило меньше или вмещало больше.
- Добавить нашему хранилищу «ума» с помощью машинного обучения, чтобы смотреть не только на факты, но выявлять тренды и строить прогнозы.
Задачи:
- Проектирование архитектуры, разработка и поддержка инфраструктуры для хранения и обработки больших объёмов данных на основе ClickHouse и Kafka;
- Разработка, тестирование и оптимизация ETL-процессов обработки и анализа данных (сейчас на Python и Logstash);
- Отслеживание качества данных и своевременное решение связанных проблем;
- Тестирование и внедрение новых Business Intelligence продуктов;
- Разработка решений для машинного обучения на основе данных из хранилища;
- Помощь и консультирование разработчиков, аналитиков и data scientist’ов;
- Ведение документации по разрабатываемым и внедряемым решениям;
- Разработка внутренних и публичных API для взаимодействия между сервисами;
- Формирование команды, способной быстро и качественно решать поставленные задачи;
- Взаимодействие со смежными подразделениями, заказчиками;
- Внедрение и поддержка практик качественной разработки (код-ревью, тестирование, менторинг, обмен знаниями и прочее).
Требования:
- Отличные знания и опыт работы с системами хранения и обработки больших объёмов данных;
- Практический опыт работы реляционными и нереляционными базами данных;
- 5+ лет опыта на Python3;
- Отличные знания Python в области нагруженных приложений: потоки, процессы, асинхронность. Хорошие знания asyncio;
- Понимание принципов построения масштабируемых систем, основные проблемы, пути решения;
- Умение работать с системой контроля версий Git;
- Умение разбираться в чужом коде и документировать свой;
- Опыт проведения кодревью, понимание принципов хорошего кода;
- Понимания как устроен деплой сервисов: что происходит в Gitlab CI/CD, Ansible, Docker.
- Опыт работы по гибким методологиями (scrum, kanban).
Будет плюсом:
- Опыт системного администрирования Linux;
- Знания облачных платформ (AWS, Google Cloud, Azure);
- Опыт работы с Kubernetes, Helm charts.
Мы предлагаем:
- Работа в международной компании;
- Все по ТК и даже больше - дополнительные отгулы и доплата за больничный лист, а также программы помощи сотрудникам;
- Гибридный формат работы (офис/удаленка);
- Ноутбуки, предоставленные компанией, для комфортной работы из дома;
- Современный офис с игровой зоной;
- У нас всегда есть свежие фрукты, овощи и напитки;
- Мы за здоровый образ жизни и поощряем наших сотрудников заниматься спортом;
- Корпоративное обучение - курсы и тренинги, митапы и конференции;
- Скидка на изучение английского языка для сотрудников;
- ДМС после прохождения испытательного срока;
- Buddy Program и English Speaking Club - для эффективного онбординга, знакомства и общения;
- Незабываемые корпоративы и тимбилдинги для команд.