Lead Data Engineer

Admitad — глобальная IT-компания. Мы разрабатываем решения для автоматизации и создания долгосрочных партнерств, заработка на аудитории и контенте, закупки рекламы, управления заработанными средствами.

Мы помогаем брендам и онлайн-площадкам увеличивать продажи и привлекать новых клиентов, а обладателям аудитории монетизировать ее, сотрудничать с десятками тысяч рекламодателей и управлять заработанными средствами.

Офисы компании расположены в 9 странах: Германия, Бразилия, Беларусь, США, Россия, Индия, Голландия, Украина, ОАЭ.

Штаб-квартира находится в Германии в городе Хайльбронн. По всему миру в Admitad работает более 900 человек.

Описание продукта

Компания Admitad не монолитна, она оперирует несколькими бизнесами, а также запускает или покупает новые. Эти бизнесы значимые продуктовые и финансовые данные хранят не единообразно, а в сыром виде и в ряде случаев не долго. Задача – собрать, агрегировать и дать аналитикам компании данные, а также предоставить инструменты для создания регулярных и adhoc отчётов, требующихся для поддержки управленческих решений.

Технически – data warehouse собственного изготовления. Ингредиентами являются ClickHouse как хранилище и kafka+logstash как транспорт и обработка.

Наши ближайшие цели:

• На базе Kafka сделать шину данных для всей компании с реестром схем сущностей для более надёжных контрактов между поставщиками и получателями, где хранилище лишь один из получателей.
• Оптимизировать само хранилище, чтобы стоило меньше или вмещало больше.
• Добавить нашему хранилищу «ума» с помощью машинного обучения, чтобы смотреть не только на факты, но выявлять тренды и строить прогнозы.

Задачи:

• Проектирование архитектуры, разработка и поддержка инфраструктуры для хранения и обработки больших объёмов данных на основе ClickHouse и Kafka;
• Разработка, тестирование и оптимизация ETL-процессов обработки и анализа данных (сейчас на Python и Logstash);
• Отслеживание качества данных и своевременное решение связанных проблем;
• Тестирование и внедрение новых Business Intelligence продуктов;
• Разработка решений для машинного обучения на основе данных из хранилища;
• Помощь и консультирование разработчиков, аналитиков и data scientist’ов;
• Ведение документации по разрабатываемым и внедряемым решениям;
• Разработка внутренних и публичных API для взаимодействия между сервисами;
• Формирование команды, способной быстро и качественно решать поставленные задачи;
• Взаимодействие со смежными подразделениями, заказчиками;
• Внедрение и поддержка практик качественной разработки (код-ревью, тестирование, менторинг, обмен знаниями и прочее).

Требования:

• Отличные знания и опыт работы с системами хранения и обработки больших объёмов данных;
• Практический опыт работы реляционными и нереляционными базами данных;
• 5+ лет опыта на Python3;
• Отличные знания Python в области нагруженных приложений: потоки, процессы, асинхронность. Хорошие знания asyncio;
• Понимание принципов построения масштабируемых систем, основные проблемы, пути решения;
• Умение работать с системой контроля версий Git;
• Умение разбираться в чужом коде и документировать свой;
• Опыт проведения кодревью, понимание принципов хорошего кода;
• Понимания как устроен деплой сервисов: что происходит в Gitlab CI/CD, Ansible, Docker.
• Опыт работы по гибким методологиями (scrum, kanban).

Будет плюсом:

• Опыт системного администрирования Linux;
• Знания облачных платформ (AWS, Google Cloud, Azure);
• Опыт работы с Kubernetes, Helm charts.

Мы предлагаем:

• Работа в международной компании;
• Все по ТК и даже больше - дополнительные отгулы и доплата за больничный лист, а также программы помощи сотрудникам;
• Гибридный формат работы (офис/удаленка);
• Ноутбуки, предоставленные компанией, для комфортной работы из дома;
• Современный офис с игровой зоной;
• У нас всегда есть свежие фрукты, овощи и напитки;
• Мы за здоровый образ жизни и поощряем наших сотрудников заниматься спортом;
• Корпоративное обучение - курсы и тренинги, митапы и конференции;
• Скидка на изучение английского языка для сотрудников;
• ДМС после прохождения испытательного срока;
• Buddy Program и English Speaking Club - для эффективного онбординга, знакомства и общения;
• Незабываемые корпоративы и тимбилдинги для команд.