Team Lead (Data Engineering)

Мы разрабатываем аналитические системы на базе единой платформы, которые позволяют безопасно работать с данными независимо от их формата, метода хранения и эксплуатации. Платформа основана на концепции Infrastructure as Code (IAC) и состоит из нескольких независимых программных продуктов и сервисов на базе JVM/Scala и Kubernetes. Она обеспечивает высокий уровень потоковой обработки и хранения данных, управления доступом и метаданными, а также контролем их использования в периметре частных облачных сред.

Технологический стек:

• Языки программирования: Scala, Python.
• Обработка и хранение данных: Spark, Flink, Kafka, ClickHouse, Cassandra, ElasticSearch.
• Прочие технологии и фреймворки: Finagle, Jackson, ScalaTest, Docker.

Задачи:

• Техническое руководство группой разработчиков, декомпозиция задач, ревью кода.
• Реализация компонентов платформы, связанных с обработкой больших данных.
• Реализация распределенных алгоритмов на больших данных и внедрение моделей машинного обучения.
• Формирование и обработка больших наборов данных.
• Участие в найме и обучении команды.
• Участие в разработке архитектуры платформы.

Наши ожидания:

• Профильное образование: информационные технологии, статистика, математика.
• Опыт коммерческой разработки от 5-7 лет.
• Понимание принципов современной разработки в сфере Big Data, достоинств и недостатков различных фреймворков.
• Знание особенностей реализации различных алгоритмов и структур данных.

Будет плюсом:

• Опыт технического руководства командой.
• Опыт работы с Apache Spark, Flink, Kafka.
• Опыт работы с распределенными БД: Cassandra, HBase, ElasticSearch и т.д.
• Глубокое понимание особенностей архитектуры JVM.
• Интерес к технологиям Data Science, участие в конкурсах по машинному обучению.

Условия:

• Работа в развивающейся технологической компании.
• Профессиональный и карьерный рост.
• Комфортные рабочие места в современном офисе, оснащение новым it-оборудованием, зона отдыха.
• Оформление в соответствии с ТК РФ.
• Заработная плата на уровне лидеров индустрии (обсуждается индивидуально и зависит от опыта и компетенций кандидата).
• График работы: пн-пт (с 10 до 19); возможно согласование индивидуального графика.
• ДМС после испытательного срока (3 месяца), корпоративное обучение (английский язык).
• Возможность участия в профессиональных конференциях.
• Релокационный пакет для специалистов из других регионов.