Инженер данных (Data Office)

Чем вам предстоит заниматься:

• Развитием платформы данных, созданием инструментов обработки данных.
• Участием в проектах с реальной ценностью для бизнеса компании.
• Загрузкой данных из систем источников в узел данных и обеспечением их доступности.
• Автоматизацией аналитических задач.
• Разработкой и оптимизацией алгоритмов операционного анализа данных.
• Развитием практик DevSecOps, автомтизацией миграций и разработческих пайплайнов.
• Взаимодействием с аналитиками данных (data scientists), производственными и функциональными экспертами для определения требований к выгрузке, конвертации и представления данных.

Эта вакансия для вас, если вы:

Самое важное – вы должны хотеть развиваться и развивать платформу данных, как продукт. Нам хотелось бы, чтобы кандидат сам умел искать решение задач, пытливо изучать техническую и технологическую сторону вопроса, прототипировать и собирать обратную связь.

Совершенно точно необходимы эти навыки:

• Знание хотя бы 1 языка программирования (желательно что-то из Scala, Java, Python, C++/C#) на хорошем уровне: опыт разработки более года, есть примеры проектов или продуктов.
• Знание SQL, опыт работы с реляционными СУБД (Oracle, MySQL, PostgreSQL и пр.).
• Навыки проектирования и реализации системы сбора и обработки данных;
• Опыт работы с *nix системами.

И хотя бы пару пунктов из нижеперечисленного:

• Опыт работы хотя бы с одной MPP СУБД, понимание архитектуры и оптимизацией запросов. Знание Vertica будет дополнительным плюсом.
• Знания алгоритмов в сфере высоконагруженной обработки данных при помощи распределённых вычислений (MR).
• Умение работать с Avro, Parquet форматом данных (типы, сжатие, выбор сортировок).
• Умение работать с распределенным хранилищем HDFS.
• Знание и умение работать с ETL/ELT инструментами, Apache NiFi будет дополнительным плюсом.
• Знание и умение работать с AMQP (Kafka, RabbitMQ).
• Понимание как работать со стеком продуктов на платформе Hadoop. Желательно Spark, Spark Streaming, HBase, Impala, Hive; другие технологии тоже пойдут в зачёт.
• Умение разрабатывать UDF для различных сред анализа данных, контейнеры и оркестрация контейнеров.
• Управление кластером Hadoop (развёртывание, мониторинг, оптимизация).
• Знание интерфейсов, методов управления разработкой и конфигурациями.

Мы отдельно готовы учесть вашу способность открыто мыслить, сильную мотивацию на результат или просто хорошую теоретическую основу, полученную вами во время учёбы.

Что мы вам предлагаем:

• Возможность удаленной работы (график обсуждается индивидуально в зависимости от роли).
• Заработную плату по результатам собеседования, премии за эффективную работу и результат.
• Нестандартные задачи, которые требуют креативного подхода.
• Команду, с которой приятно работать, и поэтому мы любим собираться в офисе для командных встреч, а также интересно проводить время после.
• Современный стек и гибкие методологии разработки, работа в команде высококлассных профессионалов из разных технологических областей.
• Возможность обучения и участия в жизни IT-сообщества: большой выбор курсов в нашем корпоративном университете, посещение митапов и конференций.
• Корпоративные льготы: ДМС, льготное страхование родственников, большой выбор внутренних спортивных секций, скидки на абонементы сети World Class.