Data Engineer (Hadoop\Spark)

О компании и команде

Мы выбираем лучшее из мира технологий и превращаем в реальные ИТ-решения, которыми пользуются миллионы сотрудников крупнейших компаний России. На рынке с 1992 г.

Проект: 
Проектирование и разработка хранилища данных для одного из топ-3 банков страны. Написание интеграционного механизма для экосистемы Hadoop.

Задачи:

• Проектирование и разработка структур хранилищ данных;
• ­Проектирование и разработка интеграционных процедур загрузки данных и наполнения объектов ХД
• Проектирование и разработка витрин данных и кубов

Ожидания от кандидата

• Опыт работы в роли разработчика от 3 х лет в проектах по разработке и/или модификации и/или внедрению ПО с использованием инструментов и технологий Hadoop;
• Опыт работы с 5 любыми указанными инструментами по направлению Hadoop: HDFS, MapReduce, Yarn, Hadoop Common, Apache Tez, Apache Solr, Apache Pig, Sqoop и/или Flume, Apache Hive и/или Spark SQL, Apache Kafka;
• Опыт работы с реляционными БД (Oracle DB и/или PostgreSQL и/или MySQL);
• Опыт оптимизации производительности SQL запросов (план запроса, индексы, дистрибуция, full scan)
• Опыт разработки API (REST);
• Опыт участия в оптимизации процессов сбора, первичная обработка и хранение большого объема данных из различных типов источников;
• Опыт интеграции инфраструктурных компонент c сторонними системами;
• Опыт оптимизации моделей хранения данных;
• Опыт командной разработки с использованием программных продуктов Confluence и Jira;

Было бы плюсом:
Scala

Условия работы

• Официальное оформление в аккредитованную IT-компанию;
• Система ДМС со стоматологией и онкострахованием;
• Формат работы: офис в Москве. Обсуждается гибрид;
• Работу в команде экспертов профессионалов;
• Лучшие мировые практики разработки ПО, организации бизнес-процессов и построения команды.
• Современный подход к обучению и развитию сотрудников: индивидуальный план развития, сертификация, книги, курсы, митапы, публикации в крупнейших онлайн и оффлайн изданиях, изучение иностранных языков.

Бонусы

• ДМС со стоматологией.
• Страхование жизни, онкострахование и психологическая поддержка.
• 3 дня без больничного.
• Выгодная ипотека для ИТ.
• Скидки и бонусы от партнеров.
• Кампус на побережье: 2 недели в году живи и работай на берегу моря.