Data Engineer (Hadoop\Spark)
Требования
Местоположение и тип занятости
Компания
Ключевой технологический партнер лидеров российского бизнеса
Описание вакансии
О компании и команде
Мы выбираем лучшее из мира технологий и превращаем в реальные ИТ-решения, которыми пользуются миллионы сотрудников крупнейших компаний России. На рынке с 1992 г.
Проект:
Проектирование и разработка хранилища данных для одного из топ-3 банков страны. Написание интеграционного механизма для экосистемы Hadoop.
Задачи:
- Проектирование и разработка структур хранилищ данных;
- Проектирование и разработка интеграционных процедур загрузки данных и наполнения объектов ХД
- Проектирование и разработка витрин данных и кубов
Ожидания от кандидата
- Опыт работы в роли разработчика от 3 х лет в проектах по разработке и/или модификации и/или внедрению ПО с использованием инструментов и технологий Hadoop;
- Опыт работы с 5 любыми указанными инструментами по направлению Hadoop: HDFS, MapReduce, Yarn, Hadoop Common, Apache Tez, Apache Solr, Apache Pig, Sqoop и/или Flume, Apache Hive и/или Spark SQL, Apache Kafka;
- Опыт работы с реляционными БД (Oracle DB и/или PostgreSQL и/или MySQL);
- Опыт оптимизации производительности SQL запросов (план запроса, индексы, дистрибуция, full scan)
- Опыт разработки API (REST);
- Опыт участия в оптимизации процессов сбора, первичная обработка и хранение большого объема данных из различных типов источников;
- Опыт интеграции инфраструктурных компонент c сторонними системами;
- Опыт оптимизации моделей хранения данных;
- Опыт командной разработки с использованием программных продуктов Confluence и Jira;
Было бы плюсом:
Scala
Условия работы
- Официальное оформление в аккредитованную IT-компанию;
- Система ДМС со стоматологией и онкострахованием;
- Формат работы: офис в Москве. Обсуждается гибрид;
- Работу в команде экспертов профессионалов;
- Лучшие мировые практики разработки ПО, организации бизнес-процессов и построения команды.
- Современный подход к обучению и развитию сотрудников: индивидуальный план развития, сертификация, книги, курсы, митапы, публикации в крупнейших онлайн и оффлайн изданиях, изучение иностранных языков.
Бонусы
- ДМС со стоматологией.
- Страхование жизни, онкострахование и психологическая поддержка.
- 3 дня без больничного.
- Выгодная ипотека для ИТ.
- Скидки и бонусы от партнеров.
- Кампус на побережье: 2 недели в году живи и работай на берегу моря.