💜 Подарок для новых пользователей Хабр Карьеры — месяц бесплатного кино и скидка 10% на подписку от онлайн-кинотеатра START → зарегистрироваться

Data Engineer (Hadoop\Spark)

Местоположение и тип занятости

МоскваПолный рабочий день

Компания

Ключевой технологический партнер лидеров российского бизнеса

Описание вакансии

О компании и команде

Мы выбираем лучшее из мира технологий и превращаем в реальные ИТ-решения, которыми пользуются миллионы сотрудников крупнейших компаний России. На рынке с 1992 г.

Проект: 
Проектирование и разработка хранилища данных для одного из топ-3 банков страны. Написание интеграционного механизма для экосистемы Hadoop.

Задачи:

  • Проектирование и разработка структур хранилищ данных;
  • ­Проектирование и разработка интеграционных процедур загрузки данных и наполнения объектов ХД
  • Проектирование и разработка витрин данных и кубов

Ожидания от кандидата

  • Опыт работы в роли разработчика от 3 х лет в проектах по разработке и/или модификации и/или внедрению ПО с использованием инструментов и технологий Hadoop;
  • Опыт работы с 5 любыми указанными инструментами по направлению Hadoop: HDFS, MapReduce, Yarn, Hadoop Common, Apache Tez, Apache Solr, Apache Pig, Sqoop и/или Flume, Apache Hive и/или Spark SQL, Apache Kafka;
  • Опыт работы с реляционными БД (Oracle DB и/или PostgreSQL и/или MySQL);
  • Опыт оптимизации производительности SQL запросов (план запроса, индексы, дистрибуция, full scan)
  • Опыт разработки API (REST);
  • Опыт участия в оптимизации процессов сбора, первичная обработка и хранение большого объема данных из различных типов источников;
  • Опыт интеграции инфраструктурных компонент c сторонними системами;
  • Опыт оптимизации моделей хранения данных;
  • Опыт командной разработки с использованием программных продуктов Confluence и Jira;

Было бы плюсом:
Scala

Условия работы

  • Официальное оформление в аккредитованную IT-компанию;
  • Система ДМС со стоматологией и онкострахованием;
  • Формат работы: офис в Москве. Обсуждается гибрид;
  • Работу в команде экспертов профессионалов;
  • Лучшие мировые практики разработки ПО, организации бизнес-процессов и построения команды.
  • Современный подход к обучению и развитию сотрудников: индивидуальный план развития, сертификация, книги, курсы, митапы, публикации в крупнейших онлайн и оффлайн изданиях, изучение иностранных языков.

Бонусы

  • ДМС со стоматологией.
  • Страхование жизни, онкострахование и психологическая поддержка.
  • 3 дня без больничного.
  • Выгодная ипотека для ИТ.
  • Скидки и бонусы от партнеров.
  • Кампус на побережье: 2 недели в году живи и работай на берегу моря.