👋 Стартовала третья неделя марафона, посвящённая мотивации и отношениям в команде! Со Skyeng и IVI обсудим, как дружить с коллегами на удалёнке и находить в себе силы на работу и общение. Регистрируйтесь на страничке марафона и присоединяйтесь!

Разработчик Big data

Зарплата

До 200 000 ₽

Требуемые навыки

Разработка ПОСредний (Middle) · Hadoop · Apache Spark · Python · Etl

Местоположение и тип занятости

Россия, Москва · Полный рабочий день · Можно удаленно

Компания

Кадровое агентство по подбору IT-персонала

Описание вакансии

Проект:
Построение единой аналитической платформы, хранилища Data Cloud с нуля, для внутреннего корпоративного пользования. Платформа включает в себя централизованное корпоративное хранилище данных, витрины отчетности и BI-инструменты, аналитические «песочницы» данных и инфраструктуру для применения моделей искусственного интеллекта.

Обязанности:

  • Проектирование и разработка процессов загрузки данных в единую модель данных КХД в Hadoop, загрузки данных и расчета витрин в Vertica;
  • Оптимизация и настройка производительности ETL процессов;
  • Проведение исследований новых технологий в рамках R&D;
  • Разработка системы контроля качества данных, регламентных служебных процессов для обслуживания загрузки КХД;
  • Рефакторинг существующих решений по загрузке данных и расчету витрин, перевод их на новую модель и инструменты.

Требования:

  • Опыт работы с экосистемой Hadoop (HDFS, Hive, Spark);
  • Опыт программирования на Python (базовый) и работы с Apache Airflow;
  • Понимание архитектуры организации хранилищ данных и систем обработки данных (онлайн, батч режим).


Бонусы

Компания готова предложить:

  • Развитие в команде профессионалов и работу с использованием гибких методологий разработки ПО;
  • Профессиональное обучение за счёт компании;
  • Стабильность, белая зарплата, полное соблюдение ТК РФ;
  • ДМС со стоматологией и скидки от компаний-партнеров;
  • График работы 5-дневка, в современном офисе в Москве рядом с метро (на время карантина на удалёнке) или полностью на удалёнке.

Ваш отклик

Авторизуйтесь
Откликаться на вакансии могут только зарегистрированные пользователи.