Разработчик Big data

Проект:
Построение единой аналитической платформы, хранилища Data Cloud с нуля, для внутреннего корпоративного пользования. Платформа включает в себя централизованное корпоративное хранилище данных, витрины отчетности и BI-инструменты, аналитические «песочницы» данных и инфраструктуру для применения моделей искусственного интеллекта.

Обязанности:

• Проектирование и разработка процессов загрузки данных в единую модель данных КХД в Hadoop, загрузки данных и расчета витрин в Vertica;
• Оптимизация и настройка производительности ETL процессов;
• Проведение исследований новых технологий в рамках R&D;
• Разработка системы контроля качества данных, регламентных служебных процессов для обслуживания загрузки КХД;
• Рефакторинг существующих решений по загрузке данных и расчету витрин, перевод их на новую модель и инструменты.

Требования:

• Опыт работы с экосистемой Hadoop (HDFS, Hive, Spark);
• Опыт программирования на Python (базовый) и работы с Apache Airflow;
• Понимание архитектуры организации хранилищ данных и систем обработки данных (онлайн, батч режим).

Компания готова предложить:

• Развитие в команде профессионалов и работу с использованием гибких методологий разработки ПО;
• Профессиональное обучение за счёт компании;
• Стабильность, белая зарплата, полное соблюдение ТК РФ;
• ДМС со стоматологией и скидки от компаний-партнеров;
• График работы 5-дневка, в современном офисе в Москве рядом с метро (на время карантина на удалёнке) или полностью на удалёнке.