Аналитик-разработчик DWH

Не будем повторять то, что написано о нас на страничке «О компании». Там ты найдешь ответы на вопросы "Кто мы?", "Почему сейчас ищем людей?" и "Что стратегически нами задумано?", букв немного, вся суть передана, цифры говорят сами за себя!

Какой человек нам нужен?

Самостоятельный, убедительный, амбициозный, с лидерскими качествами (или умением сделать так, чтобы управлять не приходилось:) стремящийся к построению качественных процессов и, как следствие, качественному сбору, хранению и поставке данных.

Что мы предлагаем:

• Занимается созданием централизованной системы сбора и обработки данных
• Работать в компании, где тебя слышат и ценят твой вклад
• Влиять на технические решения и планомерно повышать качество сбора, хранения и поставки данных
• Работать с командой людей, умеющих принимать решения, амбициозных, увлеченных своим делом и проектом
• Разрабатывать востребованный продукт и получать четкий фидбэк от пользователей
• Решать амбициозные задачи
• Получить профессиональный рост (у нас есть тренинги, конференции, сильная команда, которая готова делиться знаниями и в которой можно быстро расти)

Немного о том, что уже сделали и что нам еще предстоит :)

На текущий момент мы подготовили инфраструктуру на базе Hadoop и GreenPlum для загрузки, обработки и построения витрин данных. Описали и загрузили данные нескольких продуктов холдинга и приступили к описанию и загрузке следующих. Дальше планируем развивать и масштабировать инфраструктуру, запускать потоковое получение данных и увеличивать количество подключенных источников и доверие к данным.

Что планируем сделать:

• Загрузим все источники данных
• Приведем data-flow между продуктами к целевому состоянию
• Устраним расхождение данных между продуктами
• Опишем все ключевые данные, как результат: есть data-каталог, описан flow данных

На практике это значит, что мы будем решать следующие задачи:

• Контроль всех ключевых данных в холдинге за счет правильно выстроенной системы мониторинга и алертинга
• Создание хранилища, из которого каждый новый отчет будет рождаться за “один день”
• Настройка автоматического подключения событий
• Загрузка данных из различных источников в Hadoop, как Batch, так и Stream
• Обработка полученных данных - создание централизованной и прозрачной обработки данных
• Структурирование и мониторинг потоков данных
• Подготовка витрин данных для конечных пользователей

Что для нас важно в тебе:

• Уверенные знания SQL. Профилирование и оптимизация запросов
• Умение читать план запросов
• Хорошее знание баз данных (RDBMS, MPP, columnar vs. row oriented, indexes, partitions и т.д)
• Моделирование данных (aka - Архитектура)
• Опыт построения DataPipeline в Airflow, внесение изменений в уже имеющиеся ETL процессы
  
• Владение Python на базовом уровне
• Понимание как строить отчеты в BI-Tools (Superset)
• Знание концепции DataManagement / DataGovernance - у нас для этого DataHub
• Умение строить DataMarts на больших данных, где размер datasets может достигать >100Гб
• Умение строить витрины в Superset

Не обязательно, но будет очень здорово, если:

• Есть опыт  работы с DataHub
  

Что есть у нас и чем готовы делиться:

• Белая, своевременная и конкурентоспособная заработная плата
• ДМС (включая стоматологию)
• Удобное место для работы и современное “железо”
• Гибкий график. Начало работы с 8 до 11
• У нас не нужно приходить 5 дней в неделю в офис. Мы внутри команд сами определяем, когда туда приехать
• Профессиональный рост (у нас есть внутреннее обучение, возможность посещать конференции и митапы, мы спонсируем))
• P.S.: А если ты совсем не хочешь посещать офис, то удалённый формат работы у нас тоже есть)