Разработчик Big Data

Задачи:

• Разработка процессов загрузки данных из различных источников (RDBMS, WebService, API)
• Доработка, поддержка и развитие решения на платформе Hadoop (spark/flink, kafka, hive)
• Разработка интеграционных решений для реализуемого решения
• Настройка сбора датасетов для публикации Data Science моделей
• Развитие платформы в концепции современного технологичного решения

Требования:

• Хорошее знание Python или Java, SQL, Bash
• Опыт работы с Java от 1 года (java core, multitreading, java memory management)
• Знание средств профилирования и отладки для JVM
• Опыт работы с SQL (на уровне запросов из нескольких таблиц с группировкой и подзапросами)
• Spring Framework (с boot и без)
• Опыт работы с системой контроля версий (лучше Git)
• Знание английского языка на уровне чтения технической документации.
• Умение работать с инструментами CI/CD (git, jenkins, artifactory)
• Разработка ETL на одном из инструментов (Airflow, Informatica, Talend, Pentaho, NiFi)
• Знание основных принципов разработки и построения хранилищ данных
• Знание стека Hadoop (Hive, Spark, HDFS, Kafka, Flink) и опыт работы с большими объемами данных приветствуется

Плюсом будет

• Опыт работы с MPP-системами (Teradata, GreenPlum,Vertica)
• Опыт работы с планировщиками задач (Airflow/Luigi/crontab)
• Опыт создания REST сервисов.

Условия:

• Официальное трудоустройство согласно Трудовому Кодексу
• «Белая» заработная плата (оклад + квартальные премии)
• Выплаты материальной помощи в особых/чрезвычайных ситуациях
• Льготное кредитование
• Наличие корпоративных спортивных команд: футбол, волейбол, хоккей, баскетбол, настольный теннис, бег
• Добровольное медицинское страхование со стоматологией
• Дисконт-программы от компаний партнеров (фитнес, страхование, туризм и т.д.)
• Обучение в корпоративной бизнес-академии
• "Релокационный пакет" (компенсация затрат на переезд и съем жилья первые три месяца)
• Расположение офиса: м. Китай-город
• График 5\2 с 9-18, пятница – сокращенный рабочий день