Разработчик PySpark/Hadoop

ПРОЕКТ ПО РАЗВИТИЮ РИСК-АНАЛИТИКИ: Построение витрин на основе неструктурированных данных, ETL загрузка из различных источников данных, построение витрин банковской отчетности, разработка системы контроля качества загрузки данных.

ЧЕМ ТЫ БУДЕШЬ ЗАНИМАТЬСЯ:

• Разработка ETL процессов Sqoop;
• Разработка потоков обработки данных на PySpark;
• Создание пайплайнов в планировщике задач Oozie;
• Разработка систем контроля качества данных на Apache Griffin;
• Написание Bash скриптов;
• Обработка структурированных данных (XML/JSON) на Python/PySpark;
• Исправление багов и проблем функционала;
• Работа с системами контроля версий GIT/SVN.

ТЫ НАШ ИДЕАЛЬНЫЙ КАНДИДАТ, ЕСЛИ У ТЕБЯ:

• Знание SQL на отличном уровне;
• Опыт работы с инструментами обработки больших данных (Spark, MapReduce и др.)
• Уверенное владение Python;
• Опыт работы с любым ETL инструментом;
• Опыт работы с СУБД (Oracle, MS SQL, Sybase и др.);
• Опыт работы с Linux;
• Опыт работы с Hadoop;
• Опыт работы GIT/SVN.

У НАС ТЫ СМОЖЕШЬ НАЙТИ:

• Прозрачную системы карьерного развития в компании;
• Персонального наставника с первого дня работы;
• Возможность развития личной экспертизы и экспертизы компании;
• Собственную платформу внутренних и внешних образовательных программ;
• Возможность пройти сертификацию;
• Возможность участия в обучении, конференциях, митапах;
• Неповторимую корпоративную культуру компании.

Мы ищем кандидата без привязки к локации.

Офисы компании находятся в городах: МОСКВА, САНКТ-ПЕТЕРБУРГ, НИЖНИЙ НОВГОРОД, САРАТОВ, ВОРОНЕЖ, ПЕНЗА.