Разработчик Hadoop

Лига цифровой экономики ищет разработчика Hadoop на проект по оптимизации существующих функционалов единого информационного хранилища.

      Мы ждем от тебя:

• Отличное знание SQL и HQL (агрегирующие функции, оконные функции, оптимизация запросов);
• Понимание принципов работы реляционных СУБД и HDFS;
• Опыт работы с Hadoop и Hive от 1,5 лет;
• Знание архитектуры HDFS (партиционирование данных, форматы файлов, особенности хранение и т.д.);
• Знание Scala;
• Опыт работы с Apache Airflow;
• Умение работать с Git;
• Опыт работы с PostgreSQL или любой другой промышленной СУБД;
• Знание Python (на уровне написания сложных dag-ов в Apache Airflow);
• Опыт работы с детальными слоями хранилищ данных;
• Опыт внедрения промышленного функционала.

Плюсом будет:

• Опыт работы с Apache Kafka (Batch, Streaming).
   
  Твои задачи:
• Анализ текущей реализации;
• Разработка/актуализация архитектуры совместно с архитектором и аналитиком;
• Формирование комплекта проектной документации (Release Info, Admin Guide, Release Notes и пр.);
• Разработка ETL-процессов на Spark и Scala;
• Написание функционала взаимодействия с Kafka и Kubernates;
• Проведение тестирования разработанного функционала совместно с аналитиком.

Лига предлагает тебе: 

• Трудоустройство в соответствии с требованиями законодательства;
• Развитая система внутренних тренингов и возможность обучаться на внешних курсах;
• Гибкий график работы;
• Рост и развитие в команде профессионалов;
• ДМС со стоматологией, скидки на фитнес 50%, оплачиваемая мобильная; связь, скидки на изучение английского языка и многое другое.