Ассистент курса - Data Engineer

Чем предстоит заниматься:

• Создание сервисов для генерации больших данных;
• Настройка Kafka;
• Помощь студентам в настройке кластера Hadoop в рамках курса;
• Помощь студентам в настройке обработки и поставки больших данных в различные хранилища (Hive, Hbase);
• Помощь студентам в создании инфраструктуры и внутренних сервисов для обработки больших объемов данных.

Надо знать:

• Решения и Open Source фреймворки Big Data:
  • Hadoop;
  • MapReduce;
  • Spark;
  • Kafka;
  • Hive;
  • Базовые знания SQL, python/java/kotlin;
    
  • Базовые знания bash и Linux;
  • Будет плюсом: Ansible.
  • Не обязательно: Hbase.

Опыт:

• Опыт настройки кластера Hadoop с нуля;
• Опыт работы с системами контроля версий;
• Опыт настройки виртуальных серверов.

Занятость: частичная (около 8 часов в неделю)
Локация: дистанционно. Очная часть (занятия) — в г. Жуковский