Вообще все курсы Хекслета бесплатные! Но только до 15 декабря. Всё, что нужно → принять вызов

Middle Data Engineer

Местоположение и тип занятости

МоскваПолный рабочий деньМожно удаленно

Компания

Одна из крупнейших страховых компаний в России

Описание вакансии

О компании и команде

Наш технологический стек:
• Python – Основной язык
• Apache Hadoop (Cloudera) – data lake
• Mlflow – Версионирование моделей
• Airflow – Пайплайны обработки данных и применения моделей
• Pyspark – Подготовка датасетов для обучения

Чем предстоит заниматься:
1. Заниматься разработкой новых data-пайплайнов с использованием Pyspark, Airflow.
2. Готовить витрины данных, в том числе из сырых логов.
3. Разрабатывать API и сервисы по данным

Ожидания от кандидата

Мы ждем от кандидата:

1. Уверенный Python и хорошие базовые знания SQL (JOIN, подзапросы)
2. Базовые знания стека Hadoop (HDFS, YARN, Hive) и Pyspark
3. Понимание принципов построения data-пайплайнов (kappa И lambda - архитектуры)
4. Знакомство с Kafka и Airflow, понимание их роли в data-пайплайне
5. Знание базовых команд Linux-консоли, git
6. Интерес к технологиям больших данных и большое желание учиться

Будет плюсом:
1. Знакомство с системами контейнеризации и виртуализации Linux (Docker, Kubernetes)
2. Опыт разработки REST-сервисов на Python (Flask / FastAPI)

Условия работы

Мы предлагаем:

  • Работу в профессиональной команде, которая готова делиться знаниями и опытом;
  • Прозрачную систему грейдов , возможность внешнего обучения и прокачки твоих скиллов за счет Компании;
  • Заботу о сотрудниках: возможность прохождения медицинских chek-апов, безлимитные бесплатные консультации с финансовыми консультантами, юристами и психологом. В компании поддерживается и развивается культура ЗОЖ;
  • Отличный социальный пакет, включающий ДМС, скидки на страховые продукты компании, скидки от наших партнеров (туризм, фитнес и т.д.);
  • Обеспечение техникой для работы (предлагаются варианты на выбор, также можно предложить свой);
  • График работы возможен на полной удаленке (гибкое начало дня с 8 до 10);
  • Офис в 5 минутах от станции метро Шаболовская;
  • Корпоративные программы от партнеров компании – банки, автосалоны, фитнес, изучение иностранных языков;
  • Внутрикорпоративное и внешнее обучение.

Дополнительные инструкции

2 этапа собеседований без тестового задания