Data Engineer

Местоположение и тип занятости

Москва

Компания

Одна из крупнейших страховых компаний в России

Описание вакансии

Условия работы

СГ«АльфаСтрахование», компания №1 в сфере машинного обучения и Big Data на рынке страхования, ищет Data Engineer'a в команду Машинного обучения и работы с данными.

Команда занимается задачами в области больших данных: обогащением данных профиля клиента, извлечением ценной информации из имеющихся данных в различных аспектах бизнеса, начиная от формирования наиболее оптимального приложения для клиента и заканчивая защитой бизнеса от мошенников с применением моделей машинного обучения.

Является ответственной за Hadoop-стек в компании, строит современный Feature Store и развивает платформу машинного обучения, совершенствует текущую систему хранения и управления данными.

Наш текущий стек: Python, Hadoop, Hive, Pyspark + Airflow, Feast, Kafka, NiFi, Gitlab, Jira/Confluence, Docker, Grafana, командная коммуникация - Slack;

Кандидату, успешно прошедшему собеседование, предстоит:

  • Заниматься разработкой новых data-пайплайнов с использованием Pyspark, Airflow.
  • Оптимизировать и автоматизировать существующие data-пайплайны и ETL-процессы.
  • Готовить витрины данных, в том числе из сырых логов.
  • Разрабатывать сервисы для данных и моделей машинного обучения.
  • Помогать Data Scientists в подготовке фичей для моделей машинного обучения.
  • Обеспечивать качество и непрерывность поставки данных

Критерии успеха:

  • Высшее техническое образование
  • Продвинутые знания стека Hadoop (HDFS, YARN, Spark, Hive) со стороны инженера данных / разработчика;
  • Навыки разработки под Spark на одном из языков (Java, Scala, Python); Опыт коммерческого использования Airflow;
  • Умение пользоваться Jira, Confluence, Gitlab;
  • Уметь собрать docker(желательно);
  • Хорошие навыки работы в Linux.
  • Опыт работы с очередями сообщений (например, с Kafka);
  • Опыт работы с Apache Nifi или Streamsets


Мы предлагаем:

  • Работу в профессиональной команде, которая готова делиться знаниями и опытом;
  • Прозрачную систему грейдов , возможность внешнего обучения и прокачки твоих скиллов за счет Компании;
  • Заботу о сотрудниках: возможность прохождения медицинских chek-апов, безлимитные бесплатные консультации с финансовыми консультантами, юристами и психологом. В компании поддерживается и развивается культура ЗОЖ;
  • Отличный социальный пакет, включающий ДМС, скидки на страховые продукты компании, скидки от наших партнеров (туризм, фитнес и т.д.);
  • Обеспечение техникой для работы (предлагаются варианты на выбор, также можно предложить свой);
  • График работы гибридный  5\2 (гибкое начало дня с 8 до 10);
  • Внутрикорпоративное и внешнее обучение.
  • Офис в 3 минутах от станции метро Шаболовская 

Смотреть ещё вакансии