Data Engineer
Требования
Местоположение и тип занятости
Компания
Описание вакансии
Условия работы
СГ«АльфаСтрахование», компания №1 в сфере машинного обучения и Big Data на рынке страхования, ищет Data Engineer'a в команду Машинного обучения и работы с данными.
Команда занимается задачами в области больших данных: обогащением данных профиля клиента, извлечением ценной информации из имеющихся данных в различных аспектах бизнеса, начиная от формирования наиболее оптимального приложения для клиента и заканчивая защитой бизнеса от мошенников с применением моделей машинного обучения.
Является ответственной за Hadoop-стек в компании, строит современный Feature Store и развивает платформу машинного обучения, совершенствует текущую систему хранения и управления данными.
Наш текущий стек: Python, Hadoop, Hive, Pyspark + Airflow, Feast, Kafka, NiFi, Gitlab, Jira/Confluence, Docker, Grafana, командная коммуникация - Slack;
Кандидату, успешно прошедшему собеседование, предстоит:
- Заниматься разработкой новых data-пайплайнов с использованием Pyspark, Airflow.
- Оптимизировать и автоматизировать существующие data-пайплайны и ETL-процессы.
- Готовить витрины данных, в том числе из сырых логов.
- Разрабатывать сервисы для данных и моделей машинного обучения.
- Помогать Data Scientists в подготовке фичей для моделей машинного обучения.
- Обеспечивать качество и непрерывность поставки данных
Критерии успеха:
- Высшее техническое образование
- Продвинутые знания стека Hadoop (HDFS, YARN, Spark, Hive) со стороны инженера данных / разработчика;
- Навыки разработки под Spark на одном из языков (Java, Scala, Python); Опыт коммерческого использования Airflow;
- Умение пользоваться Jira, Confluence, Gitlab;
- Уметь собрать docker(желательно);
- Хорошие навыки работы в Linux.
- Опыт работы с очередями сообщений (например, с Kafka);
- Опыт работы с Apache Nifi или Streamsets
Мы предлагаем:
- Работу в профессиональной команде, которая готова делиться знаниями и опытом;
- Прозрачную систему грейдов , возможность внешнего обучения и прокачки твоих скиллов за счет Компании;
- Заботу о сотрудниках: возможность прохождения медицинских chek-апов, безлимитные бесплатные консультации с финансовыми консультантами, юристами и психологом. В компании поддерживается и развивается культура ЗОЖ;
- Отличный социальный пакет, включающий ДМС, скидки на страховые продукты компании, скидки от наших партнеров (туризм, фитнес и т.д.);
- Обеспечение техникой для работы (предлагаются варианты на выбор, также можно предложить свой);
- График работы гибридный 5\2 (гибкое начало дня с 8 до 10);
- Внутрикорпоративное и внешнее обучение.
- Офис в 3 минутах от станции метро Шаболовская