Data Engineer

В SberData мы создаем централизованное хранилище данных всего Сбера. Это более 350 источников данных и 100+ Пб информации, заказ и получение данных за 15 минут и современный технологический стек работы с данными, включая собственные сборки СУБД на базе Hadoop и Greenplum.

Наши решения отмечены международной премией Data Award в 2021 г., а лидеры, обладающие уникальными знаниями в разработке кода и современном технологическом стеке С, Scala, Java, Python, Hadoop, Teradata, Oracle и др., являются участниками организации-фонда Apache Foundation. Масштаб задач, объемы данных, сложности финансовых процессов — мы все время на передовой современных технологий, а где-то и создаем их.

Мы создаем платформу данных Экосистемы Сбера, которая позволит компаниям Экосистемы применять передовые «облачные» практики в своих процессах обработки данных и предлагаем вам погрузиться в самые инновационные и амбициозные проекты и задачи.

Обязанности:

• Развертывание, настройка и администрирование Apache Airflow для пилотов и других проектов;
• Техническая поддержка пользователей;
• Создание собственных расширений Apache Airflow (DAGs) по требованиям проектов;
• Участие в разработке solution архитектур с применением Airflow;
• Участие в автоматизации развертывания и интеграции Apache Airflow в Облаке;
• Проведение презентаций и обучения по Apache Airflow, создание обучающих курсов.

Требования:

• Знание и опыт работы с Apache Airflow, включая развертывание, настройку и интеграцию в enterprise среде;
• Опыт промышленной разработки на python;
• Background в Big Data;
• Знание экосистемы Apache Hadoop на уровне пользователя;
• Понимание основ облачных технологий и технологий виртуализации и контейнеризации;
• Знание SQL;
• Опыт работы с популярными РСУБД (pgsql, mysql/mariadb, желательно Oracle), включая развертывание и настройку;
• Знание основ администрирования ОС Linux;
• Понимание основ TCP/IP и сетевых протоколов.

Плюсом будет:

• Практический опыт с автоматизацией развертывания ПО;
• Знание средств автоматизации развертывания (Ansible, Puppet, etc.);
• Опыт администрирования РСУБД .

Условия:

• Профессиональное обучение, семинары, тренинги, конференции, корпоративная библиотека;
• ДМС, страхование жизни;
• Самые инновационные, амбициозные проекты и задачи;
• Свободный дресс-код;
• Гибкий график для оптимального баланса работы и личной жизни;
• Льготные кредиты и корпоративные скидки;
• Конкурентная компенсация (оклад и премии по результатам деятельности).