Data Engineer

В SberData мы создаем централизованное хранилище данных всего Сбера. Это более 350 источников данных и 100+ Пб информации, заказ и получение данных за 15 минут и современный технологический стек работы с данными, включая собственные сборки СУБД на базе Hadoop и Greenplum.

Наши решения отмечены международной премией Data Award в 2021 г., а лидеры, обладающие уникальными знаниями в разработке кода и современном технологическом стеке С, Scala, Java, Python, Hadoop, Teradata, Oracle и др., являются участниками организации-фонда Apache Foundation. Масштаб задач, объемы данных, сложности финансовых процессов — мы все время на передовой современных технологий, а где-то и создаем их.

Мы создаем платформу данных Экосистемы Сбера, которая позволит компаниям Экосистемы применять передовые «облачные» практики в своих процессах обработки данных и предлагаем вам погрузиться в самые инновационные и амбициозные проекты и задачи.

Обязанности:

• Развертывание, настройка и сопровождение Apache Airflow;
• Разработка и сопровождение ETL-процессов (DAG);
• Адаптация программных модулей Apache Airflow для требований заказчика;
• Участие в разработке архитектур с использованием Apache Airflow;
• Опыт работы с контейнерами и контейнеризированными приложениями;
• Формирование базы знаний по продукту.

• Профессиональное обучение, семинары, тренинги, конференции, корпоративная библиотека;
• ДМС, страхование жизни;
• Самые инновационные, амбициозные проекты и задачи;
• Свободный дресс-код;
• Гибкий график для оптимального баланса работы и личной жизни;
• Льготные кредиты и корпоративные скидки;
• Конкурентная компенсация (оклад и премии по результатам деятельности).

• Знание и опыт работы с Apache Airflow, понимание принципов работы;
• Опыт разработки на Python;
• Понимание принципов работы с большими данными;
• Понимание работы компонентов Apache Hadoop;
• Знание SQL;
• Опыт работы с популярными РСУБД;
• Знание основ администрирования Linux.

Плюсом будет:

• Знание средств автоматизации развертывания (Ansible, Puppet, etc.);
• Опыт работы с другими известными ETL-инструментами;
• Опыт разработки на других языка программирования;
• Опыт администрирования РСУБД.