Data Engineer

1 ноября 2023

Требования

Аналитик по данным, Средний (Middle) • Apache Kafka • Python • SQL

Местоположение и тип занятости

• Полный рабочий день • Можно удаленно

Компания

IBS

Ключевой технологический партнер лидеров российского бизнеса

Описание вакансии

О компании и команде

Мы создаём и развиваем платформу данных (Data Platform) с распределённой архитектурой в крупном международном финтехе, которая предоставляет пользователям инфраструктуру, данные и экспертизу как единый сервис и обеспечивает непрерывную поставку ценностей для поддержки процессов принятия решений на основе данных.
В основе построения платформы данных заложен продуктовый подход (развитие функциональности от потребностей пользователей), который распространяется на платформу и сами данные.
Предполагается работа в сервисной команде, которая отвечает за интеграцию и доставку данных из продуктовой среды в контур платформы данных, разработку интеграционных сервисов/процессов, а также компонентов и утилит для автоматизации процессов и поддержки работы пользователей платформы.

Ваши задачи:

Разрабатывать и сопровождать разработку потоков данных из корпоративных систем в контуре платформы данных.
Взаимодействовать с коллегами DevOps/DBA по настройке окружений, деплоя, работы с инфраструктурой.
Разрабатывать DQ процессы, средства мониторинга и уведомлений о качестве данных.
Оперативно решать проблемы с качеством данных, задержками их доставки.
Взаимодействовать с архитектором данных, командой инфраструктуры, командой разработки продукта, командой DWH

Ожидания от кандидата

Продвинутый уровень владение Python от 1,5 лет
SQL, умение писать production ready сервисы для деплоя в k8s
Отличные навыки работы с Kafka и понимание внутреннего устройства
Опыт построения пайплайнов потоковой и пакетной выгрузки/обработки данных
Опыт оптимизации запросов и проектирования схем данных
Знание концепций OLTP/OLAP, знакомство с современными системами хранения данных (MPP, NoSQL)

Желательно:

Знание Java, Spark;
Опыт работы с AirFlow;
Понимание основ DataOps:
Опыт DevOps (Docker, k8s, Gitlab-CI, настройка окружения и др.);
Опыт работы с PostgreSQL/Clickhouse/Vertica;
Опыт проектирования высоконагруженных приложений;
Понимание архитектуры и принципов построения хранилищ данных;
Навыки работы с облачными платформами (у нас AWS и Yandex Cloud).

Условия работы

Сильная команда экспертов. Личный наставник, помогающий погрузиться в проект. Самый передовой стек технологий. Обеспечиваем техникой (ноутбук, второй экран, гарнитура). Корпоративная мобильная связь. Сертификация за счет компании. Ежегодная аттестация, по итогам которой формируется индивидуальный карьерный план развития. Развитая корпоративная культура: неформальные мероприятия, интеллектуальные игры, собственная Киберлига, возможность заниматься волонтерской деятельностью и благотворительностью, творческие вечера. Регулярное обучение, участие в профильных конференциях.

Дополнительные инструкции

Буду рада рассказать подробности в лс или тг @Anastasya_IBS

Смотреть ещё вакансии

Data Scientist

Data Scientist удаленно

Data Scientist на полный рабочий день удаленно

Data Scientist на полный рабочий день