Data Engineer
Требования
Местоположение и тип занятости
Компания
Описание вакансии
Условия работы
Будем рады принять в команду направления коллегу для участия в проектах по теме:
Внедрение платформ для управления данными, комплексной обработки данных и создания интеллектуальных сценариев на основе машинного обучения.
Ключевая функция: сбор, перемещение и хранение, подготовка данных.
Задачи, которые будут находится в зоне Вашей ответственности:
- изучение текущей архитектуры систем заказчика и обмен данными со смежными системами;
- подключение источников данных с использованием готовой библиотеки коннекторов SAP data intelligence к источникам, формирование pipeline для обработки данных;
- подготовка данных для последующего использования коллегами Data Scientist;
- участие в развитии проекта и подключении новых источников;
- обучение и консультации сотрудников заказчика.
Первый проект, в котором мы будем совместно работать:
Применение машинного обучения для обработки банковских операций. Внедрение продукта SAP data intelligence.
О чем проект
- Поток банковских операций необходимо разделять на типовые и необычные операции (операции при анализе которых срабатывают правила контроля).
- С помощью ML производится дополнительная проверка операций и формируются рекомендации для сотрудников, отрабатывающих проверку необычных операций.
- Задача – максимально перевести работу с потоком в автоматический режим, оставив на отработку в ручном режиме экспертов наиболее сложные случаи.
Будет большим плюсом, если Вы вместе с командой проекта сможете подключаться к более широкому кругу задач:
- участвовать в организации оптимального взаимодействия систем и сред в проекте (продуктовая, разработчиские).
- описать и задокументировать правила работы в средах с SAP data intelligence.
Навыки
- Kubernetes (понимание)
- Docker (уверенно)
- Kafka
- Python (уверенно)
- Jira
- Confluence
- Grafana
- CI/CD - Git Hub, принципы DevOps
Будут плюсом
- Nexus
- Elasticsearch+Logstash+Kibana
Особенности проекта
- Необходимо изучение инструмента SAP data intelligence.
- Уверенное знание английского - вся документация по SAP DI на английском языке.
Роль SAP data intelligence
Продукт выступает в роли дирижёра – по работе с:
- источниками данных (сбор, очистка, систематизация);
- моделями (создание, обучение, продуктивизация).
Решение для оркестрации и управления данными работает на Kubernetes.
Подробнее о SAP DI https://sapmybiz.ru/sap-data-intelligence/
По ссылке ниже собраны ссылки на ознакомительные материалы, для формирования более детального представления о продукте вендора https://drive.google.com/drive/folders/1qxCx5q6LhWm9BHgEzsuhvnHUqPmvtMkV
Мы максимально открыты к совместному развитию и сотрудничеству! Если какие-то из перечисленных компетенций не являются Вашей сильной стороной, откликаться стоит. Если Вы участвовали в подобных проектах или Ваши компетенции шире и глубже задач проекта, мы так же будем рады Вашему отклику!