Data Engineer

Будем рады принять в команду направления коллегу для участия в проектах по теме:

Внедрение платформ для управления данными, комплексной обработки данных и создания интеллектуальных сценариев на основе машинного обучения.

Ключевая функция: сбор, перемещение и хранение, подготовка данных.

Задачи, которые будут находится в зоне Вашей ответственности:

• изучение текущей архитектуры систем заказчика и обмен данными со смежными системами;
• подключение источников данных с использованием готовой библиотеки коннекторов SAP data intelligence к источникам, формирование pipeline для обработки данных;
• подготовка данных для последующего использования коллегами Data Scientist;
• участие в развитии проекта и подключении новых источников;
• обучение и консультации сотрудников заказчика.

Первый проект, в котором мы будем совместно работать:

Применение машинного обучения для обработки банковских операций. Внедрение продукта SAP data intelligence.

О чем проект

• Поток банковских операций необходимо разделять на типовые и необычные операции (операции при анализе которых срабатывают правила контроля).
• С помощью ML производится дополнительная проверка операций и формируются рекомендации для сотрудников, отрабатывающих проверку необычных операций.
• Задача – максимально перевести работу с потоком в автоматический режим, оставив на отработку в ручном режиме экспертов наиболее сложные случаи.

Будет большим плюсом, если Вы вместе с командой проекта сможете подключаться к более широкому кругу задач:

• участвовать в организации оптимального взаимодействия систем и сред в проекте (продуктовая, разработчиские).
• описать и задокументировать правила работы в средах с SAP data intelligence.

Навыки

• Kubernetes (понимание)
• Docker (уверенно)
• Kafka
• Python (уверенно)
• Jira
• Confluence
• Grafana
• CI/CD - Git Hub, принципы DevOps

Будут плюсом

• Nexus
• Elasticsearch+Logstash+Kibana

Особенности проекта

• Необходимо изучение инструмента SAP data intelligence.
• Уверенное знание английского - вся документация по SAP DI на английском языке.

Роль SAP data intelligence

Продукт выступает в роли дирижёра – по работе с:

• источниками данных (сбор, очистка, систематизация);
• моделями (создание, обучение, продуктивизация).

Решение для оркестрации и управления данными работает на Kubernetes.

Подробнее о SAP DI https://sapmybiz.ru/sap-data-intelligence/

По ссылке ниже собраны ссылки на ознакомительные материалы, для формирования более детального представления о продукте вендора https://drive.google.com/drive/folders/1qxCx5q6LhWm9BHgEzsuhvnHUqPmvtMkV

Мы максимально открыты к совместному развитию и сотрудничеству! Если какие-то из перечисленных компетенций не являются Вашей сильной стороной, откликаться стоит. Если Вы участвовали в подобных проектах или Ваши компетенции шире и глубже задач проекта, мы так же будем рады Вашему отклику!