Data Engineer

ЧЕМ ВАМ ПРЕДСТОИТ ЗАНИМАТЬСЯ:

• Разработка и поддержка промышленных Pipeline обработки данных и машинного обучения на Python с использованием популярных фреймворков (Airflow , Prefect, MLFlow и т.д.), а также собственных разработок;
• Подготовка данных для моделей машинного обучения и участие в их продукционализации совместно с data science командой;
• Развивать и улучшать существующие продукты и сервисы;
• Поддерживать data scientist’ов и аналитиков данных в задачах разработки;
• Участвовать в развитии инфраструктурных решений для работы с аналитической платформой данных;
• Работа со стеком : Python, Airflow, Nifi, Minio S3, Postgresql, Oracle, MS SQL Server

ЭТА ВАКАНСИЯ ДЛЯ ВАС, ЕСЛИ У ВАС ЕСТЬ:

• Опыт работы с одной из СУБД на уровне разработчика: Oracle, Postgresql, MS SQL Server.
• Глубокие знания Python, SQL.
• Опыт моделирования объектов (отношений, связей) в СУБД. Умение работать с ER-диаграммами.
• Навыки анализа данных с целью определения их типов, наличия пустых значений, наличия некорректных, нетипичных значений. Построения профиля данных (Data Profiling) в источнике с целью их дальнейшего использования.
• Опыт работы или понимание принципов работы ETL-инструментов (Airflow, Nifi, IBM DataStage, Informatica, Pentano ETL, Talend ETL, и др).
• Знание основных файловых форматов данных, их преимущество и недостатков (csv, json, xml)

БУДЕТ ПЛЮСОМ:

• Опыт работы с Data Science (построение прогнозных моделей, классификаторов, etc).
• Опыт работы с QlikSense
• Будет плюсом общее понимание протоколов взаимодействия информационных систем (REST, SOAP, HTTP, бинарные протокол СУБД и т.д.).

ЧЕМ ВАМ ПРЕДСТОИТ ЗАНИМАТЬСЯ:

• Разработка и поддержка промышленных Pipeline обработки данных и машинного обучения на Python с использованием популярных фреймворков (Airflow , Prefect, MLFlow и т.д.), а также собственных разработок;
• Подготовка данных для моделей машинного обучения и участие в их продукционализации совместно с data science командой;
• Развивать и улучшать существующие продукты и сервисы;
• Поддерживать data scientist’ов и аналитиков данных в задачах разработки;
• Участвовать в развитии инфраструктурных решений для работы с аналитической платформой данных;
• Работа со стеком : Python, Airflow, Nifi, Minio S3, Postgresql, Oracle, MS SQL Server