Data Engineer

#вакансия #удаленка #фултайм #инженерданных

• Инженер данных

Подчинение Начальнику отдела анализа данных (Департамент проектных практик).

• Локация: Москва , https://www.ugmk.com/

• Формат: удаленка 

• ЗП вилка: 230к gross

• контакты: @dianna_91

Обязанности:

• Создание процессов обработки данных.

• Определение необходимых инструментов автоматизированной обработки данных в рамках технологического стека, используемого в Компании.

• Описание источников и приемников данных (логические и физические модели данных).

• Описание процессов обработки данных.

• Реализация процессов автоматизированной поддержи и мониторинга разработанных процессов обработки данных.

• Определение и разработка схемы подключения источников и приемников к корпоративной платформе управления данными.

• Реализация и документирование интеграционного взаимодействия между информационными системами (в т.ч. разработка ETL/ELT процессов).

• Обеспечение требований безопасности в реализуемых процессах обработки и хранения данных.

• Обеспечение требований логирования и мониторинга в реализуемых процессах обработки данных.

• Определение требований по качеству данных.

• Самостоятельное извлечение и загрузка данных в различные источники данных.

• Написание manual и automated DQ тестов.

• Определение консистентности данных.

Обязательные навыки:

• Высшее образование.

• Опыт разработки процессов обработки данных, использование ETL инструментов для извлечения и загрузки данных, умение работать с хранилищами данных (реляционными и нереляционными) от 1 года.

• Опыт участия в интеграционных проектах.

• Опыт подготовки и обработки данных (в т.ч. manual и automated DQ тесты) для последующего использования человеком и машиной.

• Владение SQL и алгоритмическими языками: Python (обязательно), Javа или Scala (опционально).

• Опыт работы с реляционными и NoSql базами данных PostgreSql, Teradata, MongoDB, MsSql, MySQL, Oracle.

• Опыт работы с инструментами BI, такими как Tableau, Power BI, Looker, Shiny.

• Знания технологий Hadoop, Spark, H20.ai, Cloud AI platforms, контейнеризации.

• Опыт использования git и docker.

• Опыт работы с командной строкой linux, зание bash и POSIX-команд.

• Опыт работы с системами управления конфигурацией: Ansible, Chef (желательно).

• Опыт разработки технической документации.

• Опыт использования schedulers and workflow-management systems: Oozie, Airflow (желательно).

• Опыт работы с очередями сообщений – Rabbitmq, Kafka.

• Умение работы с большим объемом информации.

• Ориентация на результат, опыт внедрения изменений / продуктов.

• Английский язык (желательно)

• Интересные задачи, возможности профессионального роста в проектах цифровизации промышленности.

• Плоская структура компании, участие в принятии решений.

• Широкая линейка решений.

• Оформление по ТК РФ.

• Оплачиваемый полис ДМС (включая стоматологию) после 3 месяцев работы в компании.

• Комбинированный формат работы (офис / дом), офис в 5 минутах от м. Шаболовская. Возможна полная удаленка.