Data Engineer
Зарплата
Требования
Местоположение и тип занятости
Компания
Описание вакансии
Условия работы
#вакансия #удаленка #фултайм #инженерданных
• Инженер данных
Подчинение Начальнику отдела анализа данных (Департамент проектных практик).
• Локация: Москва , https://www.ugmk.com/
• Формат: удаленка
• ЗП вилка: 230к gross
Обязанности:
• Создание процессов обработки данных.
• Определение необходимых инструментов автоматизированной обработки данных в рамках технологического стека, используемого в Компании.
• Описание источников и приемников данных (логические и физические модели данных).
• Описание процессов обработки данных.
• Реализация процессов автоматизированной поддержи и мониторинга разработанных процессов обработки данных.
• Определение и разработка схемы подключения источников и приемников к корпоративной платформе управления данными.
• Реализация и документирование интеграционного взаимодействия между информационными системами (в т.ч. разработка ETL/ELT процессов).
• Обеспечение требований безопасности в реализуемых процессах обработки и хранения данных.
• Обеспечение требований логирования и мониторинга в реализуемых процессах обработки данных.
• Определение требований по качеству данных.
• Самостоятельное извлечение и загрузка данных в различные источники данных.
• Написание manual и automated DQ тестов.
• Определение консистентности данных.
Обязательные навыки:
• Высшее образование.
• Опыт разработки процессов обработки данных, использование ETL инструментов для извлечения и загрузки данных, умение работать с хранилищами данных (реляционными и нереляционными) от 1 года.
• Опыт участия в интеграционных проектах.
• Опыт подготовки и обработки данных (в т.ч. manual и automated DQ тесты) для последующего использования человеком и машиной.
• Владение SQL и алгоритмическими языками: Python (обязательно), Javа или Scala (опционально).
• Опыт работы с реляционными и NoSql базами данных PostgreSql, Teradata, MongoDB, MsSql, MySQL, Oracle.
• Опыт работы с инструментами BI, такими как Tableau, Power BI, Looker, Shiny.
• Знания технологий Hadoop, Spark, H20.ai, Cloud AI platforms, контейнеризации.
• Опыт использования git и docker.
• Опыт работы с командной строкой linux, зание bash и POSIX-команд.
• Опыт работы с системами управления конфигурацией: Ansible, Chef (желательно).
• Опыт разработки технической документации.
• Опыт использования schedulers and workflow-management systems: Oozie, Airflow (желательно).
• Опыт работы с очередями сообщений – Rabbitmq, Kafka.
• Умение работы с большим объемом информации.
• Ориентация на результат, опыт внедрения изменений / продуктов.
• Английский язык (желательно).
Условия:
• Интересные задачи, возможности профессионального роста в проектах цифровизации промышленности.
• Плоская структура компании, участие в принятии решений.
• Широкая линейка решений.
• Оформление по ТК РФ.
• Оплачиваемый полис ДМС (включая стоматологию) после 3 месяцев работы в компании.
• Комбинированный формат работы (офис / дом), офис в 5 минутах от м. Шаболовская. Возможна полная удаленка.