Data Engineer

Обязанности:

• Подготовка данных и разработка агрегатов, необходимых для проектов офиса аналитики больших данных. Создание прототипов объектов (структур, витрин) внутри слоев DDS/BDS хранилища EDW (Teradata), и внутри стека Hadoop (HDFS, Hbase).
• Организация пайплайнов (процессов) обработки данных для Data Scientists. Разработка и внедрение шаблонов цепочки обработки данных: предоставление инструментов, инструкций, схем и пр.
• Подключение новых источников данных из внешних и внутренних систем с целью быстрого прототипирования и оценки полезности данных для задач BDO. Участие в подготовке технической документации (ТЗ) на разработку постоянных потоков данных.
• Постановка разработанных математических моделей на регулярный расчет. Имплементация решений, обеспечивающих лучшую скорость внедрения, максимальную производительность и безотказность работы – перенос созданных Data Scientists ML моделей (скрипты R, Python, Spark и др) в продуктивную среду – разработка на инструментах Teradata, Apache Hadoop (Java, Scala) и Kubernetes и других фреймворках. Цель – создать «Фабрику скоринга» Построение системы контроля качества моделей (сигнализация о полноте, необходимости обновления) и автоматизации их обновления.
• Разработка конечных продуктов для заказчиков (приложений, интерфейсов) которые позволят использовать разработанные алгоритмы.
• Внедрение и тестирование новых инструментов обработки и анализа данных (библиотек машинного обучения, фреймворков Hadoop и пр) в рамках задачи повышения эффективности работы Data Scientists.

Условия:

• Интересная работа в быстроразвивающейся компании
• Уникальная система обучения для каждого сотрудника на основе индивидуальных планов развития
• Зеленый свет для новых идей и предложений: мы часто делаем то, на что другие не отваживаются
• Возможности профессионального и карьерного роста
• Индексируемая заработная плата, годовые бонусы
• Полное соответствие ТК РФ
• Расширенная медицинская страховка в России и за пределами страны
• Компенсация затрат на мобильную связь
• Дополнительные материальные выплаты (пособия при рождении ребенка, вступлении в брак и т.п.)
• Компенсация занятий спортом через год работы