Разработчик DWH/ETL

Bell Integrator – один из ведущих системных интеграторов страны.

Мы аккредитованная ИТ-компания и являемся частью большой семьи ГК Softline.

Bell Integrator активно реализует проекты по всей России, среди наших заказчиков – крупнейшие системообразующие финансовые, телеком и ритейл компании страны.

Проект: В рамках одного из наших направлений мы участвуем в команде Банка, где развиваем внутренний продукт – Корпоративное хранилище данных на платформах Hadoop и Greenplum.

Данные используются аналитиками Банка для построения управленческой отчетности, моделирования, data science, обеспечения данными различных автоматизированных процессов. Используются данные как внутренних систем банка, так и внешних источников (Единый государственный реестр ЮЛ/ИП, база арбитражных дел, портал госзакупок и т.д.).

Используемые инструменты:

• для накопления и параллельной обработки больших объемов данных – Teradata, Hadoop, Greenplum
• для управления потоками ETL – Informatica, Oozie, Airflow, Nifi, также используются скрипты на Bash
• для разработки ETL на Hadoop – Scala, Spark, Hive
• DevOps – Git, Jenkins, SonarQube

Требования:

• Высшее оконченное образование
• Опыт разработки от 2х лет
• Уверенное знание языка Scala или Java (8 или выше), в т.ч. коллекции, многопоточность и разделение доступа, лямбда выражения, паттерны и области их применения
• Навыки работы с одной из сред IDE, системой сборки, системой контроля версий (git)
• Знание SQL и JDBC
• Опыт работы с технической проектной документацией – Бизнес-требования, Технические спецификации на разработку, Архитектура, User guide, Admin guide
• Желание развиваться в этой профессиональной области, работать в команде, проявлять инициативу и предлагать решения

Желательно:

• Опыт работы со Scala и sbt, стеком технологий Hadoop (HDFS, Hive, Sqoop, Spark версии 2 и выше, spark SQL)
• Опыт работы с аналитическими хранилищами (DWH), знание теории баз данных
• Опыт работы с Unix системами, написание Shell скриптов;
• Опыт работы в agile, понимание принципов этой методологии и фреймворков Scrum, Kanban и т.д.

Обязанности:

• Разработка ETL потоков на платформе Hadoop (Scala + Spark SQL)
• Поиск возможностей оптимизации, повышение скорости расчета, эффективности использования вычислительных ресурсов
• Повышение стабильности работы приложений, анализ типовых ошибок и возможных рисков, развитие системы логирования, её полноты и информативности для последующей промышленной эксплуатации, при необходимости участие в решении возникающих при эксплуатации инцидентов
• Развитие системы контроля качества, автотестов

Условия:

• Возможность профессионального и карьерного роста в компании, возможность поучаствовать в разных проектах;
• Опыт работы в распределенной команде профессионалов;
• Уровень заработной платы обсуждается индивидуально;
• Возможность работать в комфортном офисе Москвы совместно с командой профессионалов, также возможен гибрид 1-2р/нед. офис.