⚡️ Зовем бизнес-аналитиков на Публичное собеседование на Хабр Карьере. Для участия нужно → оставить заявку

Data Engineer в Лабораторию СберИндекс Сбера

Местоположение и тип занятости

МоскваПолный рабочий день

Компания

Крупнейшая цифровая платформа. Технобренд, объединяющий лучшие мировые практики и самый современный стек

Описание вакансии

О компании и команде

Сбериндекс - это команда Сбера, которая работает над задачами population inference на основе транзакционных данных и данных из платежных систем банка. Команда состоит из исследователей и дата-инженеров с экспертизой источников данных (выпускники РЭШ, РЭШ/ШАД, МФТИ, ВМК МГУ). Мы активно занимаемся подготовкой высокогранулярных данных и аналитикой с актуальными инсайтами о жизни людей, предприятий и территорий в стране. Поэтому сейчас ищем Senior / middle data engineer для технической поддержки исследований, подготовки данных, проектирования и выстраивания системы контроля качества данных.

Что мы можем предложить?

  • Уникальный проект, ориентированный на амбициозную стратегию - подготовка детальных датасетов на основе больших данных, генерируемых платежными системами, для оценки актуальных социально-экономических проблем;
  • Работа с данными различной природы, из различных источников, возможность познакомиться с тем, как устроены различные стороны бизнеса банка и технологической компании;
  • Результаты вашей работы будут иметь реальное влияние на стратегии бизнеса, возможности улучшать условия жизни людей. Постоянный контакт и обратная связь от руководства.

Ожидания от кандидата

Требования

    • Опыт работы в качестве Data Engineer / ML Engineer / ETL Developer, в том числе, по разработке витрин данных, опыт работы с big data стеком - PySpark, Hadoop (Hive / Oozie), Kafka, GreenPlum;
    • Продвинутые знания SQL - аналитические функции, подзапросы, хранимые процедуры, оптимизация запросов;
    • Понимание понятий и концепций проектирования DWH;
    • Понимание MapReduce и параллелизма в Python;
    • Знание Linux, Git, Grafana.

    Обязанности

    • Анализ данных в различных системах для исследований (структура, полнота, логика), проектирование и разработка витрин данных (Spark, Hadoop, Kafka, GreenPlum, PostgreSQL);
    • Написание приложений на PySpark для выгрузки и трансформации данных в ETL/ELT-процессах;
    • Настройка и поддержка системы контроля качества загружаемых данных - архитектура, поиск аномалий, технические и специфические проверки, хранение метаданных, разработка оповещений по инцидентам, разбор инцидентов;
    • Техническая поддержка исследователей, включая оптимизацию запросов (SQL, Spark), повышение эффективности вычислений и хранения;
    • Работа над техническим развитием проектов и команды - базы знаний, code review, трекинг задач, написание документации, развитие компетенций.

    Условия работы

    • Уникальные масштабные проекты;
    • Достойная заработная плата (оклад + годовая премия);
    • Современные рабочие места и программное обеспечение;
    • ДМС с первого рабочего дня, корпоративная пенсионная программа, страхование от несчастных случаев, социальные гарантии, корпоративные мероприятия;
    • Дружный и высококвалифицированный коллектив;
    • Комфортный офис Sbergile Home с опенспейсами, лаунж зонами, кафе, рестораном и оборудованными кухнями;
    • Современный спортзал;
    • Возможность обучаться за счет компании, посещать конференции по профессиональной тематике.