Middle Data engineer

Мы ищем в команду инженера по работе с данными, который поможет нам внедрять модели искусственного интеллекта в банковские продукты и процессы. Сейчас мы строим хранилище данных на Hadoop, запускаем модели на основе больших данных, применяем NER при анализе документов

Чем предстоит заниматься

• Проектирование хранилища данных
• Проектирование и реализация data-pipelines
• Написание функций и хранимых процедур для преобразования и агрегации данных
• Управление качеством данных
• Вывод DS-моделей в промышленную эксплуатацию в различные системы Банка
• Обеспечение мониторинга качества работы моделей

Навыки и опыт работы

• Опыт работы по направлению работы с данными от 2 лет
• Хорошее знание SQL: индексы и их применение, написание хранимых процедур, создание витрин, опыт оптимизации запросов
• Python, знание стандартных структур данных
• Понимание стека Hadoop (как минимум хорошее знание архитектуры стека)
• GIT, Bash
• Понимание принципов организации DWH
• Понимание процессов ETL, ELT

Как преимущество

• Знание Spark, PySpark, особенности написания кода для стека Hadoop
• Понимание особенностей программирования в распределённых системах
• Опыт работы с OpenShift
• Опыт работы с Greenplum
• Знание Scala на уровне, достаточном для написания витрин данных

Мы предлагаем

• Современный Agile-офис, Кутузовский 32: парковка, спортзал, зоны отдыха, приятная атмосфера
• ДМС с первого дня
• Крупнейшее DS&AI community - более 600 DS банка
• Регулярный обмен знаниями, опытом и лучшими практиками
• Возможность переиспользования кода и библиотек из централизованного репозитория
• Интерактивные лекции и мастер-классы от ведущих ВУЗов и экспертов технологических компаний
• Дайджест о самых последних разработках в области DS&AI и отчеты с крупнейших конференций мира
• Регулярные внутренние митапы