Data Engineer

Зарплата

до 400 000 ₽

Местоположение и тип занятости

МоскваПолный рабочий деньМожно удаленно

Компания

Разработка ПО, анализ данных и машинное обучение

Описание вакансии

О компании и команде

Мы в Rubbles создаем решения на базе анализа данных и искусственного интеллекта для оптимизации технологических и бизнес-процессов такие как: системы предсказания спроса на товары в ритейле, рекомендательные системы в банках, цифровые двойники, cистемы поддержки принятия решений на производстве и многое другое. Алгоритмы Rubbles ежедневно улучшают работу крупнейших банков, ритейл-сетей, нефтегазовых компаний и других предприятий.

Мы ищем data engineer'ов разного уровня для усиления нашего направления, которое занимается разработкой систем прогнозирования спроса на товары, ценообразования, автоматического подбора оптимальных промо-акций и др.
Работа в этом направлении дает возможность поучаствовать в очень крупных проектах с крупнейшими ритейлерами страны, где решаются задачи, имеющие реальный эффект на повседневную жизнь людей, и где ввиду большого количества данных и вводных всегда есть большой диапазон для творчества и идей.

Ожидания от кандидата

Задачи:

  • Помощь коллегам DS в оптимизации их работающих пайплайнов. Проактивность с предложениями оптимизации;
  • Взаимодействие с коллегами DevOps по настройке окружений, деплоя кода, работы с инфраструктурой компании;
  • Настройка и поддержка стэндов с которых запускаются задания;
  • Общение с коллегами DQ, выяснение деталей наполнения данных, участие в составлении БТ к данным;
  • Написание ETL пайплайнов;
  • Решение неожиданных проблем с данными, задержками их доставки;
  • Настройка мониторинга разнообразных процессов;

Минимальные требования:

  • Уверенные знания Python 3.7 + Spark 2.4 / Spark 3.0 (структуры данных, алгоритмы, концепции языка);
  • Уверенные знания SQL: агрегации, джойны, вложенные запросы, индексы, оптимизации запросов;
  • Глубокие теоретические знания стека технологий и практический опыт (Spark, Hadoop, Hive);
  • Linux;
  • Опыт проектирование БД, понимание концепций OLAP и OLTP;
  • Опыт оптимизаций sql-запросов и понимание оптимизаций на уровне spark catalyst.

На что ещё смотрим:

  • Опыт работы с Kubernetes (K8S)
  • Опыт работы с Airflow и другими подобными инструментами для запуска регулярных задач;
  • Опыт Devops (Docker, Gitlab-CI, настройка окружения на серверах и др.);
  • Опыт разработки сервисов (Flask, Django, Asyncio и др.);
  • Опыт проектирования высоконагруженных приложений и/или приложений работы с большими данными;
  • Опыт использования машинного обучения;
  • Опыт разворачивания, настройки мониторинга и передача на поддержку разработанных решений;
  • Pytest/Unitest;
  • Опыт работы с такими базами данных как PostgresQL, Greenplum, Clickhouse, SQLAlchemy.

Условия работы

  • Работа в одной из самых сильных ML-команд в России. Сильный коллектив DE/DS/DA и других специалистов. Есть возможность постоянно учиться и перенимать опыт;
  • Реальная Big Data с терабайтами данных и современным стеком технологий;
  • Гибкий график работы, лояльное предоставление отгулов и отпусков;
  • Гибкий формат работы: полная удаленка/гибрид/офис в Мск.
  • Поддержка в профессиональном и карьерном росте, оплата профильного обучения, конференций и книг, корпоративные скидки на курсы английского;
  • Совместная работа с опытными разработчиками, аналитиками данных, менеджерами, продуктологами;
  • ДМС со стоматологией после испытательного срока (3 месяца) по всей России;
  • При желании работать из офиса – уютный офис в центре Москвы (2 минуты от м. Сухаревская) со всем необходимым для комфортной работы.

Особенно актуальное:

  • Мы аккредитованная ИТ-компания со всеми вытекающими льготами.