Senior Data Engineer (Technology Research)

Местоположение и тип занятости

Москва

Компания

ТОП-5 международная компания в области IT безопасности. Один из лучших работодателей России

Описание вакансии

Команда Technology Research приглашает специалиста на должность Senior Data Engineer. В задачи команды входит развитие технологий кибербезопасности на основе машинного обучения. 
Объем коллекции файлов, используемых в компании для построения технологий детектирования исчисляются 10-ми Пб и этот объем постоянно пополняется. Работа с такими объемами данных создает целую серию технически сложных задач по подготовке и хранению данных, обучению и тестированию ML моделей, их развертыванию и работе на больших потоках.
Наши специалисты в области Data Science горят идеями по улучшению качества текущих моделей и созданию новых. Для  реализации этих идей, перед специалистом по Data Engineering стоит задача по созданию конвейера обработки данных и обучения моделей, способного уменьшить среднее время проверки различных продуктовых гипотез.

 

Вам предстоит:

  • Самостоятельно проектировать, реализовывать и поддерживать конвейеры по обработке данных и обучению моделей;
  • Развивать текущий стек технологий, как на основе общеизвестных инструментов Spark, HBase, airflow, OpenShift, Grafana и Python, так и на основе собственных разработок компании по хранению и обработке данных; 
  • Активно взаимодействовать с командой Data Science для внедрения практик MLOps;
  • Активно делиться знаниями в форме выступлений и публикаций на профильных конференциях.

 

Мы ожидаем от Вас:

  • Опыт работы с Hadoop стеком (Spark, HBase);
  • Отличное знание Python;
  • Опыт работы с Airflow;
  • Опыт Devops (OpenShift, Docker, Azure DevOps, Grafana).


С примерами задач команды можно познакомиться по ссылкам:

Ваш отклик

Авторизуйтесь
Откликаться на вакансии могут только зарегистрированные пользователи.