Вакансия в архиве, на неё нельзя откликнуться.

Senior Data Engineer (Technology Research)

Местоположение и тип занятости

Москва

Компания

ТОП-5 международная компания в области IT безопасности. Один из лучших работодателей России

Описание вакансии

Команда Technology Research приглашает специалиста на должность Senior Data Engineer. В задачи команды входит развитие технологий кибербезопасности на основе машинного обучения. 

Объем коллекции файлов, используемых в компании для построения технологий детектирования исчисляются 10-ми Пб и этот объем постоянно пополняется. Работа с такими объемами данных создает целую серию технически сложных задач по подготовке и хранению данных, обучению и тестированию ML моделей, их развертыванию и работе на больших потоках.

Наши специалисты в области Data Science горят идеями по улучшению качества текущих моделей и созданию новых. Для  реализации этих идей, перед специалистом по Data Engineering стоит задача по созданию конвейера обработки данных и обучения моделей, способного уменьшить среднее время проверки различных продуктовых гипотез. 

Вам предстоит:

  1. Самостоятельно проектировать, реализовывать и поддерживать конвейеры по обработке данных и обучению моделей;
  2. Развивать текущий стек технологий, как на основе общеизвестных инструментов Spark, HBase, airflow, OpenShift, Grafana и Python, так и на основе собственных разработок компании по хранению и обработке данных; 
  3. Активно взаимодействовать с командой Data Science для внедрения практик MLOps;
  4. Активно делиться знаниями в форме выступлений и публикаций на профильных конференциях. 

Мы ожидаем от Вас:

  • Опыт работы с Hadoop стеком (Spark, HBase);
  • Отличное знание Python;
  • Опыт работы с Airflow;
  • Опыт Devops (OpenShift, Docker, Azure DevOps, Grafana).

С примерами задач команды можно познакомиться по ссылкам:

Ваш отклик

Вакансия в архиве
Вакансия в архиве, на неё нельзя откликнуться.