Senior Data Engineer (Technology Research)

Команда Technology Research приглашает специалиста на должность Senior Data Engineer. В задачи команды входит развитие технологий кибербезопасности на основе машинного обучения. 

Объем коллекции файлов, используемых в компании для построения технологий детектирования исчисляются 10-ми Пб и этот объем постоянно пополняется. Работа с такими объемами данных создает целую серию технически сложных задач по подготовке и хранению данных, обучению и тестированию ML моделей, их развертыванию и работе на больших потоках.

Наши специалисты в области Data Science горят идеями по улучшению качества текущих моделей и созданию новых. Для  реализации этих идей, перед специалистом по Data Engineering стоит задача по созданию конвейера обработки данных и обучения моделей, способного уменьшить среднее время проверки различных продуктовых гипотез. 

Вам предстоит:

1. Самостоятельно проектировать, реализовывать и поддерживать конвейеры по обработке данных и обучению моделей;
2. Развивать текущий стек технологий, как на основе общеизвестных инструментов Spark, HBase, airflow, OpenShift, Grafana и Python, так и на основе собственных разработок компании по хранению и обработке данных; 
3. Активно взаимодействовать с командой Data Science для внедрения практик MLOps;
4. Активно делиться знаниями в форме выступлений и публикаций на профильных конференциях. 

Мы ожидаем от Вас:

• Опыт работы с Hadoop стеком (Spark, HBase);
• Отличное знание Python;
• Опыт работы с Airflow;
• Опыт Devops (OpenShift, Docker, Azure DevOps, Grafana).

С примерами задач команды можно познакомиться по ссылкам:

• Detection is not a classification: review of ML techniques for cybersecurity specs - [https://static.ptsecurity.com/phdays/presentations/classifying-or-detecting-machine-learning-methods-in-cybersecurity.pdf]
• Monotonic models for real-time dynamic malware detection - [https://openreview.net/pdf?id=rkjatuyvM]
• How to improve SOC analyst efficiency using ML - [https://www.youtube.com/watch?v=DPzdb9Uivwc]
• Краткий ликбез по ML метрикам и их связи  с бизнес-метриками - [https://www.youtube.com/watch?v=pDMgvhsUPJM&feature=youtu.be]