Старший инженер-разработчик Big Data

Что нужно будет делать:

• автоматизация процессов сбора, первичной обработки и интеграции данных.

Что нам нужно:

• автоматизация и поддержка операционных аналитических задач;
• создание, поддержка, оптимизация моделей хранения данных;
• разработка и оптимизация алгоритмов анализа данных;
• интеграция данных в СХД;
• интеграция Big Data решений c сторонними системами;
• разработка интерфейсов доступа к данным.

Что нам важно:

• обязателен опыт администрирования и разработки для продуктов: Apache Spark;
• опыт интеграции Apache Spark c различными СХД;
• разработка механизмов обработки потоковых данных;
• разработка механизмов пакетного анализа данных;
• опыт работы с большими массивами структурированных и не структурированных данных;
• знание языков программирования (SQL, Scala, в части ETL задач и анализа данных);
• архитектурное понимание MPP систем и реляционных БД и опыт работы по построению дизайнов моделей данных;
• знания алгоритмов в сфере высоконагруженной обработки данных при помощи распределённых вычислений;
• умение работы с Avro, Parquet форматом данным;
• знание и умение работы ETL инструментами;
• знание и умение работы с MQ решениями;
• знание и умение работать с RDBMS, MPP, noSQL баз данных;
• знание интерфейсов, методов управления разработкой и конфигурациями.

Было бы отлично:

• знание английского языка (уровень Intermediate);
• желателен опыт администрирования и разработки для PyData (настройка, интеграция, оптимизация);
• желательны знание языка программирования и дополнительных библиотек для статистической обработки данных и работы с графикой (Python, рandas, matplotlib, numpy, scikit-learn, MPLib);
• понимание возможностей и специфики сбора и обработки информации из социальных сетей и DPI систем;
• знание специфики HTTP протокола и WEB-а в целом;
• знания продуктов: HP Vertica, ElasticSearch, Kafka.

Условия:

• масштаб: аудитория проектов – 7 млн. в месяц;
• задачи: интересные и сложные. Отличная возможность для постоянного развития;
• ТК РФ: чтим. «Белая» заработная плата;
• забота: хороший пакет ДМС и корпоративная связь;
• офис: современный, в ЦАО – Краснопролетарская улица, около ст. м. Менделеевская, м. Достоевская, м. Новослободская.

Если вакансия Вам интересна, пишите нам: hr@maximatelecom.ru