Инженер-аналитик BigData
Требования
Местоположение и тип занятости
Компания
Высокотехнологичная компания, создающая инновационные телекоммуникационные системы и интернет-сервисы
Описание вакансии
Условия работы
Что нам нужно:
- автоматизация алгоритмов операционного анализа данных, решение высоконагруженных аналитических задач
- автоматизация операционных аналитических задач
- создание, поддержка, оптимизация моделей хранения данных
- разработка и оптимизация алгоритмов операционного анализа данных
- интеграция данных в КСХД
- интеграция BigData решений c сторонними системами
- разработка интерфейсов доступа к данным
Что нам важно:
Опыт работы:
- в Интернет - компаниях; в подразделениях операторских компаний, занимающихся Интернет – бизнесом; в компаниях – разработчиках ПО; в подразделениях компаний, занимающихся построением систем обработки данных
- опыт работы архитектора/разработчика для линейки Big Data от 3 лет
- опыт работы с большими массивами структурированных и не структурированных данных
- опыт работы по построению дизайнов моделей данных
- опыт работы с инструментами визуализации данных
- опыт построения систем машинного обучения (machine learning)
- опыт построения коммерчески успешных сложных моделей поведения целевой аудитории помощью data mining инструментов
- опыт внедрения систем по работе с Big Data
Образование:
- высшее техническое, желательно профильное (вычислительная математика, теория алгоритмов, программирование, прикладная математика, эконометрика, системный анализ и тому подобные специальности)
Скиллы:
- проектирование, запуск и обслуживание систем обработки больших данных
- разработка механизмов обработки потоков данных
- разработка механизмов пакетного анализа данных
- разработка и реализация алгоритмов по классификации, кластеризации, создание прогнозных моделей в режиме операционной аналитики
- знание технических принципов обработки Big data, понимание основных этапов обработки и анализа данных, инструментов и методов, применяемых в этой области
- работа с продуктами линейки Cloudera
- архитектурное понимание MPP систем и реляционных БД
- глубокие знания методов статистического анализа данных, построения математических моделей (нейронные сети, байесовские сети, кластеризация, регрессионный, факторный, дисперсионный и корреляционный анализы и т.п.)
- знание высокоуровневых языков программирования (Python, Scala, Java, в части ETL задач и анализа данных)
- знание языка программирования или дополнительных библиотек для статистической обработки данных и работы с графикой (R Language, Python (Pandas, matplotlib, numpy, scikit-learn, MPLib)
- умение работать с графами
- знание алгоритмов в сфере высоконагруженной обработки данных при помощи распределённых вычислений (MR)
- умение работы с Avro, Parquet форматом данных
- умение работы с распределенным хранилищем HDFS
- знание и умение работы ETL инструментами
- знание и умение работы с AMQP (Kafka, RabbitMQ)
- понимание и умение работы с стеком продуктов: Spark, Spark Streaming, HBase, Impapa, Hive, Solr, Pig, Mahout, Storm, PyData
- умение разрабатывать UDF для различных сред анализа данных
- знание и умение работать с RDBMS, MPP, noSQL баз данных
- знание специфики HTTP протокола и WEB-а в целом
- знание интерфейсов, методов управления разработкой и конфигурациями
- понимание возможностей и специфики HTTP протокола, понимание возможностей сбора и обработки информации из социальных сетей
- знание английского языка на уровне чтения технической документации, на разговорном уровне дополнительный плюс
- отличные аналитические навыки, способность видеть новые пути решения задач
Что мы предлагаем:
- команда: средний возраст - 28. Все парни профессиональны и с бородой :)
- технологии: от front-end до back-end : JavaScript, Ruby, GoLang, Java. Своя аналитика и БигДата
- масштаб: аудитория проектов - 6,5 млн. в месяц
- задачи: интересные и сложные. Отличная возможность для постоянного развития
- ТК РФ: чтим. "Белая» заработная плата (обсуждается индивидуально)
- забота: хороший пакет ДМС и корпоративная связь
- офис: современный, в самом центре – около ст. м. «Новослободская»