Вакансия в архиве, на неё нельзя откликнуться.

Scala/Java Big Data Developer

Требуемые навыки

БэкендСтарший (Senior) · Java · Scala

Местоположение и тип занятости

Москва · Полный рабочий день

Компания

Ведущая глобальная компания, оказывающая услуги по формированию digital стратегии и разработке программного обеспечения

Описание вакансии

Описание проекта:

  • Разработка аналитической системы для больших данных. В рамках системы производится накопление и обработка данных блогов социальных сетей, анализ публикуемого контента для обогащения данных о владельце блога (день рождения, жизненные события, и т.д.), формирование из блогов сегментов для проведения рекламных кампаний, сбор и анализ результатов проведения кампаний.

Формируется новая команда под развитие бизнеса.

Technologies used: Hadoop, HBase, ElasticSearch, Kafka, Flume
Opportunities: Интересные задачи по загрузке, хранению и обработке большого количества данных (миллиарды записей), построению аналитических инструментов и витрин для последующего использования в BI средствах.

Обязанности

  • Обработка сырых данных и их запись в HBase и ElasticSearch
  • Построение широких витрин данных в HBase
  • Прототипирование и разработка решений
  • Профилирование, фильтрация и нарезка бизнес-витрин и выгрузка во внешние базы

Mandatory Skills:

  • Опыт разработки на Scala или Java или Python
  • Желание развиваться в области Big Data
  • Знание алгоритмов работы с данными
  • Опыт построения аналитических систем
  • Опыт разработки в ETL-инструментах: Flume/Flink, Hive, Spark
  • Опыт и навыки работы с базами данных (знание реляционных баз данных и языка запросов SQL, знание основных понятий многомерной базы данных)

Nice-to-Have Skills:

  • Apache Spark, Kafka
  • Знания или опыт работы с NoSQL DB (мы используем Cassandra, Vertica, ClickHouse)
  • Опыт анализа данных, работы по обсуждению требований с пользователями
  • Опыт работы с ElasticSearch

Ваш отклик

Вакансия в архиве
Вакансия в архиве, на неё нельзя откликнуться.