💥 Ищем старшего системного аналитика (SQL, XML, JSON, SOAP) для участия в Публичном собеседовании на Хабр Карьере. Оставить заявку → Участвую!

Scala/Java Big Data Developer

Требования

Бэкенд, Старший (Senior)JavaScala

Местоположение и тип занятости

МоскваПолный рабочий день

Компания

Ведущая глобальная компания, оказывающая услуги по формированию digital стратегии и разработке программного обеспечения

Описание вакансии

Условия работы

Описание проекта:

  • Разработка аналитической системы для больших данных. В рамках системы производится накопление и обработка данных блогов социальных сетей, анализ публикуемого контента для обогащения данных о владельце блога (день рождения, жизненные события, и т.д.), формирование из блогов сегментов для проведения рекламных кампаний, сбор и анализ результатов проведения кампаний.

Формируется новая команда под развитие бизнеса.

Technologies used: Hadoop, HBase, ElasticSearch, Kafka, Flume
Opportunities: Интересные задачи по загрузке, хранению и обработке большого количества данных (миллиарды записей), построению аналитических инструментов и витрин для последующего использования в BI средствах.

Обязанности

  • Обработка сырых данных и их запись в HBase и ElasticSearch
  • Построение широких витрин данных в HBase
  • Прототипирование и разработка решений
  • Профилирование, фильтрация и нарезка бизнес-витрин и выгрузка во внешние базы

Mandatory Skills:

  • Опыт разработки на Scala или Java или Python
  • Желание развиваться в области Big Data
  • Знание алгоритмов работы с данными
  • Опыт построения аналитических систем
  • Опыт разработки в ETL-инструментах: Flume/Flink, Hive, Spark
  • Опыт и навыки работы с базами данных (знание реляционных баз данных и языка запросов SQL, знание основных понятий многомерной базы данных)

Nice-to-Have Skills:

  • Apache Spark, Kafka
  • Знания или опыт работы с NoSQL DB (мы используем Cassandra, Vertica, ClickHouse)
  • Опыт анализа данных, работы по обсуждению требований с пользователями
  • Опыт работы с ElasticSearch