Scala/Java Big Data Developer

Описание проекта:

• Разработка аналитической системы для больших данных. В рамках системы производится накопление и обработка данных блогов социальных сетей, анализ публикуемого контента для обогащения данных о владельце блога (день рождения, жизненные события, и т.д.), формирование из блогов сегментов для проведения рекламных кампаний, сбор и анализ результатов проведения кампаний.

Формируется новая команда под развитие бизнеса.

Technologies used: Hadoop, HBase, ElasticSearch, Kafka, Flume
Opportunities: Интересные задачи по загрузке, хранению и обработке большого количества данных (миллиарды записей), построению аналитических инструментов и витрин для последующего использования в BI средствах.

Обязанности

• Обработка сырых данных и их запись в HBase и ElasticSearch
• Построение широких витрин данных в HBase
• Прототипирование и разработка решений
• Профилирование, фильтрация и нарезка бизнес-витрин и выгрузка во внешние базы

Mandatory Skills:

• Опыт разработки на Scala или Java или Python
• Желание развиваться в области Big Data
• Знание алгоритмов работы с данными
• Опыт построения аналитических систем
• Опыт разработки в ETL-инструментах: Flume/Flink, Hive, Spark
• Опыт и навыки работы с базами данных (знание реляционных баз данных и языка запросов SQL, знание основных понятий многомерной базы данных)

Nice-to-Have Skills:

• Apache Spark, Kafka
• Знания или опыт работы с NoSQL DB (мы используем Cassandra, Vertica, ClickHouse)
• Опыт анализа данных, работы по обсуждению требований с пользователями
• Опыт работы с ElasticSearch