👀 Дизайнеры, какая команда подходит вам по вайбам? Проверяйте на Вайб-чеке→ vibe.habr.com

Java-developer / разработчик на аналитическую платформу

Зарплата

от 200 000 до 250 000 ₽

Местоположение и тип занятости

МоскваПолный рабочий день

Компания

Качество и интеграция клиентских данных

Описание вакансии

Условия работы

Ищу java-разработчика на проект аналитики эталонного профиля клиента.Это высоконагруженный бигдата проект с высочайшими требованиями к качеству данных:- 2000 записей в секунду,- несколько сотен миллионов записей,- уровень доступности и качества данных — 99%.

Архитектурные особенности:- используется георезервированный кластер GridGain,- в ближайшей перспективе планируется переход на hadoop.

Текущий статус проекта: cейчас после годовой разработки система выходит в опытную эксплуатацию, в связи с чем требуется решать задачи повышения производительности и реализации новых требований.

Более подробно о проекте:

  1. Аналитическая часть новой технологической платформы для построения эталонного профиля клиента (система класса Customer Data Integration, Customer Data Hub).
  2. Первичная сборка клиентской базы и загрузка данных в транзакционную часть клиентского профиля, распределенную по георезервированному кластеру GridGain по ячейкам и зонам обслуживания.
  3. Создание эталонной клиентской базы, исправление ошибок в клиентских данных, разделение данных на «плохие» и «хорошие», поиск дублей, идентификация взаимосвязей.
  4. Хранение актуальной копии (реплики) данных эталонного профиля клиента в историческом разрезе.
  5. Периодическая повторная стандартизация и проверка актуальности данных.
  6. Обогащение единого профиля клиента данными из внешних источников.
  7. Построение оперативной и аналитической отчетности по клиентским данным.
  8. В ближайшей перспективе переход на hadoop - распределенную файловую систему для хранения и управления данными, размещенными на кластерах из сотен и тысяч узлов.

Что делать:

  1. Обсуждать требования с аналитиками, продумывать архитектуру и искать подводные камни до начала реализации.
  2. Попадать в собственные прогнозы по времени.
  3. Оптимизировать производительность, работать над многопоточностью.
  4. Обучать и быть готовым обучаться самому.
  5. Быть готовым работать в агрессивной среде с большим потоком изменений.
  6. Быть самостоятельным и не бояться ответственности.

Технологический стек:

  1. Java SE 8, Java EE.
  2. Java concurrency.
  3. Maven, Git.
  4. Spring Framework 4.x, Spring Integration.
  5. HDFS, HBase.
  6. MQ (IBM MQ, Kafka).
  7. PL/SQL.

О нас:

  1. Команда: 20 человек (аналитиков, разработчиков, внедренцев).
  2. Место: Москва, комфортный офис на территории заказчика (крупный российский банк, 5 минут от метро Кутузовская и МЦК).
  3. Процесс разработки: скрам с двухнедельными sprints, Jira, Confluence, Jenkins/TeamCity, Gradle, Maven, Git.