Java-developer / разработчик на аналитическую платформу
Зарплата
Требования
Местоположение и тип занятости
Компания
Описание вакансии
Условия работы
Ищу java-разработчика на проект аналитики эталонного профиля клиента.Это высоконагруженный бигдата проект с высочайшими требованиями к качеству данных:- 2000 записей в секунду,- несколько сотен миллионов записей,- уровень доступности и качества данных — 99%.
Архитектурные особенности:- используется георезервированный кластер GridGain,- в ближайшей перспективе планируется переход на hadoop.
Текущий статус проекта: cейчас после годовой разработки система выходит в опытную эксплуатацию, в связи с чем требуется решать задачи повышения производительности и реализации новых требований.
Более подробно о проекте:
- Аналитическая часть новой технологической платформы для построения эталонного профиля клиента (система класса Customer Data Integration, Customer Data Hub).
- Первичная сборка клиентской базы и загрузка данных в транзакционную часть клиентского профиля, распределенную по георезервированному кластеру GridGain по ячейкам и зонам обслуживания.
- Создание эталонной клиентской базы, исправление ошибок в клиентских данных, разделение данных на «плохие» и «хорошие», поиск дублей, идентификация взаимосвязей.
- Хранение актуальной копии (реплики) данных эталонного профиля клиента в историческом разрезе.
- Периодическая повторная стандартизация и проверка актуальности данных.
- Обогащение единого профиля клиента данными из внешних источников.
- Построение оперативной и аналитической отчетности по клиентским данным.
- В ближайшей перспективе переход на hadoop - распределенную файловую систему для хранения и управления данными, размещенными на кластерах из сотен и тысяч узлов.
Что делать:
- Обсуждать требования с аналитиками, продумывать архитектуру и искать подводные камни до начала реализации.
- Попадать в собственные прогнозы по времени.
- Оптимизировать производительность, работать над многопоточностью.
- Обучать и быть готовым обучаться самому.
- Быть готовым работать в агрессивной среде с большим потоком изменений.
- Быть самостоятельным и не бояться ответственности.
Технологический стек:
- Java SE 8, Java EE.
- Java concurrency.
- Maven, Git.
- Spring Framework 4.x, Spring Integration.
- HDFS, HBase.
- MQ (IBM MQ, Kafka).
- PL/SQL.
О нас:
- Команда: 20 человек (аналитиков, разработчиков, внедренцев).
- Место: Москва, комфортный офис на территории заказчика (крупный российский банк, 5 минут от метро Кутузовская и МЦК).
- Процесс разработки: скрам с двухнедельными sprints, Jira, Confluence, Jenkins/TeamCity, Gradle, Maven, Git.