Spark specialist
Требования
Местоположение и тип занятости
Компания
Разработка высоконагруженных систем
Описание вакансии
Условия работы
Мы в поисках Spark специалиста для работы на проекте одного из наших клиентов - крупной немецкой компании, занимающейся разработкой автоматизированных систем управления внутренними процессами предприятия, такими как: бухгалтерский учёт, торговля, производство, финансы, управление персоналом, управление складами и пр.
Ожидаем от кандидата способности не только выполнять задачи, но и общаться с заказчиками на английском языке и принимать самостоятельные решения.
Ваши задачи:
- Разработка и внедрение оптимальной архитектуры миграции Spark кластеров на AWS EMR Spark
- Анализ, оценка задач, определение стека технологий и инструментов
- Разработка, поддержка и постоянное улучшение кодовой базы проекта
- Написание сложных ETL процессов
- Внедрение крупномасштабных конвейеров обработки потоковых данных в режиме, близком к реальному времени
- Оценка производительности и рекомендации по необходимым изменениям архитектуры
- Общение с клиентом по вопросам, связанным с проектом
- Сотрудничество с внутренней и внешней командой разработчиков и аналитиков.
- Умение быстро осваивать новые инструменты и технологии.
Наши ожидания:
- Практический опыт проектирования архитектур для высоконагруженных приложений.
- Хорошее владение Spark
- Необходим опыт работы с любым из следующих программ / инструментов (не со всеми необходимыми одновременно):
- Java / Scala / Python - сильные знания
- Инструменты для работы с большими данными: Kafka, Spark, Hadoop (HDFS3, YARN2, Tez, Hive, HBase)
- Системы потоковой обработки: Kinesis Streaming, Spark-Streaming, Kafka Streams, Kinesis Analytics
- Облачные сервисы AWS:EMR, RDS, MSK, Redshift, DocumentDB, Lambda
- Системы очередей сообщений: ActiveMQ, RabbitMQ, AWS SQ
- Разработка и оптимизация графовых баз данных Neo4j, SPARQL, GREMLIN, TinkerPop, Pregel, Cypher, Amazon Neptune
- Опыт работы в Scrum команде
- Уровень английского языка - Intermediate и выше.
Что обещаем:
- Достойную официальную заработную плату
- Удаленный формат работы
- Работу в команде высококвалифицированных специалистов
- Повышение профессионального уровня при софинансировании от компании (тренинги и семинары, конференции)
- Возможность релокации в Санкт-Петербург за счет компании.