Spark specialist

Мы в поисках Spark специалиста для работы на проекте одного из наших клиентов - крупной немецкой компании, занимающейся разработкой автоматизированных систем управления внутренними процессами предприятия, такими как: бухгалтерский учёт, торговля, производство, финансы, управление персоналом, управление складами и пр.

Ожидаем от кандидата способности не только выполнять задачи, но и общаться с заказчиками на английском языке и принимать самостоятельные решения.

Ваши задачи:

• Разработка и внедрение оптимальной архитектуры миграции Spark кластеров на AWS EMR Spark
• Анализ, оценка задач, определение стека технологий и инструментов
• Разработка, поддержка и постоянное улучшение кодовой базы проекта
• Написание сложных ETL процессов
• Внедрение крупномасштабных конвейеров обработки потоковых данных в режиме, близком к реальному времени
• Оценка производительности и рекомендации по необходимым изменениям архитектуры
• Общение с клиентом по вопросам, связанным с проектом
• Сотрудничество с внутренней и внешней командой разработчиков и аналитиков.
• Умение быстро осваивать новые инструменты и технологии.

Наши ожидания:

• Практический опыт проектирования архитектур для высоконагруженных приложений.
• Хорошее владение Spark
• Необходим опыт работы с любым из следующих программ / инструментов (не со всеми необходимыми одновременно):

• Java / Scala / Python - сильные знания
• Инструменты для работы с большими данными: Kafka, Spark, Hadoop (HDFS3, YARN2, Tez, Hive, HBase)
• Системы потоковой обработки: Kinesis Streaming, Spark-Streaming, Kafka Streams, Kinesis Analytics
• Облачные сервисы AWS:EMR, RDS, MSK, Redshift, DocumentDB, Lambda
• Системы очередей сообщений: ActiveMQ, RabbitMQ, AWS SQ
• Разработка и оптимизация графовых баз данных Neo4j, SPARQL, GREMLIN, TinkerPop, Pregel, Cypher, Amazon Neptune
• Опыт работы в Scrum команде
• Уровень английского языка - Intermediate и выше.

Что обещаем:

• Достойную официальную заработную плату
• Удаленный формат работы
• Работу в команде высококвалифицированных специалистов
• Повышение профессионального уровня при софинансировании от компании (тренинги и семинары, конференции)
• Возможность релокации в Санкт-Петербург за счет компании.