Spark specialist

Местоположение и тип занятости

Полный рабочий деньМожно удаленно

Компания

Разработка высоконагруженных систем

Описание вакансии

Условия работы

Мы в поисках Spark специалиста для работы на проекте одного из наших клиентов - крупной немецкой компании, занимающейся разработкой автоматизированных систем управления внутренними процессами предприятия, такими как: бухгалтерский учёт, торговля, производство, финансы, управление персоналом, управление складами и пр.

Ожидаем от кандидата способности не только выполнять задачи, но и общаться с заказчиками на английском языке и принимать самостоятельные решения.

Ваши задачи:

  • Разработка и внедрение оптимальной архитектуры миграции Spark кластеров на AWS EMR Spark
  • Анализ, оценка задач, определение стека технологий и инструментов
  • Разработка, поддержка и постоянное улучшение кодовой базы проекта
  • Написание сложных ETL процессов
  • Внедрение крупномасштабных конвейеров обработки потоковых данных в режиме, близком к реальному времени
  • Оценка производительности и рекомендации по необходимым изменениям архитектуры
  • Общение с клиентом по вопросам, связанным с проектом
  • Сотрудничество с внутренней и внешней командой разработчиков и аналитиков.
  • Умение быстро осваивать новые инструменты и технологии.

Наши ожидания:

  • Практический опыт проектирования архитектур для высоконагруженных приложений.
  • Хорошее владение Spark
  • Необходим опыт работы с любым из следующих программ / инструментов (не со всеми необходимыми одновременно):
  • Java / Scala / Python - сильные знания
  • Инструменты для работы с большими данными: Kafka, Spark, Hadoop (HDFS3, YARN2, Tez, Hive, HBase)
  • Системы потоковой обработки: Kinesis Streaming, Spark-Streaming, Kafka Streams, Kinesis Analytics
  • Облачные сервисы AWS:EMR, RDS, MSK, Redshift, DocumentDB, Lambda
  • Системы очередей сообщений: ActiveMQ, RabbitMQ, AWS SQ
  • Разработка и оптимизация графовых баз данных Neo4j, SPARQL, GREMLIN, TinkerPop, Pregel, Cypher, Amazon Neptune
  • Опыт работы в Scrum команде
  • Уровень английского языка - Intermediate и выше.

Что обещаем:

  • Достойную официальную заработную плату
  • Удаленный формат работы
  • Работу в команде высококвалифицированных специалистов
  • Повышение профессионального уровня при софинансировании от компании (тренинги и семинары, конференции)
  • Возможность релокации в Санкт-Петербург за счет компании.