Data engineer/ ETL developer
Требования
Местоположение и тип занятости
Компания
Описание вакансии
Условия работы
Quadсode — это международная продуктовая IT-компания. 7 лет мы разрабатываем платформу для трейдеров, которой пользуются 50 млн. пользователей в 200+ странах. Безотказное время работы платформы составляет 99,95%.
В нашей команде 350+ человек. Мы исповедуем микросервисную архитектуру и по делу используем Agile. Наши основные языки для разработки – Golang и C++. Из дополнительных технологий на бэкенде – PHP, Python, на фронте – JavaScript, в аналитике – Python, Scala, а в автотестах – Java.
Где мы находимся?
Работать можно из офиса/удаленно/чередовать эти варианты. Офис расположен в Санкт-Петербурге рядом с м. Новочеркасская, и в нем есть все — от завтраков до тренажерного зала. Офис в Петербурге самый крупный по числу сотрудников. Также у нас есть офисы в Лондоне, Лимассоле, Сиднее и Гибралтаре.
Сейчас в Data Platform мы ищем Data engineer
Команда отвечает за поддержку и развитие аналитической платформы в компании. На текущий момент она включает в себя 9 человек, среди которых есть ETL разработчики, Data Quality инженеры и администраторы баз данных.
Сотрудничество рассматриваем как на удаленной основе, так и с релокацией в Спб- as you wish.
Перед тобой будут стоять следующие задачи:
- реализация потокового компонента загрузки данных в HDFS хранилище;
- реализация батчевого обработчика для соблюдения GDPR (очистка истории пользователя);
- реализация потокового компонента загрузки данных в ODD слой хранения Greenplum;
- написание ETL процедур сбора/очистки данных.
Что мы от тебя ожидаем:
- владение одним или несколькими языками программирования для написания ETL процедур (Python, Scala/Java, Golang);
- понимание принципов создания и работы распределенных систем;
- опыт разработки batch/streaming приложений;
- опыт с реляционными СУБД (Greenplum,PostgreSQL);
- навык оптимизации SQL запросов;
- опыт работы hadoop экосистемой (HDFS, Hive, Flink);
- опыт работы с брокерами сообщений (Apache Kafka);
- опыт работы с NoSQL БД (Apache Cassandra);
- навыки работы с OS Linux на уровне уверенного пользователя;
- опыт работы с Docker и инструментами упаковки и выкладки приложений (Gitlab/Jenkins CI, Helm, Artifactory);
- знание принципов работы сетевых протоколов (TCP/UDP, HTTP,ICMP etc.).
- спортивные секции (футбол, баскетбол, волейбол).
Бонусы
Почему ты будешь счастлив у нас?
Мы знаем, что ты хочешь развиваться и поэтому обеспечиваем:
- регулярные корпоративные тренинги с внутренними и внешними спикерами;
- коллектив крутых разработчиков и развитую систему обмена опытом внутри компании;
- интересные проекты и сложные задачи;
- необходимость нетривиального подхода и работу над нестандартными решениями;
- прозрачную систему роста внутри компании;
- курсы английского языка.
Мы заботимся о наших сотрудниках: - соблюдаем все требования ТК РФ;
- полностью белая зарплата;
- офис расположен в 10 минутах ходьбы от ст.м. Новочеркасская в бизнес-центре класса А+;
- компенсируем стоимость обедов;
- ежедневно пополняем холодильники на каждом этаже вкусной и разнообразной едой;
- ДМС (включая стоматологию);
- оплачиваем корпоративный спортзал с личным тренером и спортивные секции (футбол, баскетбол, волейбол).
Иногородним кандидатам: - предоставление места проживания за счет компании в первый месяц работы;
- компенсируем стоимость проезда до Санкт-Петербурга;
- помогаем в оформлении документов (для иностранных граждан).