Data-инженер

Москва задает тренды! Наши возможности позволяют изучать социальную, экологическую и транспортную обстановку города, а также создавать и улучшать городские цифровые сервисы. Вместе с коллегами мы создаём безопасную и комфортную среду для перемещения пассажиров и водителей и каждый день делаем Московский транспорт ещё лучше!

Инновационный центр «Безопасный Транспорт» создан в 2017 году для работы с Big dataи является единым оператором интерактивной аналитики (BI) и консолидатором данных всего Транспортного комплекса столицы для работы с цифровым двойником города Москвы.

Деятельность ИЦ направлена на реализацию и внедрение концепции «Умный город», принципа «Города, управляемого через данные» и создание цифровых аналитических продуктов стратегического значения для города.

Сегодня в Инновационном центре 10+ направлений деятельности и работают более 200 человек — профессионалов с опытом в бизнесе, увлеченных данными и технологиями.

Мы создали и развиваем Единое хранилище данных транспортного комплекса Москвы. Данные забираем от более чем 40 источников, среди которых есть и пакетная, и потоковая передача данных. Хранилище Данных выступает базой для всех информационно-аналитических продуктов нашей организации. В их числе — оказание поддержки в принятии управленческих решений Правительству Москвы на основе Big Data и другие продукты, направленные на улучшение транспортной инфраструктуры и города в целом.

Что есть: Apache Spark, Spark streaming, Kafka, Apache Hive, Airflow, Linux, Git, Bash, Vertica, Grafana+Zabbix, PostgreSql, ClickHouse, DB2.

Мы разрабатываем систему мониторинга качества данных, интеграционные потоки и API, витрины данных. Сами управляем нашей инфраструктурой.

Наша команда состоит из инженеров данных, аналитиков данных, администраторов платформы данных и экспертов поддержки.

🟣 Законченное высшее образование;
🟣 Понимание теории и практики построения Хранилищ Данных на уровне data-инженера;
🟣 Уверенное владение SQL, опыт написания сложных запросов с подзапросами, оконными функциями и регулярными выражениями, навыки оптимизации запросов;
🟣 Уверенные навыки программирования, умение читать и понимать код на Python;
🟣 Понимание принципов работы Git-систем;
🟣 Понимание принципов работы систем оркестрации;
🟣 Знание основных команд Linux на уровне пользователя;
🟣 Знание английского языка на уровне чтения технической документации;
🟣 Готовность разрабатывать и поддерживать в актуальном состоянии техническую документацию;
🟣 Умение работать в команде и готовность помогать коллегам;
🟣 Заинтересованность в личном развитии и развитии города.

Будет плюсом:
🟣 Опыт работы со стеком технологий Hadoop, понимание парадигмы map-reduce и алгоритмов работы Spark;
🟣 Опыт работы с БД Vertica, ClickHouse, DB2, Hive;
🟣 Знание планировщиков процессов (AirFlow);
🟣 Опыт работы в крупных проектах и умение решать архитектурные вопросы Хранилищ Данных.

🟣 Мы действительно Инновационные и делаем крутые полезные продукты для города.
🟣 Наша команда — это лучшие эксперты, талантливые, креативные, яркие личности и просто хорошие люди. Да, все такое пишут, банально, но это факт. По отзывам наших сотрудников — это одно из самых больших преимуществ нашей работы.
🟣 Развитие. Мы непрерывно учимся новому у внешних и внутренних экспертов, прокачиваемся не только в IT, а и в транспортной и городской тематике. У нас огромное количество проектов, на которых можно быстро профессионально развиваться. Опытные руководители и наставники. Возможность посещения различных курсов и тренингов от корпоративного университета Департамента транспорта.
🟣 Стабильность. Московский транспорт работает для жителей и гостей города при любых условиях. Уникальное сочетание энергии IT-компании, стабильности и ресурсов ГОСа.
🟣 График: гибрид 5/2.
🟣 Локация: офис в центре Москвы, м. Белорусская.
🟣 Отпуск 42 дня, бесплатный проезд в метро, корпоративные скидки от компаний-партнеров и т. д.
🟣 Заработная плата обсуждается индивидуально в зависимости от опыта кандидата.