Технический лидер Data Lake (Remote)

Мы ждем от тебя

• • Высшее образование и релевантный опыт работы от 3 лет;
• • Опыт управления командой, занимающейся развитием Data Lake;
• • Опыт применения технологий Hadoop (Arenadata Hadoop, Cloudera, HortonWorks);
• • Опыт применения технология Spark, Hive, HBase, Kafka, Flink, Debezium;
• • Опыт применения технологий и процессов DevOps на платформе;
• • Готовность работать «руками» и делиться знаниями с командой.

Что тебя ждет:

• Формирование команды Data Lake и выстраивание процессов внутри команды

•      Внедрение Data Lake с нуля (проведение пилота, запуск тендера и т.д.)

•             Участие в формировании архитектуры платформы

•             Выстраивание процессов поддержки платформы

•             Внедрение и развитие DevOps практик на платформе;

•             Руководство работой по формулированию целей и задач для команды;

•             Управление бэклогом команды;

•             Консультация смежных команд.

Название проекта         Наша команда занимается развитием инструментов сбора, хранения и анализа данных. Мы перезапускаем Data Platform на новом технологическом стеке, одним из важнейших компонентов которой должен стать Data Lake. Мы ищем технического лидера направления Data Lake. Тебе предстоит сформировать команду и возглавить внедрение Data Lake.

Наш текущий стек:

•             HDFS: Arenadata Hadoop

•             Streaming: Debezium, Kafka, Informatica PowerExchange

•             DB: Arenadata DB (GreenPlum), Oracle Exadata, PostgreSQL, Redis;

•             ETL: Airflow, Python, Spark, PL/SQL, Informatica PowerCenter;

•             BI: Superset, Tableau

•             DevOps: Bitbucket, TeamCity, Liquidbase, Python, Docker, Kubernetes, Opensearch, Zabbix, Grafana