Team Lead Data Platform
Требования
Местоположение и тип занятости
Компания
Описание вакансии
О компании и команде
Не будем повторять то, что написано о нас на страничке «О компании». Там ты найдешь ответы на вопросы "Кто мы?", "Почему сейчас ищем людей?" и "Что стратегически нами задумано?", букв немного, вся суть передана, цифры говорят сами за себя!
Ожидания от кандидата
Какой человек нам нужен?
Самостоятельный, убедительный, амбициозный, с лидерскими качествами (или умением сделать так, чтобы управлять не приходилось:) стремящийся к построению качественных процессов и, как следствие, качественному сбору, хранению и поставке данных.
Что мы предлагаем:
- Занимается созданием централизованной системы сбора и обработки данных
- Работать в компании, где тебя слышат и ценят твой вклад
- Влиять на технические решения и планомерно повышать качество сбора, хранения и поставки данных
- Работать с командой людей, умеющих принимать решения, амбициозных, увлеченных своим делом и проектом
- Разрабатывать востребованный продукт и получать четкий фидбэк от пользователей
- Решать амбициозные задачи
- Получить профессиональный рост (у нас есть тренинги, конференции, сильная команда, которая готова делиться знаниями и в которой можно быстро расти)
Немного о том, что уже сделали и что нам еще предстоит :)
На текущий момент мы подготовили инфраструктуру на базе Hadoop и GreenPlum для загрузки, обработки и построения витрин данных. Описали и загрузили данные ряда продуктов нашего холдинга и приступили к описанию и загрузке следующих. Дальше планируем развивать и масштабировать инфраструктуру, запускать потоковое получение данных и увеличивать количество подключенных источников и доверие к данным.
Что планируем сделать:
- Загрузим десяток новых источников
- Создадим Data catalog
- Задачи сделаем максимально типизированными, чтобы продуктовые команды могли делать задачи на данных на платформе
На практике это значит, что мы будем решать следующие задачи:
- Контроль всех ключевых данных в холдинге за счет правильно выстроенной системы мониторинга и алертинга
- Создание хранилища, из которого каждый новый отчет будет рождаться за “один день”
- Настройка автоматического подключения событий
- Загрузка данных из различных источников в Hadoop, как Batch, так и Stream
- Обработка полученных данных
- Построение витрин данных
Что для нас важно в тебе:
- Хорошие знания SQL
- Любой язык программирования (но лучше python))
- Опыт работы с системами контроля версий (Git)
- Умение организовать процесс загрузки, обработки и доставки обработанных данных конечным потребителям
- Высокий уровень самообучения
- Умение поддержать и дотюнить существующий процесс
Не обязательно, но будет очень здорово, если:
- Знаешь Open Source фреймворки Big Data: (Hadoop, MapReduce, Spark & Spark Streaming, Hive, Kafka)
- Знаком с Apache Nifi и Apache Airflow
Условия работы
Что есть у нас и чем готовы делиться:
- Белая, своевременная и конкурентоспособная заработная плата
- ДМС (включая стоматологию)
- Удобное место для работы и современное “железо”
- Гибкий график. Начало работы с 8 до 11
- У нас не нужно приходить 5 дней в неделю в офис. Мы внутри команд сами определяем, когда туда приехать
- P.S.: А если ты совсем не хочешь посещать офис, то удалённый формат работы у нас тоже есть)
- Профессиональный рост (у нас есть внутреннее обучение, возможность посещать конференции и митапы, мы спонсируем))