DevOps engineer в DataOps platform (Big Data)
Требования
Местоположение и тип занятости
Компания
Описание вакансии
Условия работы
Сейчас мы ищем DevOps engineer в DataOps platform
MTS Big Data стратегически развивает направление собственной платформы хранения и обработки больших данных - DataOps platform. Мы делаем все, чтобы наши клиенты могли получать технологии для организации непрерывного потока данных от загрузки до потребления. У нас амбициозные планы по потреблению платформы. Cейчас платформа предоставляется внутренним заказчикам из МТС, мы же хотим повысить потребление и сделать платформу публичной с помощью облака как это делают AWS, GCP, Yandex и другие.
Создавать инструменты для обработки и хранения больших данных, которые способны работать в облачной среде и предоставлять удобный self-service это большая и амбициозная задача. Сегодня в компании запущена и успешно работает первая версия платформы, которой пользуются потребители. Мы приглашаем тебя бросить вызов разработке промышленной версии платформы, как аналог AWS, в части Big Data.
Вместе с тобой нам предстоит:
- создание self-service инструментария для работы с технологиями BigData по хранению, обработке и визуализации данных.
- стать экспертом в технологиях spark поверх k8s/openstack, Yarn
- сделать так, чтобы все предоставляемые технологии отлично работали друг с другом с минимальными затратами клиента
- отправить все инструменты и системы хранения в облако
- подключить весь МТС как потребителей нашей платформы
Работая у нас вы будете на стыке самых трендовых технологий - Big Data и AWS-like Cloud.
Что предстоит делать?
- Перенос существующих микросервисов в Kubernetes и настройка CI/CD процессов (GitlabCI / Jenkins);
- Проработать и настроить мониторинг и логгирование микросервисов, повысить observability;
- Внедрение и развитие infrastructure-as-code подхода (helm/ansible) для предоставляемых на marketplace решений;
- Предоставлять инструменты для обработки и анализа данных PaaS/SaaS. Мы хотим сделать аналоги AWS, GCP в части анализа и обработки данных, которыми будет пользоваться весь мир;
- Проводить исследования новых технологий и решений для поставки на marketplace;
- Кодить на Python/Go, мы очень любим автоматизацию и стараемся избавляться от ручного труда везде, где это возможно;
- Принимать участие в декомпозиции больших задач, планировать сроки и ресурсы с учетом специфики работы.
Бонусы
Что вы найдете в команде Big Data?
Условия: каждый месяц - аванс и зарплата, дважды в год - премия. ДМС + стоматология, корпоративная связь, специальные предложения от партнеров и друзей МТС, отпуск 31 день в год. Выдаем 16” MacBook Pro или Dell на выбор.
Есть ли обучение?
- Локальные и международные конференции, митапы.
- Корпоративный университет МТС и масштабная виртуальная библиотека.
- А ещё мы регулярно обмениваемся опытом на совместных синках с лидами экспертизы
Какой график? Гибкое начало рабочего дня в промежутке с 8 до 11. Есть возможность работать несколько дней вне офиса по договоренности с командой.
Сколько этапов при отборе? Не более трех:
- HR + первое тех. интервью с лидом направления
- Тестовое задание/второе интервью - по необходимости
- Собеседование с PO и командой, выбор кандидатом проекта
Дополнительные инструкции
Обязательно:
- Понимание работы Docker, Kubernetes;
- Системы автоматизации CI/CD процессов (GitLab CI, Jenkins);
- Системы управления конфигурацией (Ansible);
- Системы мониторинга и логгирования (Prometheus/Grafana);
- Прочий DevOpsTools: Vault, ELK, Graylog, Sonarqube, Sentry, Terraform and other.
Желательно:
- Использование в работе cloud экосистем (Amazon Web Services (AWS)/Google Cloud (GCP)/Yandex Cloud and other);
- Программирование на Python/Go на уверенном уровне будет существенным преимуществом;
- Знание Presto, Spark, Hive, Airflow, Kafka и инструментов аналитики superset, tableau;
- Понимание основ компьютерной безопасности и эффективных способов уменьшить риски взлома систем;
- Если у вас возникает непреодолимое желание попробовать какую-нибудь новую технологию и рассказать об этом всему подразделению.