Lead DevOps Engineer (BIP)
Требования
Местоположение и тип занятости
Компания
ТОП-3 международная компания в области IT безопасности. Один из лучших работодателей России
Описание вакансии
О компании и команде
О нас:
Business Intelligence Platform - Мы команда разработки системы обработки больших данных, круглосуточно и в реальном времени обрабатывающей терабайты данных из различных источников. Вычислительный кластер обработки данных состоит из следующих компонентов: Hadoop собственной сборки, Spark, Hive, Kafka, Cassandra, JupyterHub, Docker, Kubernetes и множество сервисов, написанных на скале и развернутых в этой инфраструктуре.
Нашей главной задчей является построение распределенного и отказоустойчивого бэкенда обработки данных.
Ожидания от кандидата
Что для этого нужно:
- Опыт администрирования Linux, глубокое понимание принципов работы;
- Опыт развертывания и администрирования решений на базе стека Hadoop (Apache Spark, Apache Hive, HDFS и т.д.);
- Опыт использования Ansible, либо других систем управления конфигурациями;
- Опыт работы c системами виртуализации и контейнеризации (Docker, Podman, Kubernetes и т.д.);
- Умение писать административные скрипты (Bash, Python);
- Знания сетевых технологий (TCP/IP, HTTP, TLS и т.д.);
- Понимание принципов, протоколов и технологий обеспечения сетевой безопасности;
- Опыт настройки и конфигурирования систем CI/CD (TeamCity и т.д.);
- Навыки диагностирования проблем работоспособности ПО.
Будет круто, если у вас есть:
- Опыт использования и настройки систем мониторинга;
- Опыт администрирования NoSQL хранилищ данных (Cassandra, Scylla, ClickHouse и т.д.);
- Опыт работы с Apache Kafka;
- Опыт работы с Kubernetes;
- Опыт развертывания облачных приложений (MS Azure, AWS и др.).
Условия работы
Для чего вы нам нужны:
- Развертывание сервисов под Linux и Windows;
- Поддержка и развитие кластера хранения и обработки данных на Hadoop стеке (Apache Spark, HDFS и т.д.);
- Поддержка и развития кластера Kubernetes;
- Поддержка и развитие NoSQL хранилищ Cassandra, Scylla;
- Автоматизация задач администрирования процессов разработки и тестирования;
- Проектирование и оптимизация инфраструктуры для развертывания сервисов;
- Создание технической документации по развертыванию и поддержке сервисов;
- Развитие инструментов развертывания сервисов и конфигурирования серверов в различных окружениях;
- Мониторинг состояния сервисов и оперативное решение возникающих проблем;
- Согласование со смежными командами требований в части развертывания приложений.