Камил Мурадов

Поддержка и развитие релизной инфраструктуры PCI-DSS контуров (банковские и платёжные системы Ozon Bank / Ozon Tech):

• Вёл операционную работу и дежурства в контурах pci-dss bank/pay
• Поддерживал легаси-контуры на Docker Swarm и новые на Kubernetes
• Готовил и проходил аудит PCI-DSS со стороны релизных процессов
• Разработал и внедрил в эксплуатацию механизм миграций шардированных БД в контурах pci-dss bank/pay

Реализовал универсальный пайплайн миграций PostgreSQL, ClickHouse и ScyllaDB без редеплоя сервиса-потребителя БД.

Поддержка парка GitLab-раннеров:

• Обслуживал 100+ раннеров на базе Kubernetes, Docker и bare metal
• Разделил конфигурацию тестовых и боевых k8s-раннеров для безопасного тестирования изменений — поднял отдельные инстансы ArgoCD, Vault и GitLab под каждую среду

Операционная работа: дежурства в нескольких ротациях, участие в решении крупных инцидентов, код-ревью изменений в компоненты CI/CD, кросс-доменные сервисные работы со смежными командами, технические скрининги и собеседования кандидатов в команду.

Разработал механизм codefreeze для блокировки релизов во время распродаж:

• Реализовал автоматическое применение и снятие codefreeze (блокировка всех деплоев в Production у бизнес-сервисов) по заданному расписанию
• Добавил динамическое редактирование конфигурации через etcd для экстренного применения/снятия фриза без редеплоя
• Настроил алертинг на события применения и снятия фриза
• Механизм отработал 3 боевых интервала codefreeze во время распродаж Ozon осенью-зимой 2023 (Чёрная пятница, Новый год)

Разработал сервис синхронизации доменных групп Active Directory с группами GitLab: автоматическое присвоение ролей и доступов, включая добавление новых сотрудников при попадании в доменную группу. Обкатал на группах ERP Ozon Tech.

Дежурства и инцидент-менеджмент: участвовал в ротациях, помогал с вопросами по процессам CI/CD и поддерживаемой инфраструктуре (раннеры, k8s, GitLab, собственный Docker-линтер), участвовал в решении крупных инцидентов CI/CD-систем.

Контроль TTM (time to market): встречи с представителями крупных департаментов (склады, маркетплейс, логистика), поддержка систем мониторинга TTM.

Разработал анализатор/линтер Dockerfile'ов и образов для контроля всех Docker-сборок в Ozon (работает на 2500+ проектов и тысячи build-джоб ежедневно):

• Проверки кастомных правил на регулярных выражениях: запрещённые базовые образы, устанавливаемые пакеты, копируемые из репозитория файлы и т.д.
• Контроль размера собранных образов и их слоёв
• Мониторинг: по каждой build-джобе статистика линтинга уходит в индекс Elasticsearch с детализацией по каждому правилу
• Дашборд в Grafana по всем сервисам, отдельным сервисам и конкретным джобам

Разработал сервис расчёта метрики uptime CI/CD-систем и алертинга по ней:

• Сводит в единую метрику LA нод, массовые фейлы CI/CD-джоб, скорость загрузки в/из S3, Docker- и пакетных репозиториев
• Новые метрики добавляются на лету без редеплоя сервиса и сразу учитываются в подсчёте
• Метки критичности: падение критичной части ниже порога обнуляет всю метрику (пороги меняются динамически)
• На основе метрики построены дашборд в Grafana и алерты для быстрого поиска и устранения проблем на CI/CD-платформе Ozon Tech

Реализовал DaemonSet для пре-пула крупных и популярных образов (кэширование слоёв на k8s-нодах, используемых в CI/CD).

Контроль TTM: встречи с департаментами (склады, маркетплейс, логистика), поддержка и контрибьют в системы мониторинга TTM.

Дежурства и инцидент-менеджмент в нескольких ротациях.