Системный администратор Linux

Компания «Практика» http://sd-praktika.ru/ разрабатывает системы электронного документооборота. Ими пользуются как крупные государственные органы, так и коммерческие заказчики. Например, правительство Московской области целиком сидит на документообороте, автоматизированном с помощью СД «Практика».

Продукт существует больше десяти лет, написано большое количество кода, система обросла своими best practices и узкоспециальными решениями, не всегда очевидными с первого взгляда, и их все нужно поддерживать. Система существует в виде облака и в виде self-hosted решения, которое часто выбирают крупные заказчики.

В распределённой команде около 300 человек в разных офисах, головной находится в казанском ИТ-Парке. Это программисты, тестировщики, руководители проектов, аналитики, внедренцы – в общем, люди, близкие к IT и разработке.

Система работает на Linux – большей частью это CentOS версии 7, но кое-где встречается ещё 6 версия и RedHat. Используется виртуализация от VMware. В качестве стандарта мониторинга повсеместно установлен Zabbix. Для организации резервирования и бэкапов применяется собственная разработка – горячая копия данных может занимать до 200 Tb. Сетевое оборудование – в основном Juniper.

Технологический стек – PHP7, веб-сервер – nginx, в настоящий момент идёт замена последних установок Oracle на PostgreSQL. Кое-где присутствует MySQL, в качестве хранилища «ключ-значение» используется Redis. Менеджер очередей – RabbitMQ, из экзотики ещё кое-где присутствует код на Node.js. Из того, с чем предстоит работать каждый день, стоит упомянуть ещё Elasticsearch, Kibana и Graylog, haproxy, pgbouncer и очень местами Symfony.

Всё это живёт на нескольких сотнях серверов, распределённых по датацетрнам (в Москве и Казани), которые связаны друг с другом по L2.

Для управления конфигурациями пробуют использовать Ansible, инсталляция сделана через RPM. Есть некое подобие CI – на тестовых стендах развёрнут Jenkins, с помощью которого происходит функциональное (Selenium) и нагрузочное (Jmeter) тестирование, но не по коммиту, а по расписанию, раз в день, ночью. Код хранится в собственном git-репозитории. Разработка ведётся ветками, методология – несколько модифицированный под локальные нужды gitflow. Задачи ставятся и ведутся в phabricator (это такой таск-трекер, google it!)

Для эксплуатации существующих инсталляций и поддержки процесса разработки системы нужен сильный и надёжный системный администратор.

Основные задачи:

– Поддержка и эксплуатация существующих установок;

– Мониторинг работоспособности всех узлов и контрольных точек;

– Починка их в случае, если мониторинг таки найдёт что-то нерабочее;

– Управление деплоями и хотфиксами (да, такое, разумеется, тоже бывает);

– Изменения в конфигурациях систем, оперативные и плановые;

– Поиск и решение оперативных проблем;

– Расследование инцидентов (и принятие мер, чтобы инциденты больше не возникали);

– Дежурства по скользящему графику (все любят спать ночью);

В связи с этим

Обязательно нужно:

– Хорошо представлять себе Linux изнутри;

– Уметь не задумываясь работать с командной строкой;

– Иметь опыт работы с postgres;

– Знать, как устроена сеть: tcp/udp, timeouts, L2/L3/L7 в частности и OSI в целом;

– Хорошо понимать процесс разработки крупных систем;

– Иметь опыт эксплуатации высоконагруженных систем;

– Быть ответственным и внимательным: простои и ошибки в сервисе у крупных клиентов просто недопустимы!

Будет дополнительным преимуществом:

– Общее представление о работе DBA;

– Опыт работы с сетевым оборудованием на высоком уровне (большие маршрутизаторы);

Как устроена жизнь в компании:

– Офис в ИТ-Парке, в центре города (один из лучших офисных центров современной Казани), 600 метров от метро пл. Тукая;

– Рабочий график с 9 до 18;

– Полностью белое оформление, с соблюдением ТК;

– Отпуск 28 календарных дней (двумя частями);

– Случаются оплачиваемые переработки или выходные (нечасто);

– У отдела эксплуатации и системного администрирования бывают также оплачиваемые дежурства (регламент, скользящий график);

– Есть внутреннее обучение, например, приезжали читать лекции из Postgres Consulting;

– Отличный летний корпоратив (последний раз был в Боровом Матюшино), день программиста;

– Зарплата 60-80 тысяч рублей на руки (после налогов).