Даниил Устинов

Работа с оборудованием Cisco, Arista, Mellanox.

Автоматизация всего и вся на Python, в частности, актуализация Netbox, перезапуск процессов на оборудовании, через которые утекает память и другое.

Написание многопоточных и многопроцессовых приложений на Python.

Администрирование Linux, Jenkins, Docker, Kubernetes, ISE, Oxidized, Git и другого

Контейнеризация ПО, адаптация под k8s-jenkins

Достижения:

Когда я присоединился к направлению эксплуатации сети вся инфраструктура для запуска кода, которая у нас была это одна единственная машина, на которой каждый запускал свой код. Все секреты хранились в конфигах или в переменных среды у каждого из пользователей.

Я создал инфраструктуру из Gitlab, Jenkins, Docker и Kubernetes которая всегда запускает именно то, что в гите и предоставляет очень простой и удобный доступ к логам и конфигурации софта. Секреты хранятся в защищённом хранилище Java.

У нас было несколько сервисов, доступ в веб интерфейс которых осуществлялся с использованием доменных учётных записей, но https на этих сервисах включён не был.

Я устранил эту проблему.

Информация в нашей DCIM системе, Netbox, была неактуальна на столько, что вместо Нетбокса проще было иметь список оборудования и его адресов так как в Нетбоксе всё равно ничего не отображено корректно.

Я создал ПО которое собирает с оборудования данные о VRF, вланах, префиксах, интерфейсах и адресах, сравнивает эти данные с Нетбоксом и, если нужно, обновляет данные в Нетбоксе. У этого ПО есть большое количество опций, которые позволяют настроить его именно так, как нужно пользователю.

На некоторых моделях Cisco Nexus есть проблема с утечкой памяти. Создал ПО, которое перезапускает процесс SNMPd, через который утекает память.

Не каждая из наших систем бекапилась. Удостоверился, что бекапы есть.

Нереализованные идеи:

Мониторинг потерь: очень полезно знать, есть ли проблемы на сети между физическими и логическими локациями есть ли проблемы с доступом до внешних ресурсов. Я уже создавал такую систему ранее, но мониторинг каждого канала и маршрута нужно было настраивать руками. Нашёл способ автоматизировать настройку мониторинга.

Мониторинг префиксов: несколько раз случались инциденты из-за того, что из двух разных участков сети анонсировались одинаковые префиксы. Было бы здорово мониторить наличие дублированных префиксов. Также может быть полезна система, в веб интерфейс которой можно ввести два префикса и она визуализирует путь трафика между этими префиксами.

Аурига, помимо всего прочего, предоставляет персонал для других компаний. Я был занят в одном из проектов Intel. Работал с такими вещами как:

Jenkins

Ansible

Gitlab

Docker

Kubernetes

Linux

Поддержание пайплайнов CI в рабочем состоянии.

Модификация пайплайнов.

Написание скриптов на python и groovy.

Мониторинг оборудования.

Траблшутинг Linux - серверов

На должности руководителя отдела выполнял следующее:

Планировал развитие информационных систем и услуг, предоставляемых отделом.

Ставил перед отделом цели. Исходя из этих целей составлял задачи.

Делегировал задачи с учётом загруженности, индивидуальных особенностей и навыков каждого сотрудника.

Контролировал и оценивал выполнение задач.

Анализировал и оценивал деятельность отдела.

Помогал сотрудникам с возникающими у них трудностями и вопросами.

Контролировал соблюдение SLA по заявкам.

Вёл контроль за своевременной эскалацией инцидентов.

Принимал меры для предотвращения возникновения подобных инцидентов в будущем.

Выявлял и устранял слабые места в инфраструктуре.

Давал сотрудникам обратную связь для улучшения их работы.

Получал у руководства обратную связь чтобы улучшить свою работу.

Доставал оборудование для сотрудников.

Занимался организацией плановых и аварийных работ.

Согласовывал работы со смежными подразделениями и руководством.

Писал и согласовывал служебные записки.

Создавал красивые таблицы и презентации для руководства.

Готовил письма и презентации для руководства.

Диагностировал и решал инциденты, возникающих на сети. Проводил траблшутинг совместно с коллегами из смежных подразделений.

Настраивал оборудование и выполнял заявки пользователей, чтобы не забывать, что именно делают сотрудники отдела.

Взаимодействовал с руководителями и сотрудниками других подразделений для совместного выполнения задач и решения проблем.

Мотивировал сотрудников на выполнение задач.

Каждый понедельник, после получения задач от руководства, проводил собрания отдела, на которых рассказывал, что, почему и в какой срок нужно сделать.

Поддерживал хорошие отношения со своими сотрудниками, сотрудниками других подразделений и вышестоящими руководителями.

Вёл тайм-менеджмент своего подразделения.

Вёл учёт оборудования, его конфигурации и каналов связи в системе Netbox.

Вёл базу знаний в системе Confluence.

Ставил задачи в системе Jira и контролировал их выполнение.

Контролировал работу дежурных и главных инженеров: просматривал логи, системы мониторинга, заявки и инциденты.

Подбирал и закупал инструменты, расходные материалы, оборудование.

Составлял бюджет отдела.

Проводил аудит оборудования и мощностей, находящихся в зоне ответственности всего управления.

Осуществлял контроль за трудовой дисциплиной.

Общался с Cisco TAC письменно и по телефону.

Писал статьи, инструкции, регламенты.

Занимался организацией мониторинга, траблшутинга и эксплуатации сети.

Совершенствовал систему мотивации (KPI).

Проводил собеседования с кандидатами на вакансии в отделе.

Занимался подбором и организацией проведения обучающих курсов.

Под моим руководством было сделано:

• Нашёл индивидуальный подход к каждому из своих сотрудников.

• Создал структуру базы знаний Управления Телекоммуникаций и шаблонов для статей в этой базе, следил за соблюдением этой структуры и шаблонов.

• Была создана карта каналов связи, предоставляемых провайдерами (включая выход в интернет). На карте отражена информация о провайдерах, договорах, физических адресах, портах оборудования и пропускной способности каналов.

• Всё оборудование Управления Телекоммуникаций начало мониторится.

• Все каналы связи начали мониторится.

• Логи со всего оборудования Управления Телекоммуникаций начали собираться в систему с удобным и понятным интерфейсом.

• С каждого из объектов компании начал собираться Netflow.

• Когда я был дежурным администратором, в компании была самописная система мониторинга VPN-туннелей. Став руководителем, я вернул её в строй и улучшил.

• Была введена в строй и доведена до ума система мониторинга, состоящая Observium, Zabbix, Smokeping, Logstash и Kibana и ПО, написанного моими сотрудниками. Вот что она делает:

1) Мониторятся задержки на канале связи, потери и статус канала. При возникновении проблемы на канале связи дежурному в почту и на телефон приходит понятное ему оповещение, содержащие информацию о канале связи, на котором возникла проблема, провайдере, номере договора и контактах провайдера. Также в системе мониторинга загорается красным соответствующая этому каналу иконка.

2) О недоступности сетевых устройств, а также об их высокой загрузке дежурному приходит понятное ему оповещение, содержащее информацию об имени устройства и о том, что с ним не так.

3) Логи собираются со всего оборудования Управления Телекоммуникаций. Они разделены на важные и остальные. Важные логи смотрит дежурный. Также о важных логах приходят оповещения.

4) Netflow собирается с ядрового оборудования на каждом из объектов компании в систему с удобным и понятным интерфейсом.

5) При падении VPN-туннеля дежурному в почту и на телефон приходит понятное ему оповещение, содержащие информацию о VPN-туннеле, которая облегчает быстрое и качественное проведение диагностики. Также в системе мониторинга загорается красным соответствующая этому туннелю иконка.

• Введены в эксплуатацию системы Ansible и Jenkins, которые значительно облегчают администрирование большого количества оборудования.

• Ведётся полный список оборудования Управления Телекоммуникаций.

• Организовано дежурство главных инженеров в выходные дни. Графики дежурств всегда держится в актуальном состоянии. Перед выходными человеку приходит смс с напоминанием.

В должности главного инженера выполнял такие задачи, как:

Назначался ответственным за проект в группу их 2-4 человек. Распределял задачи между членами группы и осуществлял контроль за их выполнением.

Составление списка требований к оборудованию и услугам, согласование этого списка с руководством

Подбор комплектации оборудования через конфигуратор Cisco

Подбор услуг - интернет-каналы, прокладка оптики, монтаж СКС, другое

Поиск поставщиков и подрядчиков

Передача договоров на согласование, передача счетов на оплату

Проведение различных тестирований

Проведение демонстраций для руководства

Проектирование сетевой инфраструктуры "с нуля" для дата-центров и кампусных сетей

Проектирование изменений в сетевой инфраструктуре уже существующих объектов

Согласование проектов сетевой инфраструктуры с руководством

Взаимодействовал с коллегами из других отделов. Выяснял, какой сетевой функционал им требуется.

Выявлял недочёты в существующей конфигурации оборудования и исправлял их, либо сообщал о них руководству

Выполнял эскалированные заявки

Настраивал VPN-доступ для сотрудников компании и специалистов других организаций

Выявлял и устранял неисправности на сети

Анализировал логи и дампы трафика.

Писал и обновлял инструкции и статьи в wiki отдела

Составлял планы работ и проводил работы на сети компании

Взаимодействовал с инженерами и менеджерами компаний-партнёров

Вёл переговоры по поводу обучения сотрудников отдела с менеджерами учебных центров

Добавлял в системы мониторинга новое оборудование и сенсоры, актуализировал уже имеющиеся

Настраивал сетевое оборудование

Рисовал схемы в MS Visio и на бумаге

Общался со службой поддержки производителей оборудования письменно и устно (русский и английский)

Отчитывался о проделанной работе

и другое

Некоторые из моих достижений:

Первым в России установил IR829 в автомобиль. Если увидите Майбах, S-class или подобный автомобиль с одной или несколькими ANT-5-4G2WL2G1-O на крышке багажника - я так или иначе приложил к этому руку.

Во время подготовки к выставке ретейла, проходящей в Центре Международной Торговли, я и несколько моих коллег из других подразделений успешно диагностировали и решили проблему с front и back end-ами продукта, который компания планировала продавать.

После этого в сжатые сроки развернул сеть на стенде компании внутри ЦМТ. Сеть позволяла демонстрационому стенду подключаться к своему back-end-у, а сотрудникам компании иметь доступ к почте, интернету и своим офисным компьютерам,

а также позволяла использовать корпоративные wifi-телефоны.

Выставка прошла успешно. Компания получила контракты.

Внедрение в компании проводного 802.1x с использованием Cisco ISE, что повысило уровень сетевой безопасности.

Соединение многих объектов компании оптическими линками, что позволило повысить отказоустойчивость сетевого соединения, и дало возможность передавать значительно больший объём данных.

Организовал резервные каналы связи, в том числе, спутниковые, на удалённых объектах компании.

Я всячески проявлял инициативу, брал на себя интересные задачи, обращался к руководству с предложениями по внедрению новых сервисов в сети компании и улучшению уже существующих.

Осуществлял мониторинг доступности оборудования, статуса ipsec-туннелей, количества подключённых через мобильные сети терминалов, потерь пакетов на каналах связи. Выявлял и устранял проблемы на различных участках сети. Производил оповещение руководства при необходимости.

Анализировал логи и дампы трафика.

Выявлял недочёты в существующей конфигурации оборудования и исправлял их, либо сообщал о них руководству.

Настраивал оборудование.

Участвовал в разработке и обсуждении схем подключения новых объектов сети, выдвигал правки и свои варианты.

Писал и обновлял инструкции и статьи в wiki отдела.

Принимал и выполнял заявки по:

настройке телефонов, линий и переадресации

созданию новых ipsec туннелей и перенастройке существующих

коммутации розеток

передаче проблем с терминалами, подключёнными через мобильные сети операторам связи

Участвовал в проведении работ на сети компании.

Развёртывал системы мониторинга, добавлял в них новые устройства и сенсоры. Следил за актуальностью существующих устройств и сенсоров, в частности, установил Cisco Prime Infrastructure в производственную среду и занимался актуализацией этой системы, также заводил оборудование и сенсоры в PRTG.

Составлял отчёты относительно событий, произошедших за смену, сообщений, обнаруженных в логах, поступивших заявок.

Выдвигал предложения по улучшению работы службы мониторинга, всячески проявлял инициативу.

Общался со службой поддержки производителей оборудования, (в основном Polycom и Cisco TAC) письменно и устно (русский и английский)

Проводил отбор оборудования на предмет наличия необходимых функций.

В мои обязанности входило подключение/отключение клиентов, проработка возможности подключения, организация L2 и L3 каналов, переговоры с инженерами партнёров, настройка оборудования различной сложности, функции 2 линии технической поддержки, выезды к клиентам и на узлы связи для выявления и устранения неисправностей.

Наш отдел занимается мониторингом и устранением неисправностей сетей, мониторингом телефонного трафика. В обязанности входит мониторинг состояния хостов восьми сетей при помощи систем nagios и spectrum, извещение инженеров, техподдержки и начальства об авариях, диагностика причин аварий на основании сведений, полученных самостоятельно и от контактных лиц на объектах.

В обязанности также входит мониторинг телефонного трафика (VoIP и традиционной телефонии) при помощи программы breezz и специальных почтовых извещений, сообщение инженерам, менеджерам и техподдержке о случаях фрода, создание проектов на выезд монтажников на объекты с различными целями.

Отдел ведёт отчётность посредством веб-журнала и и word-овских файлов, отправляемых руководству.

Половину рабочего дня я проводил в офисе Арвал (arval.ru), в качестве приходящего системного администратора. В мои обязанности входили поддержание компьютеров пользователей в рабочем состоянии, установка и настройка операционных систем и ПО, обслуживание оргтехники, ведение переписки с вышестоящим отделом технической поддержки и службами технической поддержки сторонних организаций, выполнение разовых поручений, например, получение ключей для специализированного ПО.

Все задания, которые я мог выполнить сам, выполнялись без задержек. Для выполнения остальных приходилось связываться с вышестоящим отделом ТП.

Не допустил простоев в работе, которые могли быть повлечены вышедшим из строя оборудованием и неверно настроенным / отсутсвующим ПО.

Имею рекомендательное письмо.

Вторую половину дня я проводил на объектах клиентов, где был занят установкой и устранением проблем с оборудованием и программным обеспечением, его настройкой, прокладкой сетей, или в офисе компании, где занимался тем же.

Выполнял работы максимально быстро, не бросая неполучающиеся задачи. Ни разу не оказался вовлечённым в конфликтную ситуацию с клиентом.