Павел Мартынов
Backend, data engineering, distributed highload data processing • Бэкенд разработчик • Data engineer • Ведущий (Lead)
Не ищу работу
Контакты
Опыт работы: 15 лет и 2 месяца
Регистрация: 21.02.2011
Последний визит: 4 месяца назад
Дополнительно: готов к переезду и к удаленной работе
Знание языков:
Обо мне
Ведущий разработчик бэкенд сервисов обработки данных с 10+ летним опытом проектирования, реализации, деплоя и поддержки распределённых систем. Имею опыт разработки как потоковых, так и пакетных систем обработки данных.
Использую языки Scala, Python, F#, C#, SQL. Есть некоторый опыт с Java и C++. Владею паттернами проектирования, ООП, использую практики из функционального программирования. Активно пишу автотесты.
Много занимался DevOps'ом, внедрял Ansible, обкладывал системы метриками и мониторингом.
Большую часть времени работал в методологиях Agile.
Навыки
Большие данные
Scala
C#
F#
Python
Linux
Docker
DevOps
Apache Kafka
Ansible
Опыт работы
- Senior ML engineerСентябрь 2022 — По настоящее время (2 года и 3 месяца)
- ТОП-3 международная компания в области IT-безопасности, один из лучших работодателей РоссииМосква • От 1000 до 5000 сотрудниковВедущий разработчикМарт 2016 — Август 2022 (6 лет и 6 месяцев)
Инструменты: Scala, Python, Docker, Mesos, Kafka, Kafka Connect, Spark, Kudu, Airflow, SQL Server, Elasticsearch, Scylla, Ansible, TeamCity.
Достижения:
- Спроектировал и разработал микросервисную систему по обработке больших данных passive DNS, IP/domain whois и других атрибутов хостов и сетей Интернет. Система состоит из более чем 100 микросервисов и обрабатывает ~50-100k/сек входящих сообщений со ~100 миллиардным рабочим dataset’ом.
- Сэкономил несколько сотен тысяч долларов в год для компании путём перевода решения с дорогостоящих Microsoft Analytics Platform System и SQL Server на open source решения.
- Увеличил частоту и качество деплоев через внедрение подхода Infrastructure as code (Docker, Ansible). Количество деплоев достигает десятков в день.
- Повысил отказоустойчивость микросервисов через внедрение оркестратора контейнеров Mesos/Marathon. Доступность сервиса составляет порядка 99.92%.
- Драматически понизил количество инцидентов путём внедрения системы мониторинга Datadog и системы централизованного логирования ELK (Elasticsearch, Logstash, Kibana, Filebeat). Внедрил практику on-call дежурств.
- Провёл больше 200 технических собеседований для компании. В результате были наняты и адаптированы более 10 разработчиков, тестировщиков и DevOps’ов.
- Внедрил использование Confluence в качестве системы документирования проекта и контролировал своевременную актуализацию документации командой. В нашей базе знаний написано более 1000 статей.
- Внедрил инженерную культуру по поддержке непрерывных циклов деплоя, разработке автотестов (покрытие составляет ~75%), проведения код-ревью. Привил членам команды чувство владения и ответственности за сервис.
Старший разработчикМарт 2013 — Март 2016 (3 года и 1 месяц)Инструменты: .NET, C#, F#, SQL Server, RabbitMQ, Redis, TeamCity.
Достижения:
- Разработал и внедрил замену дорогостоящей системе по аналитической обработки данных на базе Microsoft SQL Server на самописное решение на .NET/F# с вероятностной структурой данных HyperLogLog++.
- Разработал модуль классификации формата файлов с использованием элементов машинного обучения.
- Разработал и внедрил систему скачки приложений из популярных Android-магазинов для последующей их классификации и malware-анализа.
- Решил проблему долгосрочных даунтаймов сервиса путём внедрения системы мониторинга с использованием InfluxDB и кастомных дашбордов (TypeScript, Knockout.js).
- Один из лидеров российской индустрии медиа и развлеченийМосква • От 1000 до 5000 сотрудниковИнженер-программистИюль 2012 — Март 2013 (9 месяцев)
Инструменты: .NET, C#, ASP.NET MVC, SQL Server, WebDriver, TeamCity.
Достижения:
- Разработал несколько новых фич в сервисе eda.ru.
- Внедрил автоматизированное функциональное тестирование на базе Selenium WebDriver.
- Инженер-программистМарт 2011 — Июль 2012 (1 год и 5 месяцев)
Инструменты: .NET, C#, ASP.NET, SQL Server, WebDriver, TeamCity.
Достижения:
- Разработал ряд новых фич в сервисе Контур.Эльба.
- Разработал и внедрил мониторинг ключевых показателей backend’а.
- eConsortian LLCЕкатеринбургРазработчикОктябрь 2009 — Март 2011 (1 год и 6 месяцев)
Инструменты: .NET, C#, ASP.NET, SQL Server, TeamCity.
Достижения:
- Участвовал в разработке ряда Web-приложений на аутсорсе.
- Внедрил unit-тестирование и TeamCity для continuous integration.
Высшее образование
- Электротехнический; ЭТФЯнварь 2004 — Январь 2010 (6 лет)Кафедра "Системы и технологии защиты информации"