17 лет в Java разработке. Из них 13 лет на Big Data проектах. Также крайние 3 года касался DevOps задач.
О себе
Программирую на Java около 17 лет. Мои сильные стороны - Java backend, опыт Big Data проектов, понимание и опыт DevOps практик и инструментов. Английский свободный.
Мои навыки:
Java: Java core, concurrency, collections, streams, Maven, Gradle и т.д.
Spring: Spring Core, Spring Web, Spring Boot, Spring Batch и т.д.
DevOps: Docker, Docker Compose, Jenkins, Gitlab, Grafana, Prometheus, Kubernetes, Terraform, Infrastructure as Code и т.д.
AWS: EMR, Glue, Athena, S3, RDS, ECS, CloudFormation, SQS и т.д.
Big Data: Spark, Hadoop, HBase, Pig, Hive, MapReduce, Avro, Parquet, PrestoDB, JCascalog и т.д.
SQL: PostgreSQL, MySQL, MS SQL, Oracle.
Другое: Elasticsearch, RabbitMQ, Web технологии (основы HTML, CSS и JavaScript), Unix / Linux консоль, Binance Java API.
17 лет в Java разработке. Из них 13 лет на Big Data проектах. Также крайние 3 года касался DevOps задач.
Big Data сервисы (работа с данными нескольких тысяч ветеринарных клиник).
IDEXX - крупнейший в мире вендор ПО и оборудования для ветеринаров.
Основные компоненты проекта: ETL загрузка данных из тысяч ветеринарных клиник, MapReduce/Spark репорты, интеграция с внешними отделами и клиентами компании в виде REST запросов и взаимодействия с множеством баз данных, backend для внутреннего UI-приложения, построение динамической инфраструктуры в Amazon Web Services (AWS), микросервисная архитектура с синхронным (REST) и асинхронным (RabbitMQ) взаимодействием.
Часто выполнял самые сложные задачи проекта, например: прикручивал новые инструменты/сервисы (Spark, EMR, tracing и т.д.), распиливал монолит на микросервисы, создавал с нуля модули и подпроекты, создавал инфраструктуру для нагрузочного тестирования, делал большие рефакторинги, участвовал в расследовании и срочном исправлении критических проблем на проде и т.д.
Часто касался DevOps части, из примечательного - полностью переделал инфраструктуру наших Jenkins jobs.
Фрилансил как Hadoop эксперт.
Использовал в основном Pig, Java и немного Python. Обзор наиболее интересных задач и клиентов:
- Magnetic (a marketing platform company): помогал Big Data команде как Pig эксперт, т. е. написание Pig скриптов, code review / refactoring, помогал с формированием Pig coding guidelines на проекте. Вел переход с CSV на Avro формат, где пришлось сделать патч для Pig Avro компонента.
- Look At Media (an Internet magazine): помогал клиенту основывать инфраструктуру Big Data аналитики, т. е. написание изначальных Hadoop jobs, помощь DevOps команде с установкой Hadoop кластера.
- Terapeak (an analytics company): сделал успешный PoC проекта по data mining для eBay транзакций. Спустя время был нанят повторно для ETL задач.
Аналитика логов таргетированной рекламы.
Проект, где я познакомился с Hadoop / Big Data. Работал над Hadoop jobs для кластера в 50 нод. Сделал успешный PoC использования Hive на проекте. Получил бесценный опыт тонкостей работы с данными, в особенности работа с неконсистентностью и некорректностью данных.
Электронное бронирование авиабилетов.
Был главным экспертом по интеграции с системой бронирования Sabre через SOAP API. Коммуницировал напрямую с заказчиком - агентством бронирования. С нуля реализовал инновационный процесс бронирования, заточенный под профессиональных работников агентства.
Окончил стажировку и был принят в штат, где участвовал в разработке системы управления рекламы.
Принимал участие в разработке веб-приложений для гос. заказов.
Изучение веб-технологий (HTML, CSS, JavaScript) и кросс-браузерной верстки.