Контакты
Возраст: 31 год
Опыт работы: 6 лет и 9 месяцев
Регистрация: 27.01.2023
Последний визит: сегодня
Гражданство:
Местоположение: Россия, Санкт-Петербург
Дополнительно: готов к удаленной работе
Знание языков:
Обо мне
Последние 5 лет я занимаюсь обработкой данных:
- построением DWH/DataLake
- сбором и обработкой данных из различных источников (ETL, ELT)
- разработкой стриминговых приложений.
Имею опыт использования Hadoop, облака Azure.
Интересует развитие в Big Data
Навыки
Apache Airflow
Базы данных
Apache Spark
Apache Hadoop
Большие данные
Scala
SQL
Python
Apache Kafka
DWH
Опыт работы
- Инженер данныхИюнь 2020 — По настоящее время (4 года и 6 месяцев)
На текущем месте работы поучаствовал в двух проектах:
1) Разработка КХД на Azure Synapse:
Azure Synapse, Data Factory, Blob Storage, KeyVault, PySpark
2) C января 2021 года перевод DWH с Azure на Hadoop:
Перенос основных данных из Azure в Hadoop (Hive tables)
Написание преобразований базовых слоев данных, создание витрин на Apache Spark (scala)
Написание unit-тестов (ScalaTest)
Создание streaming приложений Spark Structured Streaming
Работа с noSql базами данных: HBase, Cassandra
Оркестрация пайплайнов в Jenkins, Airflow
Базовый опыт разработки многопоточных приложений
Windows Azure • Apache Airflow • Apache Spark • Scala • SQL • Linux • Apache Kafka • Apache Hadoop - dwh разработчикАпрель 2019 — Июнь 2020 (1 год и 3 месяца)
1. Разработка хранилищ данных на MS SQL Server:
Разработка базовых слоев DWH, витрин, таблицу, представлений,
процедур, индексов, оптимизация запросов
Разработка ETL процессов на базе SSIS
Базовые преобразования в Apache Spark (pySpark DF API)
2. Разработка отчетности на базе Power BI, SSRS
SQL • Microsoft SQL • Python • SSIS • Apache Spark - bi разработчикМарт 2018 — Апрель 2019 (1 год и 2 месяца)
Разработка отчетности на базе Excel, Power BI
Написание SQL запросов для ad-hoc аналитики (Oracle)
Создание витрин данных в MS Sql
Автоматизация рассылки отчетности через python
SQL • Microsoft SQL • Oracle • Python
Высшее образование
СПбПУ Петра Великого
Санкт-Петербургский политехнический университет Петра ВеликогоСанкт-Петербург • 4609 выпускниковИнженерно-строительный; ИСФСентябрь 2010 — Июнь 2016 (5 лет и 9 месяцев)Бакалавриат: Строительство
Магистратура: Управление строительными процессами
Дополнительное образование
SQL-ex
SQL DMLМарт 2018 — Апрель 2019 (1 год и 1 месяц)Решил порядка 150 задач на sql на темы:
джойны, агрегации, оконные функции, табличные выражение, модификация данных
Ссылка на сертификат:
https://www.sql-ex.ru/certification/confirm.php?cert_id=A19407012