Дмитрий Половинкин
Обо мне
Data Engineer с опытом в разработке и построении ETL пайплайнов, хорошо знаю и использую SQL и Python, так же разрабатывал DWH, работал с облаками (GCP), использовал C# и LINQ.
Работал с различными базами данных (BigQuery, Snowflake, Cassandra, Oracle, проприетарные).
Владение английским - C1 / Advanced
Life-long learner, стараюсь узнавать что-то новое почти каждый день, несложно даются почти любые новые технологии. Интересна область работы с распределенными системами и технологии как Spark, Kafka.
Участие в профсообществах
Опыт работы
- Data EngineerФевраль 2022 — По настоящее время (7 месяцев)
- Разработка ПО, анализ данных и машинное обучениеМосква • От 100 до 1000 сотрудниковData EngineerАпрель 2021 — Ноябрь 2021 (8 месяцев)
Основной дата инженер на проекте для большой международной фармацевтической компании + DE на AI проекте для крупного ретейла
- Разработка ETL пайплайнов для обработки данных на Python (pandas, requests, json), Prefect (аналог Airflow) и Talend
- Написание продвинутых SQL запросов и разработка хранилища данных (DWH) в Google BigQuery, работа с Google Cloud Platform (GCP), Docker, Gitlab CI/CD, удаленные Linux сервера
- Интеграция различных API и работа с REST сервисами
Python • Pandas • Google BigQuery • RESTful API • ETL • Google Cloud Platform • Apache Airflow • SQL • Git • Базы данных - A global fintech leader with $4 billion in revenueСанкт-Петербург • От 100 до 1000 сотрудниковData EngineerАпрель 2020 — Март 2021 (1 год)
Data engineering во время интеграции инструментов компании для клиента - самого большого швейцарского банка (UBS), в мои обязанности входили:
- Разрабатывал, настраивал и поддерживал трансформации данных на основе внутреннего ETL инструмента с back-end на C # и своей NoSQL базой данных
- Регулярно использовал C # / LINQ для более сложных процессов, Python для прикладных задач по данным
- Приводил в порядок и постоянное улучшал документацию по проекту и ETL инструменту
- Ежедневная коммуникация с международной командой на английском устно и письменно
- Иногда работал с S3, AWS и скриптами PowerShell
C# • Linq • ETL • Базы данных • Git • Bash • Python • Анализ требований - Data EngineerНоябрь 2019 — Февраль 2020 (4 месяца)
Разработка хранилищ данных и построение витрин
SQL • Базы данных • Oracle - Ведущий мировой поставщик услуг по разработке программного обеспечения и цифровых платформСанкт-Петербург • Более 5000 сотрудниковETL Software EngineerАпрель 2019 — Ноябрь 2019 (8 месяцев)
Разработка ETL в области Business Intelligence
- Завершили большой проект от начала до конца вместе с командой для крупного канадского заказчика
- Разрабатывал и мигрировал многочисленные ETL-пайплайны в Talend Open Studio
- Использовал такие БД как Snowflake, Cassandra, также MSSQL, PostgreSQL
- Работал в Scrum команде, распределенной по миру
ETL • Java • SQL • Apache Cassandra • Git • Большие данные • Business intelligence • BI - Международная IT-компания, занимающая разработкой ПО на заказ, а также разработкой собственного продуктаСанкт-Петербург • От 100 до 1000 сотрудниковBusiness Analyst InternДекабрь 2018 — Февраль 2019 (3 месяца)
- Писал требования для крупного веб-приложения для страховой отрасли США (appulate.com), работал над новой функциональностью и улучшением существующей.
- Заполнял Confluence документацией, работал с разработчиками, аналитиками данных и менеджерами.
- Получил опыт работы в IT в хорошо организованной команде.
Высшее образование
- Освоения подземного пространстваСентябрь 2012 — Сентябрь 2018 (6 лет)
Специалист (учебная степень).
Специальность - строительство подземных сооружений
Был старостой группы
Дополнительное образование
- Лаборатория по Business IntelligenceАпрель 2019 — Октябрь 2019 (6 месяцев)
Полностью прошел курс в EPAM Systems по Business Intelligence длительностью примерно 6 месяцев (Апрель - октябрь 2019 года, 3 раза в неделю), курс состоял из интенсивной теоретического и практического обучения. Вместе с группой обучился различным инструментам для работы с данными и методов BI, как их использовать и сопутствующие навыки.
Изучил аналитический SQL, Power BI, Oracle DWH, Talend, Tableau, CI/CD, Git.
Business intelligence • Oracle • SQL • DWH • ETL • Большие данные • Git • Базы данных