Стэк: Apache Hadoop (HDFS, Hive, Spark, YARN, Tez), GreenPlum/ArenaData DB, Apache AirFlow, Bitbucket, Git, TeamCity
Проект, авг. 2023 г. - февр. 2024 г.
ВТБ: проект миграции с Cloudera на ArenaData Hadoop
- отладка ETL процессов
- загрузка с источников и проверка качества данных
- сверка витрин между старой и новой системой
- разработка DAG для Airflow.
Проект, март 2024 г. – настоящее время
ВТБ: разработка витрин данных
- enterprise-разработка витрин на фреймворке заказчика на основе аналитических прототипов
- разработка ETL потоков ведется с использованием GreenPlum/ArenaData DB, AirFlow и др.
Проект, апр. 2024 г. - июнь 2024 г.
СберУнивер: Тестирование курса по экосистеме Hadoop.
- финальное тестирование со стороны действующего разработчика в системе Hadoop
- поиск ошибок и проверка достоверности материалов лекций
- проверка работы системы тестирования
- проверка тренажера (выполнение заданий на кластере Hadoop в составе HDFS, YARN, Tez, Hive, Spark и пр.)
- проверка связанности лекций и заданий.
Специальность: Системы автоматизированного проектирования.
Из профильных предметов можно отметить алгоритмы, C/C++, SQL.