Тимлид разработки БД ETL

Компания Бюджетные и финансовые технологии занимается разработкой проектных решений на базе собственных программных и консалтинговых продуктов для госсектора и бизнеса.

Проекты, выполняемые нами, меняют в лучшую сторону жизнь людей по всей стране!

За 25 лет на IT-рынке:

• реализовано более 6000 проектов в 80 регионах и более 10 масштабных федеральных проектов;
• победитель в номинации «Лучший поставщик в сфере информационных технологий» в течение 7 лет;
• входим в ТОП-25 ведущих разработчиков для госсектора по результатам рейтингов информационно-аналитических агентств Cnews Analytics и Tadviser.

Сегодня мы в поиске Тимлида разработки БД ETL на крупный федеральный проект по разработке и внедрению информационной системы, консолидации и нормализации данных.

Проект предназначен для формирования централизованного консолидированного и нормализированного массива первичных исторических данных из информационных систем ПФР, ФСС и МСЭ для последующей миграции в государственную информационную систему «Единая централизованная цифровая платформа в социальной среде».

Проект охватывает весь массив данных 3-х разрозненных информационных систем ПФР, ФСС, МСЭ, который необходимо провести через разработанную автоматизированную систему очистки и гармонизации. Объем хранимых данных во всех подсистемах более 2 млрд данных, состоящие из персональных данных граждан, страхователей, всех видов выплат и предоставленных услугах Социальными ведомствами: ПФР, ФСС, МСЭ.

На данной позиции Вам предстоит участие в разработке, сопровождении, внедрении и развитии систем/подсистем/функциональных модулей автоматизирующих бизнес процессы федерального ведомства:

• Управление командой разработки, постановка задач, приемка и контроль выполнения;
• Участие в проектировании систем и их интеграции;
• Контроль за соблюдением архитектурных решений, соответствием разработки техническому решению, исходным кодом;
• Согласование взаимодействия компонентов программного обеспечения;
• Реализация механизмов оркестрации и автоматизации ETL-процесса;
• Разработка скриптов на уровне инструментов ETL;
• Участие в разработке хранилища данных (Big Data);
• Написание и оптимизацию SQL запросов;
• Разработка технической и проектной документации.

Мы ждем от вас:

• Опыт управления командой разработки;
• Опыт планирования работ, оценки объемов работ;
• Опыт работы с любым промышленным ETL –решением;
• Опыт работы с Apache Airflow;
• Опыт ведения ООП - разработки на Python 3.6+;
• Опыт проектирования и разработки сложных SQL-процедур и запросов;
• Опыт оптимизации производительности SQL-процедур и запросов;
• Опыт проектирования и разработки процедур очистки и контроля качества данных;
• Опыт оптимизации и настройки производительности ETL-процессов;
• Опыт построения мониторинга метрик качества ETL-процессов;
• Опыт тестирования производительности ETL-процедур на большом объеме данных и большим параллелизмом операций (создание нагрузки, съем метрик, анализ);
• Навыки администрирования промышленных ETL платформ;
• Опыт командной разработки: CI/CD, gitFlow, Jira, ведение внутренних репозиториев пакетов.

Будет плюсом:

• Понимание особенностей работы СУБД Postgres (например, работы индексов на операциях чтения и вставки);
• Опыт работы с Apache Spark (PySpark Framework);
• Опыт работы с Clickhouse;
• Опыт работы с DBT Framework;
• Опыт работы с JDBC;
• Опыт покрытия и поддержки работы наборов unit-тестов и интеграционных тестов (PyTest или аналог);
• Опыт работы с диагностическим стеком ELK (в любой реализации);
• Опыт написания проектной документации;
• Владение навыками работы с системами мониторинга: умение выделять метрики, анализировать и интерпретировать данные мониторинга (Grafana, Zabbix, Graylog, ELK, Nagios или другие);
• Опыт работы с Linux;
• Опыт работы с Docker.

• полное соблюдение ТК РФ;
• достойная заработная плата;
• профессиональный коллектив;
• возможность работать удаленно;
• корпоративное обучение за счет компании (митапы, тренинги, вебинары и т.д.);
• специальные предложения от партнеров (спорт и изучение английского языка со скидкой);
• ДМС после испытательного срока.