Тимлид разработки БД ETL

Местоположение и тип занятости

Полный рабочий деньМожно удаленно

Компания

Разработчик программных продуктов и заказных решений для государственного сектора

Описание вакансии

Условия работы

Компания Бюджетные и финансовые технологии занимается разработкой проектных решений на базе собственных программных и консалтинговых продуктов для госсектора и бизнеса.

Проекты, выполняемые нами, меняют в лучшую сторону жизнь людей по всей стране!

За 25 лет на IT-рынке:

  • реализовано более 6000 проектов в 80 регионах и более 10 масштабных федеральных проектов;
  • победитель в номинации «Лучший поставщик в сфере информационных технологий» в течение 7 лет;
  • входим в ТОП-25 ведущих разработчиков для госсектора по результатам рейтингов информационно-аналитических агентств Cnews Analytics и Tadviser.

Сегодня мы в поиске Тимлида разработки БД ETL на крупный федеральный проект по разработке и внедрению информационной системы, консолидации и нормализации данных.

Проект предназначен для формирования централизованного консолидированного и нормализированного массива первичных исторических данных из информационных систем ПФР, ФСС и МСЭ для последующей миграции в государственную информационную систему «Единая централизованная цифровая платформа в социальной среде».

Проект охватывает весь массив данных 3-х разрозненных информационных систем ПФР, ФСС, МСЭ, который необходимо провести через разработанную автоматизированную систему очистки и гармонизации. Объем хранимых данных во всех подсистемах более 2 млрд данных, состоящие из персональных данных граждан, страхователей, всех видов выплат и предоставленных услугах Социальными ведомствами: ПФР, ФСС, МСЭ.

На данной позиции Вам предстоит участие в разработке, сопровождении, внедрении и развитии систем/подсистем/функциональных модулей автоматизирующих бизнес процессы федерального ведомства:

  • Управление командой разработки, постановка задач, приемка и контроль выполнения;
  • Участие в проектировании систем и их интеграции;
  • Контроль за соблюдением архитектурных решений, соответствием разработки техническому решению, исходным кодом;
  • Согласование взаимодействия компонентов программного обеспечения;
  • Реализация механизмов оркестрации и автоматизации ETL-процесса;
  • Разработка скриптов на уровне инструментов ETL;
  • Участие в разработке хранилища данных (Big Data);
  • Написание и оптимизацию SQL запросов;
  • Разработка технической и проектной документации.

Мы ждем от вас:

  • Опыт управления командой разработки;
  • Опыт планирования работ, оценки объемов работ;
  • Опыт работы с любым промышленным ETL –решением;
  • Опыт работы с Apache Airflow;
  • Опыт ведения ООП - разработки на Python 3.6+;
  • Опыт проектирования и разработки сложных SQL-процедур и запросов;
  • Опыт оптимизации производительности SQL-процедур и запросов;
  • Опыт проектирования и разработки процедур очистки и контроля качества данных;
  • Опыт оптимизации и настройки производительности ETL-процессов;
  • Опыт построения мониторинга метрик качества ETL-процессов;
  • Опыт тестирования производительности ETL-процедур на большом объеме данных и большим параллелизмом операций (создание нагрузки, съем метрик, анализ);
  • Навыки администрирования промышленных ETL платформ;
  • Опыт командной разработки: CI/CD, gitFlow, Jira, ведение внутренних репозиториев пакетов.

Будет плюсом:

  • Понимание особенностей работы СУБД Postgres (например, работы индексов на операциях чтения и вставки);
  • Опыт работы с Apache Spark (PySpark Framework);
  • Опыт работы с Clickhouse;
  • Опыт работы с DBT Framework;
  • Опыт работы с JDBC;
  • Опыт покрытия и поддержки работы наборов unit-тестов и интеграционных тестов (PyTest или аналог);
  • Опыт работы с диагностическим стеком ELK (в любой реализации);
  • Опыт написания проектной документации;
  • Владение навыками работы с системами мониторинга: умение выделять метрики, анализировать и интерпретировать данные мониторинга (Grafana, Zabbix, Graylog, ELK, Nagios или другие);
  • Опыт работы с Linux;
  • Опыт работы с Docker.

Бонусы

  • полное соблюдение ТК РФ;
  • достойная заработная плата;
  • профессиональный коллектив;
  • возможность работать удаленно;
  • корпоративное обучение за счет компании (митапы, тренинги, вебинары и т.д.);
  • специальные предложения от партнеров (спорт и изучение английского языка со скидкой);
  • ДМС после испытательного срока.