Архитектор (Техлид)
Требования
Местоположение и тип занятости
Компания
Описание вакансии
Условия работы
Мы - Wildberries. Мы - это крупнейший маркетплейс Европы, 30 млн пользователей ежедневно и технологические задачи, у которых нет аналогов. Наша компания стабильно развивается и работает в усиленном режиме: использует современный стек и новейшие технологии, разрабатывает множество новых hi-tech продуктов.
Проект: IT Финансы
Чем предстоит заниматься:
- Выработка новых архитектурных решений, обсуждение и защита предлагаемых вариантов архитектурных решений с ключевыми участниками процесса;
- Развитие хранилища данных ядром которого является Greenplum интегрированный с s3(data lake) и postgres(потоковые загрузки);
- Обеспечение непрерывной работы кластера greenplum, мониторинг состояния кластера и нагрузки;
- Написание DAG airflow, основные источники БД\kafka\nats streaming\rest.
- Обеспечение полноты и актуальности данных, покрытие тестами критических для бизнеса данных
Требования:
- Опыт работы от 3 лет на аналогичной должности;
- Понимание основных концепций из области Data Warehouse (Инмон, Data Vault, Anchor);
- Знание Python (class, asyncio, threading, aiohttp, boto3);
- Знание SQL на продвинутом уровне, умение читать планы запросов и оптимизировать запросы;
- Понимание внутреннего устройства БД postgres (mvcc, index, join hash\merge\nested);
- Понимание внутреннего устройства БД greenplum (AO\heap, distributed, partition), опыт установки, конфигурирования и поддержка (зеркалирование, ресурсные группы, gprecovery, gpbackup, gpexpand, gprecoverseg, pxf, gpload);
- Владение Linux на базовом уровне;
- Опыт работы с Docker, airflow, s3;