Senior Python Developer / Data Engineer в команду Data Catalog

Приглашаем Backend Developer / Data Engineer (уровень senior/middle+) в команду Data Catalog, которая занимается развитием продукта ML Space - для ML-разработки полного цикла: от трансфера и хранения Big Data до деплоя и автоматического масштабирования готовой модели.

Это единственная в мире платформа с возможностью распределенного обучения на 1700+ GPU Tesla V100 и А100 благодаря суперкомпьютерам Christofari и Christofari Neo.
Подробнее о платформе ML Space: https://sbercloud.ru/ru/aicloud/mlspace

Команда Data catalog занимается разработкой продуктов для:

- Хранения огромных объемов данных (файловые и объектные хранилища, их файловые менеджеры);
- Миграции данных с коннекторами к различным источникам (S3, базы данных, HDFS);
- Управления артефактами, включая специализированные хранилища ML-артефактов с их версионированием (регистры образов, моделей, датасетов);
- Процессов, связанных с Big Data - ETL/ELT, EDA и др.;
- Оркестрации цикла ML-разработки на собственном движке для создания пайплайнов.

Стек технологий: Python, FastAPI, Apache Airflow, PostgreSQL, ClickHouse, Redis, Kafka, Docker, Kubernetes.

Как мы работаем:

1. У нас продуктовая компания и кросс-функциональные команды;
2. Используем Jira, Confluence, GitLab как основные средства разработки;
3. Ведем разработку по Scrum.

Что мы предлагаем:

• Работу без легаси с Python 3.9, FastAPI, SQLAlchemy;
• Возможность проектирования сервисов с нуля и участия в процессе разработки “от” и “до”;
• Работу в заряженой экспертной команде, а также в комьюнити архитекторов и разработчиков компании и партнеров.

Вам предстоит:

• Разработка и поддержка существующих решений;
• Участие в проектировании, разработке и поддержке высоконагруженных сервисов/микросервисов;
• Code review, юнит-тесты;
• Анализ инцидентов;
• Взаимодействие со смежными командами для проработки общего технического решения;
• Документирование разрабатываемых продуктов.

Требования:

• Навыки разработки cloud-native сервисов;
• Знакомство с Kubernetes;
• Хорошие навыки работы с Docker;
• Отличное владение Python, умение работать с асинхронным кодом;
• Знание классических алгоритмов и структур данных;
• Опыт работы с реляционными базами данных;
• Знание стека Big Data, понимание ETL/ELT процессов (ключевые слова: Apache Airflow, Spark Streaming, Hadoop, HDFS, Kafka);
• Опыт работы с Apache Airflow;
• Опыт интеграции решений Big Data.

Большой плюс:

• Навыки работы с golang;
• Опыт проектирования и разработки сервисов с большой нагрузкой с нуля;
• Понимание бизнес-процессов, умение преобразовывать бизнес-задачи product-менеджера в декомпозированные задачи;
• Опыт создания пайплайнов данных / моделей машинного обучения (через StreamSets/Ni-Fi, AWS SageMaker).

• Оформление в соответствии с трудовым законодательством РФ;
• Конкурентный уровень дохода (оклад + годовой бонус);
• ДМС со стоматологией и возможностью подключения к программе своих детей и родственников;
• Прозрачную систему мотивации, которая позволяет влиять на уровень дохода;
• Работу в команде профессионалов;
• Участие в создании инновационных продуктов;
• Гибкое начало рабочего дня, пятница - сокращённый рабочий день;
• Возможность работать удаленно (территория РФ);
• Офис в центре Москвы;
• Корпоративную мобильную связь;
• Льготную программу ипотечного и потребительского кредитования.

Ещё у нас:

• Возможность вертикального и горизонтального роста;
• Бонусные программы от компаний партнёров;
• Возможность получения бонуса за закрытие вакансии по вашей рекомендации;
• Материальная помощь при рождении детей и др. семейных обстоятельствах;
• Обучение в Корпоративном университете за счёт компании;
• Участие в профильных конференциях в качестве спикера или слушателя;
• Корпоративная жизнь: спортивные комьюнити, клубы по интересам (настолки, интеллектуальные игры).

По вакансии пишите в telegram https://t.me/samarov_a