Инженер данных

КБ Стрелка — ведущий консультант в области городских решений, внедряющий современные подходы в российскую практику. Мы — связующее звено между городскими администрациями, бизнесом и горожанами. Наша задача — создание новых возможностей для реализации общественно значимых проектов городского развития.

Обязанности:

• Изучение сторонних API для получения данных из внешних источников.
• Исследование структуры и сбор данных из различных неструктурированных источников.
• Написание скриптов для выгрузки данных, их валидации и обработки.
• Запуск скриптов в многопоточном режиме для оптимизации производительности.
• Настройка процессов ETL/ELT для эффективной обработки и загрузки данных.
• Разработка и развёртывание микросервисов для автоматизации задач.
• Работа с различными форматами данных, такими как JSON, CSV, XML и HTML.
• Понимание и редактирование асинхронного кода для оптимизации процессов.
• Работа с брокерами очередей для обеспечения надежности обработки данных.
• Внедрение ML-скриптов в процессы ETL для автоматизации и оптимизации решений.
• Развертывание базовой инфраструктуры под конкретные проекты.

Требования:

• Опыт работы с библиотеками requests, requests-html, beautifulsoup, pandas, selenium и playwright.
• Умение изучать и использовать сторонние API для получения данных.
• Опыт написания скриптов для автоматизации выгрузки, обработки и валидации данных.
• Знание многопоточного программирования и оптимизации процессов работы с данными.
• Опыт настройки процессов ETL/ELT и обработки больших объемов данных.
• Умение разрабатывать и разворачивать микросервисы для автоматизации задач.
• Понимание различных форматов данных (JSON, CSV, XML, HTML) и опыт работы с ними.
• Опыт работы с асинхронным кодом для оптимизации процессов работы с данными.
• Знание принципов работы с брокерами очередей для обеспечения надежности данных.
• Опыт интеграции ML-скриптов в процессы ETL с целью автоматизации и улучшения решений.
• Способность разворачивать базовую инфраструктуру под проект в соответствии с требованиями.
• Опыт работы с дополнительными технологиями, такими как Kafka, RabbitMQ, NiFi.
• Опыт работы с Docker и контейнеризацией приложений.
• Знание баз данных и языка SQL для работы с хранилищами данных.
• Знание основных принципов DevOps и опыт автоматизации процессов развертывания и сборки.

• Гибкий график (3 дня в офисе, 2 дня из дома).
• Трудовой договор.
• Испытательный срок – 3 месяца.
• ДМС после испытательного срока.
• Красивый офис на Красном Октябре.

Планируется тестовое задание