Python developer
Требования
Местоположение и тип занятости
Компания
Описание вакансии
О компании и команде
Bell Integrator – один из ведущих системных интеграторов страны.
Мы аккредитованная ИТ-компания и являемся частью большой семьи ГК Softline.
Bell Integrator активно реализует проекты по всей России, среди наших заказчиков – крупнейшие системообразующие финансовые, телеком и ритейл компании страны.
Проект: Мы специализируемся на создании высокотехнологичных решений для сбора, обработки и анализа веб-данных.
Наша команда разрабатывает масштабируемые парсеры, которые призваны:
1. Автоматизировать сбор информации с сайтов любой сложности
2. Преобразовать сырые данные в структурированные форматы для дальнейшего использования
3. Обеспечить надежность, скорость и удобство получения данных
Задачи:
- Разработка ETL пайплайнов (Stream, Batch)
- Участие в проектировании модели данных Data Vault 2.0
- Разработка Unit тестов для пайплайнов
- Разработка внутренних сервисов для аналитиков и разработчиков из смежных команд
Ожидания от кандидата
- Опыт разработки парсеров на Python (от 3 лет)
- Библиотеки: Requests, BeautifulSoup, Scrapy, Selenium, lxml.
- Асинхронные решения: aiohttp, httpx, asyncio.
- Работа с данными:
Парсинг HTML/XML, извлечение данных через XPath/CSS-селекторы.
Обработка JSON/API (REST, GraphQL). - Обход ограничений:
Обработка капчи (AntiCaptcha, 2Captcha).
Ротация прокси, User-Agent, имитация поведения браузера.
Обход блокировок (настройка задержек, использование headless-браузеров).
- Хранение данных:
Работа с БД: PostgreSQL, MySQL, MongoDB, SQLAlchemy. - Экспорт в CSV/JSON/XLSX, интеграция с облачными хранилищами (S3, Google Cloud).
- Опыт:
Разработка высоконагруженных парсеров с обработкой больших объемов данных.
Оптимизация скорости и надежности (асинхронность, многопоточность, кеширование).
Настройка прокси-серверов и VPN для обхода географических ограничений.
Условия работы
- Возможность профессионального и карьерного роста в компании, возможность поучаствовать в разных проектах;
- Опыт работы в распределенной команде профессионалов;
- Уровень заработной платы обсуждается индивидуально
- Формат работы - гибрид в Москве