Data Processing Specialist
Зарплата
Требования
Местоположение и тип занятости
Компания
Описание вакансии
О компании и команде
Мы – динамично развивающаяся компания, предоставляющая решения для управления и обработки больших данных. Наша команда состоит из высококвалифицированных специалистов, увлеченных технологиями и стремящихся к созданию инновационных продуктов. Мы предлагаем уникальные возможности для профессионального роста и развития.
Ожидания от кандидата
Мы ищем талантливого Data Integration Engineer, который будет заниматься обработкой и трансформацией данных из различных источников, приводя их к единому формату. Ваша работа будет ключевой для обеспечения целостности и доступности данных для дальнейшего анализа и использования.
Основные обязанности:
- Разработка скриптов и программ на Python для обработки данных.
- Использование ангулярных выражений для трансформации данных.
- Применение принципов потоковой (streaming) и пачковой (batch) обработки больших данных.
- Приведение файлов различных форматов (JSON, XML, CSV и другие) к единому виду.
- Настройка и оптимизация ETL-процессов для эффективной обработки данных.
- Взаимодействие с командами аналитиков и разработчиков для обеспечения целостности данных.
- Разработка и поддержка документации для создаваемых решений.
Требования:
- Опыт программирования на Python.
- Знание регулярных выражений.
- Понимание принципов потоковой (streaming) и пачковой (batch) обработки данных.
- Опыт работы с различными форматами данных (JSON, XML, CSV и другие).
- Навыки работы с ETL-процессами (Extract, Transform, Load)
- Умение работать с базами данных и писать сложные SQL-запросы.
- Опыт работы с системами контроля версий (Git).
Будет преимуществом:
- Знание инструментов для работы с потоковыми данными (Kafka, Spark Streaming и другие).
- Навыки автоматизации задач с использованием скриптовых языков (Bash,PowerShell).
- Опыт работы с системами мониторинга и логирования.
Условия работы
- Возможность работать удаленно или в офисе.
- Официальное трудоустройство по ТК РФ.
- Конкурентная и полностью белая заработная плата.
- Поддержка профессионального роста и развития, обучение за счет компании.
- Дружная и профессиональная команда, готовая помочь и поддержать.