Data Processing Specialist

18 июля

Зарплата

от 100 000 ₽

Требования

Разработчик баз данных • Linux • SQL • Python • Алгоритмы и структуры данных • Проектирование баз данных

Местоположение и тип занятости

Москва • Полный рабочий день

Компания

SMK-consult

IT компания в сфере информационной безопасности

Описание вакансии

О компании и команде

Мы – динамично развивающаяся компания, предоставляющая решения для управления и обработки больших данных. Наша команда состоит из высококвалифицированных специалистов, увлеченных технологиями и стремящихся к созданию инновационных продуктов. Мы предлагаем уникальные возможности для профессионального роста и развития.

Ожидания от кандидата

Мы ищем талантливого Data Integration Engineer, который будет заниматься обработкой и трансформацией данных из различных источников, приводя их к единому формату. Ваша работа будет ключевой для обеспечения целостности и доступности данных для дальнейшего анализа и использования.

Основные обязанности:

Разработка скриптов и программ на Python для обработки данных.
Использование ангулярных выражений для трансформации данных.
Применение принципов потоковой (streaming) и пачковой (batch) обработки больших данных.
Приведение файлов различных форматов (JSON, XML, CSV и другие) к единому виду.
Настройка и оптимизация ETL-процессов для эффективной обработки данных.
Взаимодействие с командами аналитиков и разработчиков для обеспечения целостности данных.
Разработка и поддержка документации для создаваемых решений.

Требования:

Опыт программирования на Python.
Знание регулярных выражений.
Понимание принципов потоковой (streaming) и пачковой (batch) обработки данных.
Опыт работы с различными форматами данных (JSON, XML, CSV и другие).
Навыки работы с ETL-процессами (Extract, Transform, Load)
Умение работать с базами данных и писать сложные SQL-запросы.
Опыт работы с системами контроля версий (Git).

Будет преимуществом:

Знание инструментов для работы с потоковыми данными (Kafka, Spark Streaming и другие).
Навыки автоматизации задач с использованием скриптовых языков (Bash,PowerShell).
Опыт работы с системами мониторинга и логирования.

Условия работы

Возможность работать удаленно или в офисе.
Официальное трудоустройство по ТК РФ.
Конкурентная и полностью белая заработная плата.
Поддержка профессионального роста и развития, обучение за счет компании.
Дружная и профессиональная команда, готовая помочь и поддержать.