Инженер по работе с данными

Обязанности:

• Подготовка выборки релевантных данных посредством SQL запросов и/или других программных инструментов для включения в отчёты, BI инструменты и аналитические модели;
• Интеграция данных с хранилищем;
• Взаимодействие с аналитиками данных (data scientists), производственными и функциональными экспертами для определения требований к выгрузке, конвертации и представления данных.

Какой опыт нам нужен:

• Опыт работы в роли инженера данных не менее 2-х лет;
• Глубокое знание SQL и NoSQL, опыт работы с различными СУБД (Oracle, MySQL, PostgreSQL и пр.);
• Навыки проектирования и реализации системы сбора и обработки данных;
• Знания алгоритмов в сфере высоконагруженной обработки данных при помощи распределённых вычислений (MapReduce);
• Умение работы с Avro, Parquet, JSON форматом данных;
• Умение работы с распределенным хранилищем HDFS;
• Знание и умение работы c ETL инструментами;
• Знание и умение работы с AMQP (Kafka, RabbitMQ);
• Умение разрабатывать UDF для различных сред анализа данных;
• Понимание и умение работы с стеком продуктов: Spark, HBase, Hive;
• Знание языка программирования или дополнительных библиотек для статистической обработки данных (Python (Pandas, matplotlib, numpy, scikit-learn);
• Знание и умение работы с BI инструментами Tableau, Power BI является плюсом.