Hadoop Developer

IT-компания GNIVC - партнер государственных компаний и лидеров российского бизнеса, разработчик и системный интегратор крупнейших государственных информационных систем, а также коммерческих решений для налогового мониторинга.

• Компания входит в ТОП-100 лучших работодателей и 7 место в категории "IT и Интернет" 2023 года по рейтингу работодателей hh.ru среди крупных компаний;
• Мы в 25% лучших по уровню счастья среди компаний отрасли IT и России 2024 по версии Happy Job;
• Являемся аккредитованной ИТ-компанией.

Мы в поиске эксперта на проект "Национальная система прослеживаемости товаров". Эта система помогает государству следить за перемещением импортных товаров, обеспечивая учет всех данных на каждом этапе — от ввоза в Россию до покупки товара конечным потребителем. Работа включает обработку больших объемов информации с использованием актуальных технологий и участие в проекте, который важен для экономики страны. Если вам интересно внести свой вклад в такой значимый проект, мы будем рады видеть вас в нашей команде!

Задачи

• разработка и сопровождение программных продуктов;
• разработка интеграционных механизмов;
• оценка и реализация поставленных задач;
• взаимодействие с архитектором, аналитиками, тестировщиками, разработчиками в рамках реализации задач;
• участие в митингах и Code Review;
• документирование.

• понимание основных компонентов Hadoop (HDFS, YARN, MapReduce) и архитектуры Hadoop;
• опыт работы с RDD (Resilient Distributed Datasets), DataFrame, и Dataset API;
• оптимизация и настройка задач Spark (использование Spark SQL, кеширование данных, оптимизация шардирования и объединений);
• умение работать с настройками Spark для распределенной обработки, включая выделение ресурсов и оптимизацию памяти;
• навыки в создании ETL-пайплайнов с использованием Spark или других инструментов;
• уверенное знание SQL и опыт работы с реляционными базами данных;
• умение профилировать и оптимизировать код для повышения производительности в распределенных средах;
• навыки в оптимизации кластерных вычислений (управление ресурсами, распределение задач, настройка партицирования).

Будет преимуществом

• знание языка Scala, включая функциональное программирование, обработка коллекций, работа с неизменяемыми структурами данных, оптимизация производительности и управление памятью, знание JVM и особенностей компиляции Scala;
• знание API Spark на Java;
• знание Apache Kafka для стриминга данных.

• дистанционный формат работы на территории РФ;
• конкурентную заработную плату по результатам собеседования, премии за эффективную работу и результат;
• пятидневную рабочую неделю (пн-чт с 09-00 до 18-00, пт с 09-00 до 16-45);
• ДМС по окончании испытательного срока, с огромным перечнем лучших медучреждений и включая классную стоматологию;
• доплату к отпуску 50% от оклада через 11 месяцев работы в компании;
• больничный лист продолжительностью до 7 дней, суммарно за год, выданный сотруднику в связи с его персональной нетрудоспособностью, будет компенсирован Компанией таким образом, чтобы сохранить полную оплату, какая была бы в случае нахождения на работе;
• 5 дополнительных оплачиваемых (ресурсных) дней;
• возмещение до 50% затрат на занятия спортом;
• обеспечение необходимым оборудованием для работы;
• профессиональное обучение и сертификация за счёт компании;
• а еще мы организуем митапы, хакатоны, конференции, семинары и тренинги: как внутренние, так и внешние;
• партнерские программы по обучению иностранному языку и прокачки скиллов от Skyeng и Skillbox;
• доступ к корпоративной библиотеке на платформе Alpina Digital;
• оформление в соответствии с требованиями ТК РФ.