Data Engineer (команда AI)

Rambler&Co занимает первое место среди медиахолдингов России по объему аудитории цифровых ресурсов — свыше 45,2 млн человек ежемесячно (по данным Mediascope, Cross Web, 2023). В него входит «Лента.ру», «Газета.Ru», Championat.com, портал «Рамблер», «Секрет фирмы» и ряд других медиаактивов. Благодаря различной тематической принадлежности площадок холдинг покрывает почти весь спектр интересов и потребностей различных аудиторий.

«Рамблер» — ведущий портал Рунета, объединяющий новостной агрегатор, развлекательные и тематические медиа, сервисы и почту. Ежемесячная аудитория составляет десятки миллионов пользователей.

Мы ищем Data Engineer в команду разработки и интеграции AI для LLM портала «Рамблер»

Чем предстоит заниматься:

• Созданием и поддержкой механизмов интеграции данных между различными источниками и приемниками (API, FTP, базы данных);

• Проектированием схем данных и оптимизация структуры таблиц для эффективного хранения;
• Мониторингом качества данных, выявление аномалий и отклонений;
• Настройкой CI/CD для автоматизированного деплоймента и тестирования пайплайнов;
• Интеграцией и эксплуатацией кластеров Apache Spark, Hadoop, ClickHouse, ElasticSearch и других big-data технологий
• Разработкой и оптимизацией алгоритмов;
• Созданием системы мониторинга метрик качества работы моделей.

Что мы ожидаем:

• Отличное знание SQL и опыт работы с реляционными базами данных.
• Опыт работы с большими объемами данных и инструментами для их обработки (например, Apache Spark, Hadoop);
• Знание языков программирования Python;
• Опыт работы с облачными платформами и инструментами для обработки данных в облаке;
• Понимание принципов работы и опыт реализации векторного поиска и алгоритмов RAG (Retrieval-Augmented Generation);
• Опыт работы с системами управления потоками данных (например, Apache Kafka, Apache Flink);
• Опыт разработки и оптимизации процессов ETL/ELT;
• Знание методов и инструментов для мониторинга и улучшения качества данных;
• Опыт работы с инструментами для визуализации данных и создания отчетов.

Будет плюсом:

• Опыт работы с системами управления версиями (например, Git);
• Опыт работы с инструментами для автоматизации процессов и развертывания (например, Jenkins, Docker, Kubernetes);
• Знание принципов и методов фактчекинга и фильтрации контента будет преимуществом.

Мы предлагаем:

• Официальное трудоустройство;
• ДМС со стоматологией, офисный врач, доплата больничного листа, корпоративные скидки;
• гибридный или удаленный формат работы;
• бесплатная подписка на сервисы партнеров;
• льготные условия ипотеки в рамках зарплатного проекта;
• насыщенная корпоративная жизнь.