Описание вакансии
Условия работы
Создание большой поисковой системы по интернету по сложности похоже на запуск космической ракеты в космос – и мы смогли это сделать! Поиск@Mail.Ru - это полноценная поисковая система по Рунету, в которой проиндексированы 5 миллиардов документов, и которая отвечает на десятки миллионов запросов в сутки. Кроме поиска по вебу у нас есть поиски по картинкам, видео, новостям, обсуждениям и т.п. Мы работаем с самыми современными технологиями, используем Hadoop и HBase для подготовки данных, применяем разнообразные методы искусственного интеллекта и машинного обучения, активно используем статистическую лингвистику.
Если вы хотите работать с огромными массивами данных, если вас интересует математика и лингвистика, или если вам нравится делать сервисы, которыми пользуются миллионы людей -- вам стоит попробовать себя в проекте Поиск!
Mail.Ru объявляет конкурс на открытую вакансию Hadoop DBA в проект Поиск@Mail.Ru
Преимущества:
- Уникальный опыт использования bleeding-edge технологий. В большом, динамичном проекте;
- Мы располагаем самым крупным в России Hadoop-кластером. Смотрите сами;
- 400 машин класса Xeon E5 (свыше трех тысяч mapred слотов!);
- 7 петабайт (!) данных;
- Свыше 2х тысяч (!) запусков задач в день;
- Более 100 миллиардов ключей в HBase.
** Узнать больше подробностей про то, как мы используем Hadoop\HBase в Поиске, можно посмотрев наш доклад на Форуме Технологий http://techforum.mail.ru/video/.
** Узнать больше подробностей про нашу архитектуру и масштабы задач, вы можете в статье http://habrahabr.ru/company/mailru/blog/167297/.
Требования:
- Представление о работе Hadoop/HBase;
- Опыт работы в Linux / Shell;
- Знание языка Java на уровне чтения кода;
- Знание фундаментальных алгоритмов и структур данных;
- Коммуникабельность и ответственность;
- Желание развиваться.
Будет плюсом:
- Опыт работы DataBase Administator
Задачи:
- Создание и поддержание инструментов для оценки работы Hadoop-кластера;
- Регулярное ревью критических задач на предмет их эффективности работы с кластером;
- Поддержание работы кластера, обновление его компонент
Мы предлагаем:
- Работу над ключевым проектом компании;
- Постоянную работу в Москве в офисе рядом с метро Аэропорт;
- Помощь с переездом из другого города;
- Программы развития: семинары, конференции, мастер-классы;
- Работа с ведущими специалистами Рунета;
- Полная медицинская страховка, включая стоматологию и плановую госпитализацию;
- И, конечно, фрукты, чай, кофе, кола, плюшки и т. п.:).