Python Big Data Developer

Местоположение и тип занятости

Полный рабочий деньМожно удаленно

Компания

Global software engineering and IT consulting

Описание вакансии

Nitka Technologies занимается разработкой ПО для заказчиков из США и Европы и объединяет более 250 профессионалов из Восточной Европы, Северной и Южной Америки, Грузии, Армении и Казахстана.

Nitka Technologies ищет Python Developer (Big Data) для работы на новом проекте. Заказчик - лидер индустрии продажи билетов на мероприятия в Америке и Европе с головным офисом в Калифорнии.

Мы предлагаем 100% удаленную работу на фул-тайм с гибким графиком.

Чем предстоит заниматься:

  • Разработать единую ETL-систему для замены нескольких существующих
  • Разработать систему хранения данных, отвечающую требованиям по производительности и отзывчивости
  • Помочь дата-инженерам мигрировать существующие ETL-процессы на новую платформу
  • Разработать веб-приложение для конфигурирования ETL-процессов (WYSIWYG-подобный редактор)
  • Разработать (или внедрить) систему по хранению мета-данных (Data Catalog / Data Mart)
  • Участвовать в создании инструментов мониторинга работы системы
  • Учитывать стоимость решений по обработке и хранению данных
  • Взаимодействовать с командой из США (ежедневные стенд-апы)

Технологии на проекте:

  • Databricks
  • Spark / PySpark
  • Python
  • Delta Lake
  • Teradata
  • Snowflake
  • Airflow
  • Oracle DB / MS SQL Server
  • AWS (a lot of them from simple EC2 to Glue)
  • Django/Flask

Требования:

  • 4+ лет опыта с Python
  • опыт работы на позиции data engineer будет плюсом
  • опыт с Kafka и/или Spark/PySpark будет плюсом
  • опыт построения или использования ETL-систем будет плюсом
  • опыт с AWS приветствуется
  • опыт проработки задачи от бизнес-постановки до математической формулировки и реализации в коде
  • хороший разговорный английский язык (Intermediate) для общения с заказчиком и командой
  • сообразительность и изобретательность

Условия работы:

  • удаленная работа
  • полная занятость (8 ч/день)
  • гибкий график без таймтрекеров
  • вменяемый менеджер и толковый заказчик
  • часть звонков в вечернее время, около 20:00 по Мск (утро по западному побережью США)
  • работа в международной распределенной команде
  • конкурентная компенсация в долларах США
  • оплачиваемый отпуск, праздники