Python Big Data Developer

Nitka Technologies занимается разработкой ПО для заказчиков из США и Европы и объединяет более 250 профессионалов из Восточной Европы, Северной и Южной Америки, Грузии, Армении и Казахстана.

Nitka Technologies ищет Python Developer (Big Data) для работы на новом проекте. Заказчик - лидер индустрии продажи билетов на мероприятия в Америке и Европе с головным офисом в Калифорнии.

Мы предлагаем 100% удаленную работу на фул-тайм с гибким графиком.

Чем предстоит заниматься:

• Разработать единую ETL-систему для замены нескольких существующих
• Разработать систему хранения данных, отвечающую требованиям по производительности и отзывчивости
• Помочь дата-инженерам мигрировать существующие ETL-процессы на новую платформу
• Разработать веб-приложение для конфигурирования ETL-процессов (WYSIWYG-подобный редактор)
• Разработать (или внедрить) систему по хранению мета-данных (Data Catalog / Data Mart)
• Участвовать в создании инструментов мониторинга работы системы
• Учитывать стоимость решений по обработке и хранению данных
• Взаимодействовать с командой из США (ежедневные стенд-апы)

Технологии на проекте:

• Databricks
• Spark / PySpark
• Python
• Delta Lake
• Teradata
• Snowflake
• Airflow
• Oracle DB / MS SQL Server
• AWS (a lot of them from simple EC2 to Glue)
• Django/Flask

Требования:

• 4+ лет опыта с Python
• опыт работы на позиции data engineer будет плюсом
• опыт с Kafka и/или Spark/PySpark будет плюсом
• опыт построения или использования ETL-систем будет плюсом
• опыт с AWS приветствуется
• опыт проработки задачи от бизнес-постановки до математической формулировки и реализации в коде
• хороший разговорный английский язык (Intermediate) для общения с заказчиком и командой
• сообразительность и изобретательность

Условия работы:

• удаленная работа
• полная занятость (8 ч/день)
• гибкий график без таймтрекеров
• вменяемый менеджер и толковый заказчик
• часть звонков в вечернее время, около 20:00 по Мск (утро по западному побережью США)
• работа в международной распределенной команде
• конкурентная компенсация в долларах США
• оплачиваемый отпуск, праздники