Python Big Data Developer
Требования
Местоположение и тип занятости
Компания
Global software engineering and IT consulting
Описание вакансии
Условия работы
Nitka Technologies занимается разработкой ПО для заказчиков из США и Европы и объединяет более 250 профессионалов из Восточной Европы, Северной и Южной Америки, Грузии, Армении и Казахстана.
Nitka Technologies ищет Python Developer (Big Data) для работы на новом проекте. Заказчик - лидер индустрии продажи билетов на мероприятия в Америке и Европе с головным офисом в Калифорнии.
Мы предлагаем 100% удаленную работу на фул-тайм с гибким графиком.
Чем предстоит заниматься:
- Разработать единую ETL-систему для замены нескольких существующих
- Разработать систему хранения данных, отвечающую требованиям по производительности и отзывчивости
- Помочь дата-инженерам мигрировать существующие ETL-процессы на новую платформу
- Разработать веб-приложение для конфигурирования ETL-процессов (WYSIWYG-подобный редактор)
- Разработать (или внедрить) систему по хранению мета-данных (Data Catalog / Data Mart)
- Участвовать в создании инструментов мониторинга работы системы
- Учитывать стоимость решений по обработке и хранению данных
- Взаимодействовать с командой из США (ежедневные стенд-апы)
Технологии на проекте:
- Databricks
- Spark / PySpark
- Python
- Delta Lake
- Teradata
- Snowflake
- Airflow
- Oracle DB / MS SQL Server
- AWS (a lot of them from simple EC2 to Glue)
- Django/Flask
Требования:
- 4+ лет опыта с Python
- опыт работы на позиции data engineer будет плюсом
- опыт с Kafka и/или Spark/PySpark будет плюсом
- опыт построения или использования ETL-систем будет плюсом
- опыт с AWS приветствуется
- опыт проработки задачи от бизнес-постановки до математической формулировки и реализации в коде
- хороший разговорный английский язык (Intermediate) для общения с заказчиком и командой
- сообразительность и изобретательность
Условия работы:
- удаленная работа
- полная занятость (8 ч/день)
- гибкий график без таймтрекеров
- вменяемый менеджер и толковый заказчик
- часть звонков в вечернее время, около 20:00 по Мск (утро по западному побережью США)
- работа в международной распределенной команде
- конкурентная компенсация в долларах США
- оплачиваемый отпуск, праздники