Курсы по Apache Spark

Обзор современных методов управления данными от реляционных СУБД до NoSQL. Узнайте, как выбрать правильную систему для ваших задач и оптимизировать ее использование. Курс охватывает эволюцию хранилищ данных, реляционные и нереляционные модели, распределенные файловые системы и системы обработки потоков данных.

• Базы данных
• Хранилища данных
• Машины баз данных
• Массово-параллельные архитектуры
• Гиперконвергенция
• Какие проблемы решает, за счет чего
• Репликация
• Шардинг
• Распределенные транзакции
• Варианты структуры ключа
• Варианты структуры значения
• Программные интерфейсы
• Эффективность применения нереляционных баз данных: необходимые и достаточные условия [Cassandra, HBase]
• Модель [MongoDB]
• Архитектура кластера.[HDFS]
• Варианты архитектур, форматы файлов, ограничения, транзакции [Hive,Spark,Spark SQL,Parquet,ORC]
• Распределенные системы хранения данных в оперативной памяти [Hazelcast,Ignite,Tarantool]
• Распределенные OLAP-системы [Clickhouse, Druid]
• Обработка потоков данных [Spark Streaming]
• Самонастраиваемые и автономные базы данных

Освойте основы Hadoop и экосистемы Big Data. Этот тренинг дает представление об устройстве Apache Hadoop и методах разработки приложений, обрабатывающих данные на его основе. Участники познакомятся с HDFS – стандартом де-факто для долговременного надежного хранения больших объемов данных, фреймворком YARN, управляющим параллельным выполнением приложений на кластере, и сопутствующими проектами, составляющими экосистему Hadoop: Hive, Spark, HBase.

• Архитектура, репликация, чтение и запись данных, команды HDFS.
• Практика: подключение к кластеру, работа с файловой системой из shell и Hue.
• Практика: запуск приложений.
• Архитектура YARN, запуск приложений в YARN.
• Практика: запуск приложений и наблюдение за кластером через UI.
• Архитектура, метаданные таблиц, форматы файлов, язык запросов HiveQL.
• Практика (Hue, hive, beeline, Tez UI): создание таблиц, чтение и запись CSV, Parquet, ORC, партиционирование, SQL-запросы с агрегацией и соединениями.
• DataFrame/SQL, метаданные, форматы файлов, источники данных, RDD.
• Практика (Zeppelin, Spark UI): чтение и запись из БД (JDBC), CSV, Parquet, партиционирование, SQL-запросы с агрегацией и соединениями, планы выполнения запросов, мониторинг.
• Spark Streaming, Spark Structured Streaming, Flink.
• Практика: чтение/обработка/запись потоков между Kafka, реляционной БД и файловой системой.
• Архитектура, язык запросов.
• Практика (HBase shell): запись и чтение данных.