Курсы по Администрированию баз данных

Изучай SQL для анализа данных с Netology! Получи навыки работы с базами данных и создания запросов. Пройди курс онлайн и стань экспертом в аналитике данных!

Для кого этот курс? Для разработчиков, которые хотят освоить навыки работы с PostgreSQL для расширения своих возможностей в оперативном решении рабочих задачАдминистраторов баз данных, которые нацелены улучшить навыки проектирования и управления реляционными базами данных для профессионального ростаАдминистраторов Linux, которые хотят повысить квалификацию и овладеть инструментами оперативной работы с большими объемами информацииDevOps/SRE, которые хотят улучшить навыки предотвращения аварийных ситуаций и походить эффективные отказоустойчивые решения, обеспечивая высокую надежность Необходимые знания Опыт работы с Linux на уровне пользователя и базовое представление об SQL Что вам даст этот курс? Курс обеспечивает глубокое погружение в PostgreSQL, чтобы проектировать базы данных так, чтобы впоследствии не приходилось тушить пожары в результате не оптимально заложенных основ После обучения вы: Научитесь настраивать кластер PostgreSQL на оптимальную производительностьОрганизуете систему резервного копированияНаучитесь выяснять причины сбоев, блокировок и deadlock и оперативно решать эти проблемыСможете использовать индексы, джойны и статистику для оптимизации производительностиОсвоите синтаксис и особенности работы в PostgreSQLИзучите пути решения проблем работы с большими объемами данных в PostgreSQL

На курсе MT_LPIC-Tshoot - Linux уровень 4. Диагностика и устранение неполадок в Linux (Линукс) слушатели знакомятся с теоретически структурированной формой поиска и устранения неисправностей. Этот подход используется для диагностики различных типов проблем, включая проблемы начальной загрузки, аппаратные проблемы, проблемы хранения, проблемы установки и работы с программными пакетами, сетевые проблемы, различные проблемы приложений, вопросы безопасности и проблемы ядра Linux (Линукс). В лабораторных работах рассматриваются разнообразные проблемы, что позволяет слушателям усовершенствовать свои навыки по устранению неисправностей и сбоев.

Данный курс и накопленный персональный опыт администрирования дают возможность подготовиться к сдаче экзаменов аналогичных традиционным Red Hat Certified Specialist in Linux Diagnostics and Troubleshooting и RHCA — Red Hat Certified Architect. Программа курса соответствует RH342.

Работа на курсе происходит с двумя дистрибутивами: CentOS и Debian. В зависимости от состава группы, определяется основной дистрибутив для проведения обучения и на его примере выполняются лабораторные работы.

(Есть два формата проведения: онлайн и очно.)

Обзор современных методов управления данными от реляционных СУБД до NoSQL. Узнайте, как выбрать правильную систему для ваших задач и оптимизировать ее использование. Курс охватывает эволюцию хранилищ данных, реляционные и нереляционные модели, распределенные файловые системы и системы обработки потоков данных.

• Базы данных
• Хранилища данных
• Машины баз данных
• Массово-параллельные архитектуры
• Гиперконвергенция
• Какие проблемы решает, за счет чего
• Репликация
• Шардинг
• Распределенные транзакции
• Варианты структуры ключа
• Варианты структуры значения
• Программные интерфейсы
• Эффективность применения нереляционных баз данных: необходимые и достаточные условия [Cassandra, HBase]
• Модель [MongoDB]
• Архитектура кластера.[HDFS]
• Варианты архитектур, форматы файлов, ограничения, транзакции [Hive,Spark,Spark SQL,Parquet,ORC]
• Распределенные системы хранения данных в оперативной памяти [Hazelcast,Ignite,Tarantool]
• Распределенные OLAP-системы [Clickhouse, Druid]
• Обработка потоков данных [Spark Streaming]
• Самонастраиваемые и автономные базы данных

Освоите базовые принципы DevOps и научитесь применять лучшие практики для разработки качественного и востребованного ПО

Курс для начинающих изучение Django. Представляет собой реализованный с нуля пет-проект с пошаговым объяснением всех действий. В курсе нет уроков в формате видео.

Введение в Apache Kafka: стриминговая платформа для обработки данных в реальном времени. Освоите основы Apache Kafka и научитесь разрабатывать распределенные стриминговые приложения. Получите практический опыт работы с экосистемой Kafka, включая настройку кластеров, разработку клиентских приложений и использование KSQL.

• Что такое Kafka.
• Примеры удачного и неудачного использования Kafka.
• Kafka и база данных: сходства и различия.
• Kafka и прямые конкуренты.
• Kafka и Apache Pulsar.
• Архитектура хранилища Kafka: Брокеры, Темы, Разделы, Сегменты, Реплики.
• Архитектура кластера Kafka: Zookeeper, партиционирование, главные и ведомые узлы репликации, ISR.
• Клиенты и API.
• Практика 2.1: запуск кластера Kafka с помощью Docker.
• Установка Zookeeper.
• Установка брокеров Kafka.
• Самые популярные инструменты Kafka.
• Демо 3.1: Инструменты Kafka.
• Практики KafkaOps.
• Kafka Producer API: основы.
• Практика 4.1: Отправка одного сообщения.
• Kafka Consumer API: основы, группы потребителей.
• Практика 4.2: Один получатель.
• Практика 4.3: Несколько получателей в одной группе.
• Дополнительные возможности: Пакеты, Повторы, Идемпотентность, Транзакции, Перебалансировка Групп Потребителей.
• Практика 4.4: Транзакционный Отправитель.
• Практика 4.5: Отправка и получение в транзакции.
• Практика 4.6: Замороженный потребитель.
• Практика 4.7: Медленный потребитель.
• Безопасность: SSL, SASL, Kerberos.
• REST Proxy: отправка и получение сообщений в форматах JSON, бинарные и Авро файлы.
• Практика 5.1: доступ через REST Proxy.
• Schema Registry: реестр схем.
• Практика 5.2: Schema Registry.
• Kafka Streams: DSL, API, StreamBuilder, создание и реализация топологии.
• Устройство Kafka Streams: многопоточность, несколько экземпляров и задач.
• Практика 6.1: Реализация потоков без сохранения состояния.
• Обработка с сохранением состояния: хранилище состояний, отказоустойчивость для хранилищ состояний.
• Практика 6.2: Агрегация в Kafka Streams.
• KTable: Потоки обновления данных, кэширование, скорость выдачи, агрегация.
• Окна в потоках: метки времени, плавающие, прыгающие, сеансовые.
• Соединение: поток с потоком, KTable с KTable, поток с KTable.
• Практика 6.3: Соединение потоков и таблиц.
• KSQL: Потоки без программирования.
• KSQL Серверная архитектура.
• Практика 6.4: Реализация потоков без сохранения состояния в KSQL.
• Практика 6.5: Агрегация в KSQL.
• Практика 6.6: Соединение в KSQL.
• Архитектура Kafka Connect.
• Источники Kafka Connect.
• Практика 7.1: JDBC Source Connector (postgres).
• Практика 7.2: JDBC Source Connector (postgres) с ключами.
• Kafka Connect Sinks.
• Практика 7.3: JDBC Sink Connector (postgres).
• Практика 7.4: JDBC Sink Connector (postgres) с ключами.
• Цели по производительности и режимы выполнения.
• Zookeeper: конфигурация, автономный режим и режим кворума, CLI.
• Управление и мониторинг кластера.
• Практика 8.1: Мониторинг кластера Kafka с помощью Prometheus.
• Практика 8.2: Измерение производительности.
• Различные мультикластерные архитектуры MirrorMaker.
• Практика 9.1: Использование MirrorMaker для синхронизации кластеров.
• Confluence Replicator.

Освойте основы Hadoop и экосистемы Big Data. Этот тренинг дает представление об устройстве Apache Hadoop и методах разработки приложений, обрабатывающих данные на его основе. Участники познакомятся с HDFS – стандартом де-факто для долговременного надежного хранения больших объемов данных, фреймворком YARN, управляющим параллельным выполнением приложений на кластере, и сопутствующими проектами, составляющими экосистему Hadoop: Hive, Spark, HBase.

• Архитектура, репликация, чтение и запись данных, команды HDFS.
• Практика: подключение к кластеру, работа с файловой системой из shell и Hue.
• Практика: запуск приложений.
• Архитектура YARN, запуск приложений в YARN.
• Практика: запуск приложений и наблюдение за кластером через UI.
• Архитектура, метаданные таблиц, форматы файлов, язык запросов HiveQL.
• Практика (Hue, hive, beeline, Tez UI): создание таблиц, чтение и запись CSV, Parquet, ORC, партиционирование, SQL-запросы с агрегацией и соединениями.
• DataFrame/SQL, метаданные, форматы файлов, источники данных, RDD.
• Практика (Zeppelin, Spark UI): чтение и запись из БД (JDBC), CSV, Parquet, партиционирование, SQL-запросы с агрегацией и соединениями, планы выполнения запросов, мониторинг.
• Spark Streaming, Spark Structured Streaming, Flink.
• Практика: чтение/обработка/запись потоков между Kafka, реляционной БД и файловой системой.
• Архитектура, язык запросов.
• Практика (HBase shell): запись и чтение данных.

Освойте Cassandra — высокопроизводительную NoSQL-СУБД для работы с большими данными. Курс раскрывает архитектуру, язык CQL и тонкости проектирования данных для Cassandra. Уникальность — практическое освоение кластерных развертываний, мониторинга и интеграции с Java-приложениями.

• Области применения, типичные use case и анти-use case.
• Архитектура, репликация, управление согласованностью данных.
• Процесс записи данных, отложенная запись.
• Процесс чтения данных, восстановление данных.
• Объединение хранимых данных и очистка удаленных данных.
• Практика 1. Установка и развертывание кластера (Docker Compose).
• Практика 2. Использование Nodetool для исследования состояния кластера.
• Модель данных CQL.
• Первичные ключи и их структура.
• CQL: язык запросов Cassandra.
• CQL: Типы данных, коллекции, вложенные данные, устаревание данных.
• Запросы на CQL.
• Практика 3. Создание таблиц с первичными ключами разной сложности и исследование поведения запросов.
• Диаграммы Чеботко для логических и физических моделей данных.
• Лучшие практики моделирования данных для Cassandra.
• Проектирование таблиц и выбор ключей.
• Моделирование данных от запросов.
• Вторичные индексы.
• Материализованные представления.
• Практика 4. Проектирование логической и физической модели данных.
• Архитектура Java-драйвера.
• Основы Java API.
• ORM.
• Практика 5. Создание приложения, использующего Java драйвер для доступа к Cassandra.
• Зависимости: версии Java/JDK.
• Развертывание кластера on-premise, в облаке, в Kubernetes.
• Определение потребности в ресурсах: память, CPU, диск.
• Мониторинг: сбор и агрегация метрик.
• Принципы настройки производительности.
• Практика 6. Сбор метрик с кластера.
• Практика 7. Использование Nodetool для наблюдения за процессами в кластере.
• Подключение и отключение узлов.
• Обновление версий.
• Системное пространство ключей.
• Управление хранением данных.
• Управление сжатием (compaction) данных.
• Резервное копирование и мгновенные снимки.
• Исправление поврежденных файлов данных.
• Практика 8. Исследование подключения/отключения узлов и других служебных операций.