EAS-029 Нейронные сети и глубокое обучение

Курс предназначен для приобретения знаний и навыков в области глубокого обучения для работы с нейросетями.

Курс детально разбирает нейросетевые архитектуры и практические способы создания моделей для классификации, обнаружения, сегментации и локализации объектов, генерации изображений и текстов, в т.ч. с применением предобученных сетей с их последующим дообучением и тонкой настройкой под конкретные предметные области.

Модуль 1

• Архитектуры нейронных сетей. Нейрон, веса, функции активации, обучение
  
• Области применения нейронных сетей
  
• Основные классы задач, решаемых сетями
  

Модуль 2

• Методы оптимизации, метрики, функции потерь, управление гиперпараметрами
  
• Тензоры, переменные, градиенты, функции, модели, обучение
  
• Устройство TensorFlow и PyTorch, модели и виды слоев в Keras
  

Модуль 3

• Архитектура CNN. Фильтры, пулинг, 1D/2D/3D
  
• Обучение сверточных сетей
  
• Идеи удачных архитектур: AlexNet, VGG, Inception, ResNet
  

Модуль 4

• Алгоритм градиентного спуска и его варианты
  
• Регуляризация, Dropout, Batch Normalization
  

Модуль 5

• Способы доучивания сетей: полные и частичные
  
• Использование предобученных сетей в других задачах
  

Модуль 6

• Виды задач: классификация, разметка, генерация, seq2seq
  
• Представления слов и текстов. Эмбеддинги. Word2Vec, FastText
  
• Языковые модели. ELMo, *BERT
  
• Трансформеры, механизм внимания, GPT, XLNet
  

Модуль 7

• Сети для сегментации изображений
  
• Сети для детектирования объектов на изображениях
  

Модуль 8

• GAN для генерации изображений
  
• Диффузионные модели. Stable Diffusion
  

Модуль 9

• Принципы обучения с подкреплением и основные подходы. Q-обучение
  
• Глубокое обучение с подкреплением