EAS-029 Нейронные сети и глубокое обучение

Курс предназначен для приобретения знаний и навыков в области глубокого обучения для работы с нейросетями. Курс детально разбирает нейросетевые архитектуры и практические способы создания моделей для классификации, обнаружения, сегментации и локализации объектов, генерации изображений и текстов, в т.ч. с применением предобученных сетей с их последующим дообучением и тонкой настройкой под конкретные предметные области.

• Архитектуры нейронных сетей:
  • Нейрон, веса, функции активации, обучение.
• Области применения нейронных сетей.
• Основные классы задач, решаемых сетями.
• Методы оптимизации, метрики, функции потерь, управление гиперпараметрами.
• Тензоры, переменные, градиенты, функции, модели, обучение.
• Устройство TensorFlow и PyTorch, модели и виды слоев в Keras.

• Архитектура CNN:
  • Фильтры, пулинг, 1D/2D/3D.
• Обучение сверточных сетей.
• Идеи удачных архитектур:
  • AlexNet.
  • VGG.
  • Inception.
  • ResNet.
• Алгоритм градиентного спуска и его варианты.
• Регуляризация, Dropout, Batch Normalization.
• Способы доучивания сетей:
  • Полные и частичные.
• Использование предобученных сетей в других задачах.

• Виды задач:
  • Классификация.
  • Разметка.
  • Генерация.
  • Seq2seq.
• Представления слов и текстов:
  • Эмбеддинги.
  • Word2Vec, FastText.
• Языковые модели:
  • ELMo.
  • BERT.
  • Трансформеры, механизм внимания.
  • GPT.
  • XLNet.

• Сети для сегментации изображений.
• Сети для детектирования объектов на изображениях.
• GAN для генерации изображений.
• Диффузионные модели:
  • Stable Diffusion.

• Принципы обучения с подкреплением и основные подходы:
  • Q-обучение.
• Глубокое обучение с подкреплением.