Это лекция из курса "Глубокое обучение", который читается на Факультете математики и компьютерных наук СПбГУ вместе с двумя другими частями курса машинного обучения -- "Основами байесовского вывода" и "Графическими вероятностными моделями". Все материалы этой и других лекций курса (слайды, доска, ноутбуки с кодом) размещены по адресу: Разделы: 00:00 Ещё раз о трансформере 21:15 Как создать словарь токенов 30:47 Позиционное кодирование, RoPE 44:10 Выводы, BERT и GPT, ERNIE 01:08:00 ViT и Swin Transformer 01:20:20 Мультимодальные трансформеры: CLIP и BLIP
