СПбГУ -- 2025.10.09 -- Self-attention и архитектура трансформера

Это лекция из курса "Глубокое обучение", который читается на Факультете математики и компьютерных наук СПбГУ осенью 2025 года. Все материалы этой и других лекций курса (слайды, доска, ноутбуки с кодом) размещены по адресу:
Подписывайтесь на мой телеграм-канал "Sineкура":
Разделы: 00:00 Трансформер как encoder-decoder архитектура 12:40 Идея информационного поиска с вложениями 16:54 Слой самовнимания (self-attention) 39:40 Декодер: masked self-attention, encoder-decoder attention 49:50 Токенизация и byte-pair encoding 01:02:10 Позиционные вложения 01:18:10 Заключение, преимущества трансформеров