Почему диффузия работает лучше, чем авторегрессия?

Вы когда-нибудь задумывались, как на самом деле работает генеративный ИИ? Короткий ответ: точно так же, как и обычный ИИ! В этом видео я расскажу о современном состоянии генеративного ИИ — авторегрессорах и моделях шумоподавляющей диффузии — и объясню, как эта, казалось бы, волшебная технология, как и всё остальное в машинном обучении, является результатом подгонки кривых. Приходите и узнайте о различиях (и сходствах!) между авторегрессией и диффузией, почему эти методы необходимы для генерации сложных природных данных и почему модели диффузии лучше подходят для генерации изображений, но не используются для генерации текста. В этом видео в качестве демонстрационных примеров представлены следующие генеративные модели: Изображения: Adobe Firefly (
Текст: ChatGPT (
Аудио: Suno.ai (suno.ai) Код: Gemini (gemini.google.com/app) Видео: Lumiere (Lumiere-video.github.io) Главы: 00:00 Введение в генеративный ИИ 02:40 Почему наивная генерация не работает 03:52 Авторегрессия 08:32 Обобщённая авторегрессия 11:43 Диффузия с шумоподавлением 14:19 Оптимизация 14:30 Повторное использование моделей и причинно-следственных архитектур 16:35 Модели диффузии предсказывают шум вместо изображения 18:19 Условные Генерация 19:08 Руководство без классификаторов