Семинар СПбГУ -- 2024.10.30 -- Что происходит в AI сегодня

Это запись семинара, проведённого в Центре искусственного интеллекта СПбГУ 9 октября 2024 года. Название и абстракт: Что происходит в AI сегодня: научные направления и результаты Какие направления исследований определяют сегодняшний искусственный интеллект, что нового и интересного появилось за последние годы, кроме увеличения масштабов языковых моделей — а точнее, в дополнение к этому? Мы поговорим о нескольких интересных направлениях: -- как дообучать большие языковые модели для конкретных задач; -- как увеличить длину контекста трансформера; -- как сочетать порождающую модель с поиском (retrieval-augmented generation); -- разберём появившиеся полгода назад сети Колмогорова-Арнольда как пример нового направления в глубоком обучении; -- а закончим тем, где я сам в этом потоке, то есть кратким обзором моих публикаций за 2024 год. Доклад носит более технический характер, чем предыдущий, но тоже является обзорным и не слишком сложным для понимания. Этот доклад призван дополнять и расширять рассказанное в первом докладе ("Мечтаем ли мы об AGI") с более научной стороны. Ссылка на предыдущий доклад:    • Семинар СПбГУ -- 2024.10.09 -- Мечтае...   Слайды обеих лекций выложены как дополнительные материалы к курсам, например:
Разделы: 00:00 Введение 03:48 Архитектура трансформера: self-attention 22:37 Позиционные вложения, BERT и GPT 34:02 Дообучение LLM: введение, RLHF 39:42 Низкоранговые приближения: LoRA 46:45 Instruction tuning 01:01:20 Вопросы про дообучение 01:03:10 Расширение длины контекста: разреженное внимание 01:09:35 Низкоранговые разложения 01:12:05 Линейное внимание и трансформеры как RNN 01:23:20 Вопросы про расширение контекста 01:26:04 Перерыв 01:26:25 RAG: идея и простые подходы 01:31:34 Агентный RAG, иерархические подходы 01:38:33 R[e]ALM: RAG на уровне языковой модели 01:39:45 Проблемы RAG 01:43:05 Графы знаний и RAG 01:48:40 Вопросы о RAG 01:50:55 Сети Колмогорова-Арнольда: идея и разложение 01:56:42 Сплайны 01:57:55 Сети Колмогорова-Арнольда (KAN) 02:01:33 Ускорение KAN 02:03:44 KAN сегодня 02:06:22 Вопросы о KAN 02:07:03 Обзор моих работ за 2024 02:07:35 Распознавание AI-порождённых текстов 02:12:15 Улучшение работы LLM 02:16:25 Рекомендательные системы 02:20:34 Информационный поиск 02:25:30 Датасет для квантовой механики 02:27:23 Вопросы и заключение