Руководство по созданию конвейеров дополненной генерации данных (RAG), которые действительно рабо...

В этом видео мы поговорим о расширенной генерации поиска (Retrieval Augmented Generation). Идея RAG довольно проста: предположим, вы хотите задать вопрос LLM. Вместо того, чтобы полагаться на его предварительные знания, вы сначала извлекаете релевантную информацию из внешней базы знаний. Эта информация затем предоставляется LLM вместе с вопросом, что позволяет ему сгенерировать более обоснованный и актуальный ответ. В этом видео мы начнём с самого простого конвейера RAG, а затем разберёмся, как работают отдельные компоненты этого конвейера и как современные фреймворки сделали его сверхмощным и сверхнадёжным. Подпишитесь на меня в Твиттере, чтобы регулярно получать обновления канала и ежедневные обучающие материалы по машинному обучению и искусственному интеллекту:
Чтобы получить доступ к описаниям, слайдам и другим файлам, созданным для каждого видео на канале, посетите наш Patreon.   / neuralbreakdownwithavb   #ai #largelanguagemodels #machinelearning Ресурсы: Векторные базы данных:
Фильтрация метаданных:
Контекстная фрагментация:
Предложения / Плотный X-поиск:
Гипотетические встраивания документов (HYDE):
FLARE:
Временные метки: 0:00 — Вступление 1:19 — Схема генерации дополненной информации для поиска 4:00 — Фрагментация и контекстная фрагментация 6:54 — Преобразование данных — Встраивание языковых моделей 8:29 — Преобразование данных — TF-IDF и BM-25 10:54 — Векторные и графовые базы данных 13:00 — Переписывание запросов 14:21 — Переписывание контекстных запросов, HYDE 15:24 — Пост-извлечение 16:00 — Обратное слияние рангов 17:00 — Заключение