ЛУЧШИЙ способ разбить текст на фрагменты для RAG

Чтобы бесплатно попробовать все возможности Brilliant в течение 30 дней, посетите
Вы также получите скидку 20% на годовую премиум-подписку! Ресурсы: Блокнот по фрагментации:
Технический отчёт ChromaDB:
Репозиторий отчётов ChromaDB:
Визуализатор токенов OpenAI:
Грег Камрадт, 5 уровней разбиения текста:
Указатель Жаккара:
Главы: 00:00 — История фрагментации текста 02:28 — Великолепно! 03:47 - Разделение текста по символам 06:28 - Разделение текста по токенам 10:26 - Рекурсивное разделение по символам/токенам 16:07 - Камрадт и модифицированное семантическое фрагментирование 20:43 - Кластерное семантическое фрагментирование 24:46 - Семантическое фрагментирование LLM 27:56 - Метрики и сравнение фрагментирования 30:00 - Общие выводы #ai #programming #datascience Это видео спонсируется Brilliant