Анастасия Рысьмятова — о создании LLM в Авито: как адаптировали токенизатор, проводили эксперименты и тестировали модель. Кратко о стратегии, результатах и оптимизации для продакшна. 📎 Больше контента от АвитоТех по ссылке
📎 Конференция от Авито – для тех кто управляет продуктами, процессами и людьми - регистрация
Таймкоды: 00:00:04 Введение 00:00:41 Структура доклада 00:01:03 Команда и достижения 00:02:07 Выбор стратегии использования ЛМ 00:04:55 Стратегия использования ЛМ в Авито 00:05:34 Токенизатор 00:08:04 Данные для адаптации токенизатора 00:09:11 Адаптация токенизатора к модели 00:13:25 Первый эксперимент 00:13:37 Второй эксперимент 00:13:37 Третий эксперимент 00:14:30 Результаты экспериментов 00:15:42 Метрики и тестирование 00:17:20 Нагрузочное тестирование 00:18:25 Вопросы и ответы 00:21:14 Тенденции в LLM 00:23:01 Оптимизация и квантование AvitoTech — это команда инженеров Авито. Подпишитесь на наш канал, соцсети и блоги, чтобы узнавать больше о технологиях Авито 👇🏻 ВК:
https://vk.com/avitotech Телеграм:
Хабр:
Гитхаб:
RuTube:
Дзен:
Сайт:
