Алексей Гончаров | Быстрый и экономичный инференс LLM в прикладных задачах

Спикер: Алексей Гончаров, основатель Compressa.ai Тема доклада: Поделится опытом оптимизации расходов на инференс LLM с применением квантования, дообучения моделей, LoRA адаптеров и низкоуровневых фреймворков инференса. Data Fest 2024:
Презентацию к докладу Вы можете скачать в треке OptimalDL:
___ Наши соц.сети: Telegram:
Вконтакте: https://vk.com/datafest
Канал с вакансиями в telegram:
Канал с апдейтами по курсам:
Как попасть в чат сообщества ODS Mattermost:

Смотрите также