Построение инфраструктуры LLM с нуля на основе опыта Х5 Tech | Мичил Егоров

Подписывайтесь на наш канал здесь и в телеграм
, чтобы быть в курсе будущих митапов и не пропускать полезные доклады! Мичил Егоров делится практическим опытом построения инфраструктуры для работы с LLM в X5 Tech. В докладе рассматриваются архитектура инференса, логирование, мониторинг, интеграция с бизнес-процессами и устойчивость к нагрузкам. Также освещаются выбор решений, оптимизация производительности и практические советы по внедрению моделей в корпоративную среду. Почта: michil.egorov@x5.ru Телега: @loalkota Мини-статья на хабре по докладу:
00:00 - Введение 01:26 - Требования к инфраструктуре 02:30 - Закрытые решения 04:00 - Текущее состояние и вызовы 06:50 - Маскировщик 09:16 - API gateway 10:46 - Система квот 11:42 - Инференс моделей 13:12 - Сравнительный анализ 15:10 - Подводные камни 17:17 - Логирование 18:53 - Текущая архитектура 19:10 - Обновление моделей 22:41 - Оценка моделей 23:18 - Итоги