Кост-модель LLM: иллюзия простоты / Михаил Чебаков

На конференции «Я про бэкенд» Михаил Чебаков, руководитель разработки инструментальных ML-платформ Т-Банка, рассказал, какие инженерные сложности и компромиссы стоят за тем, чтобы спрятать всю сложность инференса LLM за простыми числами, и показал, как сделать измеримым то, что не всегда можно предсказать. Больше полезных материалов про бэкенд:
#япробэкенд #яндекс #backend #бэкенд #архитектура #highload #инфраструктура #ml #ai #llm #yandextech #разработка #инженерия #devops #ydb #автотранспорт #алиса #рекомендации