Архитектура бэкенда для ML-моделей / Алёна Васильева

На конференции «Я про бэкенд» Алёна Васильева, руководитель разработки Шедеврума, рассказала об архитектуре бэкенда для ML-моделей. Она объяснила, как работать с долгим инференсом ML-моделей (синхронно или асинхронно), сравнила поллинги, SSE и веб-сокеты, а также поделилась опытом команды в области экономии GPU. Больше полезных материалов про бэкенд:
#япробэкенд #яндекс #backend #бэкенд #архитектура #highload #инфраструктура #ml #ai #llm #yandextech #разработка #инженерия #devops #ydb #автотранспорт #алиса #рекомендации