Ефим Головин, старший менеджер MLOps в Selectel показал, как на практике решить проблемы с инференсом LLM. На Selectel Tech Day 2025 поговорили, что делать бизнесу с нехваткой GPU, высокими требованиями к ресурсам и дорогим автоскейлингом Kubernetes. А в качестве бонуса Ефим разобрал квантизацию, оптимизацию образов, кеширование весов и узкие места автоскейлинга. Смотрите доклад в удобное время 👀 Официальный сайт Selectel —
Подписывайтесь на Selectel в социальных сетях: Telegram —
VK —
https://vk.com/selectel Подписывайтесь на блоги Selectel: Хабр —
vc.ru —
Не пропускайте мероприятия, которые Selectel проводит сам и вместе с партнерами:
Телеграм-канал с вакансиями:
