LLM Inside: выжимаем максимум из decoder attention на GPU / Андрей Шукшов

На конференции «Я про бэкенд» Андрей Шукшов, старший разработчик в команде оптимизаций инференса Яндекс R&D, рассказал, как выжать максимум из decoder attention на GPU. Он разобрал архитектуру современных графических процессоров и объяснил, как добиться максимальной производительности при реализации ключевого примитива LLM: механизма внимания в декодере. Доклад будет особенно полезен разработчикам, которые уже работали с CUDA и хотят глубже понять устройство GPU и внутренние процессы больших языковых моделей. Больше полезных материалов про бэкенд:
#япробэкенд #яндекс #backend #бэкенд #архитектура #highload #инфраструктура #ml #ai #llm #yandextech #разработка #инженерия #devops #ydb #автотранспорт #алиса #рекомендации