Ускорение вычислений в нейронных сетях. Константин Архипенко (ИСП РАН)

Эффективные алгоритмы умножения матриц и свертки, оптимизация графов вычислений, квантизация нейронных сетей. Лектор - Константин Архипенко, сотрудник Института системного программирования РАН, преподаватель трека "Искусственный интеллект" IT Академии Samsung на ВМК МГУ. Это лекция - часть цикла вебинаров "Samsung Innovation Campus - Russia" для тех, кто уже освоил основы нейронных сетей и задач по CV/NLP и двигается дальше. Авторы - специалисты Samsung, Института системного программирования РАН и других компаний. Ссылка на презентацию лекции -
Используемые материалы: Roofline presentation (Berkeley):
GEMM for CPU examples:
GEMM convolution for GPUs:
,
State-of-the-art GEMM for CPU (paper):
DFT guide:
Winograd convolution (theory):
Efficient Winograd implementation and benchmark:
TensorFlow graph optimization:
Quantization:
NVIDIA TensorRT:
Дополнительно: Deep compression:
Variational dropout:
EfficientNet:
Ссылка на все лекции цикла Samsung Innovation Campus по искусственному интеллекту -
Бесплатные курсы по нейронным сетям -