Желтый Club Talks — Как устроен AI Research в Яндексе и Т-Банке

Что с конкуренцией в LLM? Кто сможет обогнать OpenAI? Почему все вкладываются в опенсорс? И какие тренды есть в ризонинге, квантизации и алайнменте? Говорим про исследования в языковых моделях вместе с Борисом Шапошниковым из Т-Банка и Денисом Кузнеделевым из Яндекса. Узнаем, что происходит внутри лабораторий этих компаний: чем мы похожи, а чем отличаемся. Ведущий: — Даниил Гаврилов, руководитель Research-команды Т-Банка. Гости: — Денис Кузнеделев, исследователь в лаборатории Yandex Research. — Борис Шапошников, руководитель научной группы AI Alignment в Research-направлении в Т-Банке. Таймкоды: 00:40 Начало, знакомство с гостями 1:13 Денис про DL 1:35 Борис про алайнмент 2:40 Как устроен Yandex Research 4:53 Структура LLM-лабораторий 5:33 Конкуренция в исследованиях 7:49 Принципы лаборатории Yandex Research 8:28 Откуда брать идеи и как их проверять 13:24 Опенсорс в Yandex Research 14:13 Самые успешные модели в опенсорсе 14:32 Коллабы с инженерными командами 16:22 Зачем компании опенсорсные модели 17:53 Можно ли обогнать Open AI 19:15 Феномен DeepSeek 20:24 Сколько потратили на DeepSeek 23:30 Почему онлайн-методы для алайнмента лучше 27:59 Квантизация 30:22 Ряд оптимальности 32:34 Когда квантованные модели работают с просадкой 34:05 Однобитные LLM 35:20 Спрос на квантованные модели 37:38 Дистилляция ризонинг-моделей 40:05 Ризонинг — заслуга RL? 43:07 Инференс на time-scaling 43:49 Ризонинг в латентах 44:29 Диффузионки для генерации текстов 48:46 Финал Полезные ссылки: Yandex Research в X:
Блог Yandex Research:
А также подписывайтесь на наши каналы: Наш телеграм:
Дайджесты, статьи и анонсы митапов:
Жизнь команды изнутри и вакансии по направлениям:
Блог на Хабре: