Сайт использует сервис веб-аналитики Яндекс Метрика с помощью технологии «cookie». Пользуясь сайтом, вы даете согласие на использование данной технологии.
Берты, трансформеры, эмбеддинги, аттеншены, энкодеры с декодерами и другие страшные слова – все это разберем в выпуске с Владиславом Танковым, директором по AI в JetBrains, попутно разложив большие языковые модели на составные части. Полезные ссылки: — Illustrated Transformer — Attention is all you need — Illustrated BERT — GPT-family models overview — A bit of overview of tokenization ❓ Хочешь обсудить выпуск или задать вопрос эксперту? Вступай в наш Telegram-чат: 📰 Не любишь чаты, но хочешь оставаться в курсе дел и прокачивать свой IT кругозор? Подписывайся на наш Telegram-канал: там публикуются анонсы новых выпусков, а в комментах идут ценные и горячие обсуждения! 5 тысяч опытных IT-специалистов уже с нами: 👉Предложить себя в подкаст Тайм-коды: 00:00 О чем выпуск 09:45 Принципы работы машинное обучение 30:22 Декодерные модели и их применение 38:57 Физический смысл эмбедингов 42:00 Выбор размерности 47:29 Трансформеры 01:02:27 Токенизация и её влияние 01:12:22 Большие языковые модели 01:24:26 Сравнение моделей 01:27:13 Качество данных и масштабирование моделей 01:30:55 Заключение
