LLM и GPT - как работают большие языковые модели? Визуальное введение в трансформеры

Как большие языковые модели работают под капотом. Ранний доступ к видео для участников Patrion:
Отдельное спасибо следующим участникам:
Звуковая дорожка на русском языке: Влад Бурмистров. Другие рекомендуемые ресурсы по теме. Введение Ричарда Тёрнера - одна из лучших отправных точек:
Кодирование GPT с Андреем Карпатым    • Let's build GPT: from scratch, in code, sp...   Введение в "self-attention" от Джона Хьюитта
История языковых моделей от Брит Круз:    • The Origin of ChatGPT   Статья с такими примерами, как “woman - man”:
------------------ Таймкоды 0:00 - Predict, sample, repeat 3:03 - Inside a transformer 6:36 - Chapter layout 7:20 - The premise of Deep Learning 12:27 - Word embeddings 18:25 - Embeddings beyond words 20:22 - Unembedding 22:22 - Softmax with temperature 26:03 - Up next ------------------ Эти анимации в основном были созданы с помощью собственной библиотеки Python под названием manim. Частые вопросы доступны здесь:


Весь код для отдельных видео доступен здесь:
Музыка Винцента Рубинетти.


------------------ 3blue1brown - это канал про анимацию математики, во всех смыслах слова анимация. Если Вы прочитали это описание до конца, то наверное Вы интересуетесь этими уроками больше, чем средне-статистический зритель. Мне будет очень приятно, если Вы будете следить на новостями, либо подписавшись на этот канал YouTube, либо на любой из указанных ниже платформ. Mailing list:
Twitter:   / 3blue1brown   Instagram:   / 3blue1brown   Reddit:   / 3blue1brown   Facebook:   / 3blue1brown   Patreon:   / 3blue1brown   Website: