⚠️ Все ссылки на мои платформы, курсы здесь:
Поддержать канал можно оформив подписку на 🎉
🎉
https://vk.com/machine_learrrning 🎉 А можете скидывать монеты на
https://www.donationalerts.com/r/mach... Канал в TG
Группа в VK
https://vk.com/machine_learrrning Курсы на платформе Stepik: 1. Библиотеки Python для Data Science
2. Введение в нейронные сети (Keras/Tensorflow)
❓ Вопросы, на которые найдем ответы в этом видео: Какие есть оптимизаторы? Какие есть особенности в SGD, Momentum, AdaGrad, RMSProp, Adam? Какие есть преимущества и недостатки оптимизаторов? 🌟 Реализация модели линейная регрессия - • РЕАЛИЗАЦИЯ ЛИНЕЙНОЙ РЕГРЕССИИ | Линейная р... 🤖 Ноутбук из видео
0:00 Введение 0:19 План занятия 0:29 Поддержка
0:45 Задача на сегодня 1:38 Самая простая нейронная сеть 2:28 Визуализация ошибки MSE от весов нейронной сети 3:57 Градиентный спуск GD 4:17 Градиент ошибки MSE 6:06 Алгоритм градиентного спуска 7:12 Реализация градиентного спуска 10:11 Стохастический градиентный спуск SGD 10:57 Алгоритм стохастического градиентного спуска (SGD) 11:31 Реализация стохастического градиентного спуска (SGD) 13:37 Визуализация стохастического градиентного спуска 14:10 Mini-Batch стохастический градиентный спуск 14:44 Алгоритм Mini-Batch стохастического градиентного спуска 14:55 Реализация Mini-Batch стохастического градиентного спуска 16:01 Визуализация Mini-Batch стохастического градиентного спуска 16:27 Сравнение GD, SGD, Mini-Batch SGD 17:28 Визуальное сравнение GD, SGD, Mini-Batch SGD 18:32 SGD + Momentum, SGD с импульсом 22:28 Алгоритм SGD + Momentum 22:58 Реализация SGD + Momentum 24:36 Визуализация SGD + Momentum 25:13 Эксперименты с коэффициентом momentum SGD 26:51 SGD в Keras с momentum 27:22 AdaGrad 29:34 Алгоритм AdaGrad 30:03 Реализация AdaGrad 31:45 Визуализация AdaGrad 32:05 AdaGrad в Keras 32:30 RMSProp 33:42 Алгоритм RMSProp 34:15 Реализация RMSProp 35:41 Визуализация RMSProp 35:52 Эксперименты с коэффициентом в RMSProp 37:02 RMSProp в Keras 37:12 Adam 38:24 Алгоритм Adam 38:34 Реализация Adam 40:08 Визуализация Adam 40:21 Adam в Keras 40:30 Эксперимент с оптимизаторами в Keras 41:33 Зафиксировать веса при инициализации, чтобы они не были случайными 42:00 Архитектура сети 42:30 Оформление экспериментов с оптимизаторами 44:59 Отображаем на графике изменение функции потерь 45:59 Резюме занятия 46:08 Минусы и плюсы оптимизаторов 48:49 ♡
