Языковые модели: от статистичеких до ChatGPT // курс «Natural Language Processing (NLP)»
Кому подходит этот урок: Практикующим Data Scientist и ИТ-специалистам, которые хотят глубже погрузиться в область NLP Тем, кто хочет узнать, что делает ChatGPT такой умной Людям, освоившими основы машинного обучения, но желающими развиваться в области DS Результаты урока: Вы узнаете, что такое языковые модели, как их использовать для решения NLP-задач, а также изучите подходы по обучению больших языковых моделей, таких как ChatGPT. «Natural Language Processing (NLP)» - Преподаватель: Мария Тихонова - Senior Data Scientist SberDevices, преподаватель ВШЭ Подключайтесь к обсуждению в чате - Пройдите опрос по итогам мероприятия - 00:00 - Начало трансляции 01:40 - О преподавателе (учит GigaChat) 05:10 - О чем будет лекция и знакомство с аудиторией (о развитии языковых моделях) 12:30 - О языковых моделях, что мы подразумеваем, когда говорим о моделировать LMs (ChatGPT) 15:37 - Задача языкового моделирования 18:50 - Про первые языковые модели, что они не были нейросетевые, а статистические 22:40 - Революция трансформеров 26:15 - Первая трансформенная языковая модель стала модель BERT (обучение пред обученных моделей) 30:30 - Что есть в открытом доступе и как их найти, чтобы дообучить 35:30 - Генеративные модели aka GPT 40:50 - Про ChatGPT c RLHF 43:05 - Про ошибки и ограничения ChatGPT 47:20 - Hugging Face 49:50 - Про курс Natural Language Processing Следите за новостями проекта: Telegram: ВКонтакте: LinkedIn: Хабр:
