Поддержать канал донатом:
https://www.donationalerts.com/r/matt... Всем привет! Сегодня продолжаем наш компактный курс по основным понятиям из теории информации и машинного обучения. На этот раз рассмотрим дивергенцию Кульбака—Лейблера, которая вскользь упоминалась в прошлом выпуске. Она служит мерой "потерянной информации", показывающей, сколько лишних бит информации в среднем мы тратим, когда используем модель вместо истинного распределения. Ключевые слова: кросс-энтропия, cross-entropy, теория информации, теория вероятностей, математика, KL-дивергенция, KL-divergence, функция потерь, машинное обучение, искусственный интеллект
