Александр Шень, "Количество информации"

доклад на кружочке 29 октября 2025. анонс
Пусть у нас есть эксперимент с n исходами, случающимися с вероятностями p₁,...,pₙ. Тогда Шеннон со своей энтропией предлагает считать, что "исход эксперимента содержит ∑pₖlog(1/pₖ) битов информации". Что это значит — почему он выбрал именно такую формулу? и некоторые материалы: вводная часть по-моему хорошо отражена в листке С.А.Дориченко "Анализ ифнформации (
", можно порешать задачи и придумать часть теории самому для более серьёзного погружения в тему можно открыть книгу А.М.Яглом, И.М.Яглом, Вероятность и информация (но не факт что там что-то получится понять) также упоминалось арифметическое кодирование (
, не знаю где про него доступно написано, можете сами поискать если интересно и напишите в комментариях если знаете другие хорошие источники про информацию, вероятность и энтропию например там уже советуют конспект шадовских лекций Н.К.Верещагина (
, по-моему самое то что нужно