Как измерить количество информации?

Мы ежедневно работаем с информацией из разных источников и поэтому имеем интуитивные представления о том, что означает, когда один источник является более информативным, чем другой. Однако далеко не всегда понятно, как это правильно определить формально. Не всегда большое количество текста означает большое количество информации. Например, среди СМИ распространена практика, когда короткое сообщение из ленты информационного агентства переписывают в большую новость, но при этом не добавляют никакой «новой информации». Или другой пример: рассмотрим текстовый файл с романом «Война и мир» в кодировке UTF-8. Его размер — 3.2 Мб. Сколько информации содержится в этом файле? Изменится ли это количество, если файл перекодировать в другую кодировку? А если заархивировать? Сколько информации вы получите, если прочитаете этот файл? А если прочитаете его второй раз? На лекции Александр расскажет про различные подходы к тому, как можно отвечать на эти вопросы. Открытая лекция Александра Смаля — сотрудника ПОМИ РАН, куратора Computer Science клуба, преподавателя ИТМО, СПбГУ и ВШЭ. Чтобы принять участие во встрече в Zoom, зарегистрируйтесь:
Для комфортного прослушивания лекции желательно иметь базовые познания в теории вероятностей и программировании. Слушатели научатся отвечать на вопросы: — Как сообщить дробное число битов информации? — Сколько информации в среднем содержит один символ некоторого текста? — Сколько информации в романе «Война и мир»? — Сколько информации в числе пи? — Как определить, что некоторая последовательность символов является случайной?

Смотрите также