Информация об информации. Энтропия Шеннона, демон Максвелла и предел Ландауэра

Информация – одно из самых неоднозначных и неопределённых понятий в науке и философии. Для гуманитария это любые сведения, которые можно запомнить и передать в устной или письменной форме. Для математика это абстрактная сущность, сохраняющаяся при вычислительном изоморфизме. Для физика-теоретика это набор квантовых чисел, характеризующих состояние элементарной частицы. Для программиста это цифровые данные, которые можно представить в двоичном коде и измерить в битах. Для философа-материалиста это отражение многообразия окружающего мира с помощью знаков и сигналов. Для философа-идеалиста это нематериальная, неизмеримая и нелокальная сущность, что-то связанное с духом или сознанием. Для эзотериков это некая метафизическая субстанция или информационное поле. Что же такое информация на самом деле? В данной лекции я покажу, что информация – физическая, объективная, измеряемая величина, в которой нет ничего субъективного и мистического. Заодно мы разберёмся, что такое энтропия по Шеннону, насколько избыточен естественный язык, в чём заключается принцип Ландауэра и обладает ли информация массой. Таймкоды: 00:36 – Вступление 02:20 – Что такое информация? 08:08 – Информация в информатике 11:44 – Теория информации 17:15 – Информационная энтропия 22:17 – Энтропия естественного языка 26:50 – Избыточность 29:09 – Демон Максвелла 32:39 – Предел Ландауэра 40:16 – Сколько весит информация? 43:41 – Информация в теории конструкторов 47:36 – Вывод Статья: