Вернёмся к вопрсам философии физики и математики. Допустим, у нас есть
какие–то знания о чём–то. Исторически — это набор наблюдений за
природой, за какими–то математическими понятиями или ещё за чем–то. По
отдельности все они занимают большой объём информации, а ёмкость всех
физических носителей, включая наш мозг, ограничена, поэтому мы не можем
ни эффективно запоминать всё это, ни оперировать с этим. Можно ли найти
выход из положения? Как ограниченному мозгу научиться работать с
бесконечным в своём многообразии его окружением? Действительно ли
окружающий нас мир — это хаос, содержащий никак неуменьшаемое количество
информации?
К счастью, нет. Несмотря на многообразие, его колмогоровская сложность не так велика. Знаете, как работают алгоритмы сжатия информации? Каждому событию мы ставим в соответствие слово из букв алфавита так, что чем чаще встречается слово, тем короче оно будет. Длину алфавита мы выбираем минимальной, но такой, чтобы смочь всё закодировать, длины слов — тоже минимальными из достаточных. Затем мы создаём сжатый архив, в начале которого перечисляем наши кодовые слова, а дальше, вместо последовательности событий на множестве, перечисляем кодовые короткие слова, которые эти события кодируют. Распаковка происходит точно так же: читаем слова и ставим им в соответствие события.
Не всегда можно ужать информацию, а можно ли её ужать — определяется энтропией. Энтропия нам даёт среднюю длину слова и коэффициент сжатия. Энтропия — это интегральная характеристика множества, характеризующая неуменьшаемое количество информации в нём. Разные множества с одинаковой энтропией полностью эквивалентны в смысле своей информационной содержательности. Не зря понятие энтропии вошло в физику ещё давно, а позже была установлена формальная связь между физической энтропией и инфрмационной.
К счастью, нет. Несмотря на многообразие, его колмогоровская сложность не так велика. Знаете, как работают алгоритмы сжатия информации? Каждому событию мы ставим в соответствие слово из букв алфавита так, что чем чаще встречается слово, тем короче оно будет. Длину алфавита мы выбираем минимальной, но такой, чтобы смочь всё закодировать, длины слов — тоже минимальными из достаточных. Затем мы создаём сжатый архив, в начале которого перечисляем наши кодовые слова, а дальше, вместо последовательности событий на множестве, перечисляем кодовые короткие слова, которые эти события кодируют. Распаковка происходит точно так же: читаем слова и ставим им в соответствие события.
Не всегда можно ужать информацию, а можно ли её ужать — определяется энтропией. Энтропия нам даёт среднюю длину слова и коэффициент сжатия. Энтропия — это интегральная характеристика множества, характеризующая неуменьшаемое количество информации в нём. Разные множества с одинаковой энтропией полностью эквивалентны в смысле своей информационной содержательности. Не зря понятие энтропии вошло в физику ещё давно, а позже была установлена формальная связь между физической энтропией и инфрмационной.
