Как упаковать знания?

Вернёмся к вопрсам философии физики и математики. Допустим, у нас есть какие–то знания о чём–то. Исторически — это набор наблюдений за природой, за какими–то математическими понятиями или ещё за чем–то. По отдельности все они занимают большой объём информации, а ёмкость всех физических носителей, включая наш мозг, ограничена, поэтому мы не можем ни эффективно запоминать всё это, ни оперировать с этим. Можно ли найти выход из положения? Как ограниченному мозгу научиться работать с бесконечным в своём многообразии его окружением? Действительно ли окружающий нас мир — это хаос, содержащий никак неуменьшаемое количество информации?

К счастью, нет. Несмотря на многообразие, его колмогоровская сложность не так велика. Знаете, как работают алгоритмы сжатия информации? Каждому событию мы ставим в соответствие слово из букв алфавита так, что чем чаще встречается слово, тем короче оно будет. Длину алфавита мы выбираем минимальной, но такой, чтобы смочь всё закодировать, длины слов — тоже минимальными из достаточных. Затем мы создаём сжатый архив, в начале которого перечисляем наши кодовые слова, а дальше, вместо последовательности событий на множестве, перечисляем кодовые короткие слова, которые эти события кодируют. Распаковка происходит точно так же: читаем слова и ставим им в соответствие события.

Не всегда можно ужать информацию, а можно ли её ужать — определяется энтропией. Энтропия нам даёт среднюю длину слова и коэффициент сжатия. Энтропия — это интегральная характеристика множества, характеризующая неуменьшаемое количество информации в нём. Разные множества с одинаковой энтропией полностью эквивалентны в смысле своей информационной содержательности. Не зря понятие энтропии вошло в физику ещё давно, а позже была установлена формальная связь между физической энтропией и инфрмационной.

Физики работают с природой, кодируя возможный набор событий физическими законами — они так сжимают информацию для её последующего усвоения и анализа. Чтобы сжать уже сам набор законов, они придумали теоретическую физику, где оказалось, что достаточно принять всего лишь несколько законов, и тогда все остальные законы можно не помнить — они являются выводимыми логическими следствиями исходных. Однако, теоретическая физика всё ещё полна неформальщины, и её можно дополнительно ужать, если строго математически формализовать те элементы неформальщины, которые там остались — вот так математика даёт окончательное, наболее простое и максимально компактное представление наших знаний о реальном мире. Получив этот грааль, становится возможным предсказать всё, что в принципе может произойти в мире (помните "дайте мне рычаг — и я переверну Землю?"). Это то, что стоит за философией всей теории, и это то, что мы называем сейчас "максимально возможным пониманием предмета". Это то, над чем мы все работаем: и физики, и математики, и другие учёные и даже в какой–то степени инженера, хотя каждый вспахивает свой кусочек этой глобальной плантации.


источник