Энтропия марковской цепи: считаем на модели клетки Дайсона

В 1865 году Клаузиус ввёл понятие энтропии: раскладывая физические процессы на цепочку тепловых машин, он показал, что при необратимых процессах энтропия всегда растёт, а для обратимых процессов, как идеальная машина Карно, её изменение равно нулю; при этом энтропия не может уменьшиться, если в систему не подводится энергия извне, это и есть второй закон термодинамики. Хотя саму энтропию нельзя напрямую измерить термометром или линейкой, из неё можно получить производные величины, которые уже измеримы.

Ещё есть более ранний пост, по признанию автора, довольно расплывчатый, про идею «жизни как энтропии»: она отталкивается от концепции негэнтропии Шрёдингера (1944), по которой живые системы поддерживают порядок, «питаясь» энергией среды и снижая собственный локальный беспорядок. До сих пор, признаётся автор, было не до конца ясно, что это означает в деталях, и один из способов разобраться, строить игрушечные модели, задавать для них математически строгое определение энтропии, а затем в симуляции смотреть, как энтропия меняется. Одна из таких моделей, игрушечная модель клетки Дайсона: марковская цепь, которая сходится к одному из трёх равновесных состояний, два из которых называются «жизнь» и «смерть». Чтобы идея «жизни как энтропии» вообще имела смысл, для этой цепи тоже должно найтись определение энтропии, но у Клаузиуса энтропия определена как функция работы и температуры, и неочевидно, как перекинуть мостик к марковской цепи.

Ответ автор ищет у идеи Больцмана: Больцман показал, что энтропию можно записать как функцию числа состояний, в которых может находиться система при фиксированных макропараметрах (температуре, давлении, объёме). Интуиция, о которой пишет автор: если энтропия связана с порядком и беспорядком, логично предположить, что чем больше состояний может отвечать одному и тому же макросостоянию, тем выше энтропия. Иллюстрация: газ одинаковых молекул при абсолютном нуле, все в фиксированных позициях с нулевой скоростью, оставляет мало вариантов такого состояния; тот же газ, но горячий, допускает куда больше конфигураций частиц, и здесь рост температуры совпадает с ростом числа состояний. Больцман превратил эту интуицию в строгую формулу: энтропия системы, это логарифм числа состояний, умноженный на постоянную величину, названную постоянной Больцмана. По словам автора, результат простой по форме, но совсем не очевидный по выводу: доказательство Больцмана строится на модели газа с конечным набором допустимых скоростей и позиций частиц с переходом к пределу, и математики до сих пор работают над тем, чтобы сделать это рассуждение строгим.

Дальше автор считает энтропию на конкретном примере, модели магнита Кюри: конечное число электронов, каждый со спином вверх или вниз, а энергия (работа) возникает, когда спин не совпадает с направлением внешнего магнитного поля. Для системы всего из 5 атомов при измеренной энергии E = 1 нужная конфигурация, три спина вверх и два вниз (это следует и из ограничения n↑ + n↓ = 5). Расставить три «верхних» и два «нижних» спина среди 5 атомов можно 5 по 3 = 10 способами, это и есть все микросостояния, отвечающие макросостоянию «E = 1». Отсюда энтропия системы равна log₂ 10 ≈ 3,32 бита.

Тот же способ счёта автор переносит на марковскую цепь модели Дайсона. В ней N узлов, и каждый узел может быть в одном из трёх состояний, пустой, активный или неактивный; по правилам из предыдущего поста автора (в этом материале они не приводятся), доля узлов в каждом состоянии сходится к равновесным значениям, «сложной функции неподвижных точек», которые, по словам автора, существуют, но сами числа в посте не названы. Чтобы показать метод счёта, автор берёт гипотетический пример равновесия: пусть вероятность «пусто» равна 1/2, а «активно» и «неактивно», по 1/4 каждая; тогда на 8 узлах это 4 пустых, 2 активных и 2 неактивных. Число таких конфигураций, мультиномиальный коэффициент: выбрать, какие 4 из 8 узлов пустые, затем какие 2 из оставшихся 4 активные, а последние 2, неактивные; считается как факториал общего числа узлов, делённый на произведение факториалов размеров каждой группы, то есть 4!·2!·2! = 96. Итоговое число конфигураций и числовое значение энтропии для этого примера, в отличие от примера с магнитом, в посте не приводятся; формула остаётся той же: энтропия, логарифм числа состояний, умноженный на постоянную Больцмана.

Как энтропия эволюционирует внутри самой цепи, автор обещает разобрать в следующем посте: там, по словам автора, появятся общие утверждения об энтропии в зависимости от топологии графа переходов и условия, при которых энтропия растёт, в этом материале их нет. В конце автор благодарит Дэвида Пфау (David Pfau) за обсуждения и помощь, уточняя, что все ошибки в тексте, авторские; кем работает Пфау и в чём именно заключалась помощь, не сказано. Ссылки в конце поста, на статью Клаузиуса 1865 года в Annalen der Physik и книгу Шрёдингера «Что такое жизнь?» (1944, глава 6).

Ключевые факты

Модель магнита Кюри из 5 атомов при энергии E = 1 даёт 10 равновероятных конфигураций спинов (3 вверх, 2 вниз), отсюда энтропия log₂ 10 ≈ 3,32 бита; это рабочий пример счёта энтропии по Больцману.
Тот же способ счёта конфигураций автор переносит на марковскую цепь, игрушечную модель клетки Дайсона, где узел бывает пустым, активным или неактивным, а вся цепь сходится к одному из трёх равновесий, два из которых называются «жизнь» и «смерть».
Для гипотетического равновесия (1/2 узлов пустые, по 1/4 активные и неактивные) на 8 узлах автор показывает подсчёт через мультиномиальный коэффициент (знаменатель 4!·2!·2! = 96), но итоговое число конфигураций и саму энтропию для этого примера не приводит, в отличие от примера с магнитом.
Толчком к посту стала идея Шрёдингера (1944) о «жизни как негэнтропии»: живые системы поддерживают порядок, потребляя энергию среды и снижая локальный беспорядок; по признанию автора, более ранний пост на эту тему был расплывчатым, и сейчас автор разбирается через игрушечные модели.
Как энтропия меняется в зависимости от топологии графа переходов и при каких условиях она растёт, автор обещает разобрать в следующем посте, в этом материале готового ответа нет.

Почему это важно

Это попытка перевести расхожую метафору «жизнь противостоит энтропии» (идея Шрёдингера о негэнтропии) из красивых слов в считаемую математику. Энтропия по Клаузиусу определена через работу и температуру, понятия, которые не применимы напрямую к дискретной вероятностной модели вроде марковской цепи. Автор показывает мост: определение энтропии по Больцману (логарифм числа микросостояний, совместимых с макросостоянием) не привязано к температуре и работе, а значит его можно применить и к абстрактной модели с состояниями «пусто/активно/неактивно», а не только к газу или магниту.

Кому это важно

Читателям, которых интересуют основания статистической механики и то, как строго определяется энтропия за пределами школьного курса термодинамики, а также тем, кто следит за темой «жизнь как энтропия/негэнтропия» вслед за книгой Шрёдингера «Что такое жизнь?». Пост, часть авторской серии о марковской модели клетки Дайсона, а не законченный результат и не инструмент: он ближе к научно-популярной физике и математике, чем к прикладным задачам, и не адресован напрямую разработчикам ИИ-продуктов.

Как это применить

Ничего не продаётся и не выпускается, это ход рассуждения, который можно повторить на своей модели: (1) зафиксировать макросостояние системы, (2) перечислить все микросостояния, которые ему отвечают, (3) взять энтропию как логарифм числа этих микросостояний (умноженный на постоянную Больцмана, либо как log₂, тогда результат в битах, как в примере с магнитом). Для реальных, не гипотетических равновесных долей модели Дайсона и для законченного числового примера на 8 узлах в этом посте данных недостаточно, автор оставляет расчёт незавершённым и переносит выводы о поведении энтропии на будущий пост.

Можно ли доверять

Это личное научно-популярное эссе на Substack, а не рецензируемая статья, автор называет его попыткой разобраться, а не готовым результатом. Историческая часть подкреплена ссылками на первоисточники (Клаузиус, 1865, Annalen der Physik; Шрёдингер, «Что такое жизнь?», 1944, глава 6), а пример с магнитом Кюри доведён до конкретного числа (log₂ 10 ≈ 3,32 бита), что говорит о математической аккуратности хотя бы в этой части. Но пример на модели Дайсона использует прямо названные гипотетические, а не реальные равновесные вероятности, и автор отмечает, что строгое обоснование формулы Больцмана математики всё ещё дорабатывают. Новых исследовательских результатов, рецензирования или внешней проверки в посте нет; единственная внешняя помощь, упомянутое без деталей обсуждение с Дэвидом Пфау.

Риски и подводные камни

Метки «жизнь» и «смерть», названия двух из трёх равновесий игрушечной марковской модели, а не доказанное утверждение о том, что такое биологическая жизнь; сам текст не объясняет, как именно эти состояния всей цепи соотносятся с долями «пустых», «активных» и «неактивных» узлов из примера на подсчёт. Цифры в примере с 8 узлами (1/2, 1/4, 1/4), гипотетическое допущение автора для демонстрации метода, а не решённые равновесные значения модели Дайсона, и принимать их за фактический прогноз не стоит. Пост обрывается до обещанных общих результатов, про то, как топология графа переходов определяет рост энтропии, так что судить по нему о поведении энтропии в модели Дайсона в целом пока нельзя. И сама несущая конструкция, вывод формулы Больцмана, по признанию автора ещё не имеет полностью строгого математического обоснования.