Если система, имеет n равновероятных состояний, то очевидно, что с увеличением числа состояний энтропия возрастает, но гораздо медленнее, чем число состояний

3. Если система А имеет n возможных состояний, то энтропия будет максимальной в том случае, когда все состояния равновероятны.

Во многих случаях требуется рассматривать сложную систему, состоящую из нескольких отдельных систем. Пусть система А может иметь n групп состояний (А₁,…А_n) с вероятностями Р(А₁), …, Р(А_n); соответственно система В имеет m групп состояний В₁,…В_m с вероятностями Р(В₁), …, Р(В_m). Объединенная система С=АВ – определяется сочетанием состояний систем А и В.

Система АВ может находиться в одном из следующих m·n возможных состояний:

n – количество строк, m –количество столбцов.

Состояние А_iB_j означает, что проведено соединение систем А и В, приведенная матрица отображает возможные сочетания состояний. Для вычисления энтропии системы АВ следует составить сумму произведений вероятностей состояний на их логарифмы:

(8)

Преобразование уравнения (8) показывает, что для сложной системы, объединяющей две статически независимые системы, общая энтропия равна сумме энтропий этих систем. Так как энтропия системы неотрицательная величина, то при объединении систем энтропия возрастает или остается неизменной.

или

Энтропия сложной системы, объединяющей две статистически зависимые системы равна сумме энтропий одной системы и условной энтропии другой системы относительно первой, это положение может быть представлено в виде выражения:

Условная энтропия характеризует статистическую связь систем А и В. Если она отсутствует, т.е. , то . В этом случае условная энтропия системы совпадает с ее независимой энтропией.

Поиск по сайту: