$ \def\tr{\text{tr}} \def\diff{d} \def\medspace{\enspace} \def\mathbi{\mathbf} \def\euro{€} \def\dollar{\$} \def\textnormal{\text} \newcommand\norm[1]{\left\lVert{#1}\right\rVert} $

Entropie, Information und Freiheit

Grundsätzlich ist zu fragen, warum es Sinn machen könnte Konzepte der Physik, die zunächst nur zur Beschreibung der Natur und der Dynamik toter Materie verwendet werden können, zur Beschreibung sozio-ökonomischer und soziologischer Phänomene heranzuziehen. Die Begründung stützt sich auf folgende Tatsachen.

Diese Eigenschaften des Geldes und des übrigen Teils des immateriellen geltenden Toten in und zwischen Menschen, die am Geldsystem teilhaben, legen die Verwendung der Terminologie der Thermodynamik nahe. Das mathematische Gebäude der Thermodynamik ist zudem logisch konsistent. Überträgt man seine Aussagen auf die Sozio-Ökonomie, begründet sich die Validität dieser Vorgehensweise auf der Berechenbarkeit und Regelkonformität menschlichen Verhaltens im Umgang mit Geld. Der Schlüssel zur Übertragung ist die Zuordnung der einschlägigen Begriffe.

Leonard Susskinds Darstellung der Thermodyanmik

Prof. Leonard Susskind, der an der Stanford Universität Physik unterrichtet, leitet die Entropie wie folgt her.

Teilchen, System, Besetzungszahlen, Besetzungswahrscheinlichkeiten

Man hat $N$ identische Teilchen, die man in ein System einbringt. Das System ist ein Wechselwirkungszusammenhang, z.B. eine elektromagnetische Falle, ein optischer oder akkustischer Resonator, ein Behälter oder ein Gewebe, ein regelmäßiges oder unregelmäßiges Gitter, das aus Atomen und ihren Bindungen untereinander besteht. Das System hat einzelne energetische Zustände $i$, deren Energien, wenn sie jeweils von einem Teilchen besessen werden, jeweils $E_i$ betragen.

Die Besetzungszahlen $n_i$ geben an, wieviele Teilchen sich im Zustand $i$ befinden. Man findet für die gesamte Zahl der Teilchen $N$ und die mittlere Energie $E$ folgende Erhaltungsgrößen, die Zwangsbedingungen sind: \begin{eqnarray} N & = & \sum\limits_i n_i\\ N \cdot E & = & \sum\limits_i n_i \cdot E_i. \end{eqnarray}

Die Wahrscheinlichkeit, eines der Teilchen im $i$ten Zustand anzutreffen, heißt Besetzungswahrscheinlichkeit. Die Besetzungswahrscheinlichkeiten der Zustände $p_i$ ergeben sich zu $$ p_i=\frac{n_i}{N} $$

Leonard Susskinds Herleitung der Entropie.

Die Anzahl der Möglichkeiten $N$ identische Teilchen so zu verteilen, dass die Besetzungszahlen jeweils $n_i$ betragen, ist die kombinatorische Variable $C$: $$ (n_1,n_2,n_3,\cdots)\mapsto C =\frac{N!}{n_1!\cdot n_2!\cdot n_3!\cdots}=\frac{N!}{\prod_i n_i!} $$

Man sucht nun mathematisch nach einem Satz von Besetzungszahlen, die die kombinatorische Variable maximieren unter der Bedingung, dass die Teilchenzahl $N$ beträgt und die Gesamtenergie $U=N\cdot E$. Dazu differenziert man den Logarithmus der kombinatorische Variablen nach den Besetzungswahrscheinlichkeiten.

Entropie

In Stirling'scher Näherung für große $N$ $$ N!\approx N^N\cdot e^{-N} $$ lautet die kombinatorische Variable $C$: $$ C=\frac{N!}{\prod_i n_i!}\approx \frac{N^N\cdot e^{-N}}{\prod_i n_i^{n_i}\cdot e^{-n_i}}=\frac{N^N}{\prod_i n_i^{n_i}}. $$ Der Logarithmus der kombinatorischen Variable $C$ lautet: \begin{eqnarray} \log(C) & \approx & N\cdot \log(N)-\sum\limits_i n_i\cdot \log(n_i)\\ & \approx & N\cdot \log(N)-N\cdot \sum\limits_i p_i\cdot \log(N\cdot p_i)\\ & \approx & N\cdot \log(N)-N\cdot \log(N)\cdot \sum\limits_i p_i\cdots \\ &&\quad - N\cdot \sum\limits_i p_i\cdot \log(p_i)\\ & \approx & -N \cdot \sum\limits_i p_i\cdot \log(p_i) \end{eqnarray}

Man erkennt hier, dass der teilchenspezifische Logarithmus der kombinatorischen Variablen proportional ist zur Entropie: $$ S(p_i)=k_B\cdot \frac{\log(C)}{N}=-k_B\cdot \sum\limits_i p_i\cdot\log(p_i), $$ wobei $k_B$ die Boltzmann-Konstante ist.

Maximierung der Entropie

Es wird im Folgenden ein Vektor von Besetzungswahrscheinlichkeiten gesucht, der die Entropie maximiert. Dazu wird Lagranges Methode verwandt. Die Einheit der Hauptfunktion $S$ in der zu maximierenden Funktion $F'$ ist die Einheit der Boltzmann-Konstante $k_B$. Die Verwendung der Boltzmann-Konstante als Faktor vor der Teilchen-spezifischen kombinatorischen Variable zwingt den übrigen Lagrange-Faktoren $\alpha$ und $\beta$ ihre Einheiten auf. Da der Formalismus der Thermodynamik hier auf nicht-physikalische Systeme angewendet werden soll würde seine Verwendung die Übertragbarkeit erschweren. Daher setze ich im Folgenden die Boltzmann-Konstante auf $1$ oder lasse sie einfach weg.

Leonard Susskinds Herleitung der Zustandssumme.
Die zu maximierende Funktion lautet: $$ F'(p_i)=-\sum\limits_i p_i\cdot\log(p_i)-\alpha\cdot\left(\sum\limits_i p_i-1\right)-\beta\cdot\left(\sum\limits_i p_i\cdot E_i-E\right), $$ wobei als Nebenbedingungen die Normierung der Besetzungswahrscheinlichkeiten auf $1$ und die Energieerhaltung hergenommen werden: \begin{eqnarray} \sum\limits_i & = & 1\\ \sum\limits_i p_i\cdot E_i & = & E \end{eqnarray}

Die Differenzierung nach den $p_i$ ergibt: $$ \frac{\partial F'}{\partial p_i}=-\log(p_i)+1-\alpha-\beta\cdot E_i $$

Zustandssumme und Temperatur

Aus der Gleichsetzung der Ableitungen mit $0$ folgt zunächst $$ \log(p_i)+1=-\alpha-\beta\cdot E_i, $$ so dass sich die Besetzungswahrscheinlichkeiten zu \begin{eqnarray} p_i & = & e^{-1-\alpha}\cdot e^{-\beta\cdot E_i} \\ & = & \frac{1}{Z} \cdot e^{-\beta \cdot E_i} \end{eqnarray} ergeben, wobei mit Hilfe der Normierung der Besetzungswahrscheinlichkeiten $$ Z(\beta)=e^{1+\alpha}=\sum\limits_i e^{-\beta\cdot E_i} $$ die Zustandssumme ist, die sich (auch) aus der Normierung der Besetzungswahrscheinlichkeiten ergibt. Man erkennt, dass der Verlauf der $p_i$ empfindlich vom Faktor $\beta$ abhängt. Für große $\beta$ sind die $p_i$ um die Zustände mit den niedrigsten Energien besonders hoch, während für kleine $\beta$ in zunehmendem Maß Zustände mit größerer Energie populiert sind.

Die Nebenbedingung für die Energie (die Energieerhaltung) und die Definition der Zustandssumme $Z$ bieten die Möglichkeit, die mittlere Energie $E$ als Funktion von Zustandssumme und dem Lagrange-Multiplikator $\beta$ auszudrücken. Setzt man die so gefundenen Besetzungswahrscheinlichkeiten in die Energieerhaltung ein, so erhält man \begin{eqnarray} E & = & \sum\limits_i p_i\cdot E_i\\ & = & \frac{1}{Z}\cdot \sum\limits_i e^{-\beta\cdot E_i}\cdot E_i\\ & = & \frac{\partial}{\partial\beta}\log(Z) \end{eqnarray}

Die von den Lagrange-Multiplikatoren abhängige maximale Entropie $S$ ist also: \begin{eqnarray} S & = & -\sum\limits_i p_i \cdot \log(p_i) \\ & = & -\sum\limits_i \frac{1}{Z} \cdot e^{-\beta\cdot E_i}\cdot \log\left(\frac{1}{Z}\cdot e^{-\beta\cdot E_i}\right)\\ & = & \frac{\log(Z)}{Z}\cdot \sum\limits_i e^{-\beta\cdot E_i}+\frac{\beta}{Z}\cdot \sum\limits_i E_i\cdot e^{-\beta\cdot E_i} \\ & = & \log(Z) +\beta \cdot E \end{eqnarray}

Das totale Differenzial der maximalen Entropie lautet: \begin{eqnarray} \diff S & = &\frac{\partial}{\partial \beta}\log(Z)\diff \beta+\beta\cdot\diff E+E\cdot\diff\beta\\ & = & \beta\cdot \diff E \end{eqnarray}

Der Lagrange-Multiplikator $\beta$ wird einheitlich als der Kehrwert der Temperatur definiert: $$ \beta=\frac{1}{T}=\frac{\diff S}{\diff E} $$

Helmholtz' Freie Energie und Druck

Neben der Temperatur, die mit der Entropie zusammen ein Paar konjugierter Variablen bildet, ist noch der Druck von Interesse, der mit dem Volumen oder der räumlichen Ausdehnung des Wirkungszusammenhangs zusammenhängt und ein Paar konjugierter Variablen bildet. Der Druck ist zusammen mit der Oberfläche, dem Rand des Volumens, ein Maß für die Spannungen und Kräfte, die zwischen Umwelt und System herrschen.

Ableitung des Drucks aus der Entropie.

Die Gleichgewichtsentropie kann nun in eine andere Form gebracht werden: $$ E-T\cdot S = -T\cdot \log(Z) = F $$ mit der freien Energie $F$.

Druckverlauf auf Isentropen

Für die Bestimmung der Volumenabhängigkeit des Drucks bei konstanter Entropie können die bisher gefundenen Gleichungen nicht ohne Weiteres dienen. Stattdessen muss man sie umformen. Die gesuchte Ableitung ist $$ P=-\left.\frac{\partial E}{\partial V}\right|_T. $$

Um diese Ableitung errechnen zu können wird das totale Differenzial der Energie als Funktion des Volumens und der Temperatur betrachtet: \begin{eqnarray} \diff E & = &\left.\frac{\partial E}{\partial V}\right|_T\cdot\diff V+\left.\frac{\partial E}{\partial T}\right|_V\cdot\diff T \\ & = & \left.\frac{\partial E}{\partial V}\right|_T\cdot\diff V+\left.\frac{\partial E}{\partial S}\right|_V\cdot\left.\frac{\partial S}{\partial T}\right|_V\cdot\diff T \end{eqnarray}

Nun nutzt man aus, dass man sich auf Isentropen bewegt, also auf Kurven $$ (V,T)\mapsto S=\textrm{const.}, $$ denn auf Isentropen ist das Differenzial der Entropie definitionsgemäß $0$: $$ \diff S=\left.\frac{\partial S}{\partial V}\right|_T\cdot \diff V+\left.\frac{\partial S}{\partial T}\right|_V\cdot \diff T=0. $$ Es folgt für die Veränderung der Temperatur als Folge infinitesimaler Veränderungen des Volumens auf Isentropen: $$ \diff T=-\frac{\left.\frac{\partial S}{\partial V}\right|_T}{\left.\frac{\partial S}{\partial T}\right|_V}\cdot\diff V. $$

Setzt man dieses Ergebnis in das Energiedifferenzial ein, so erhält man: \begin{eqnarray} \diff E & = & \left.\frac{\partial E}{\partial V}\right|_T\cdot\diff V -\left.\frac{\partial E}{\partial S}\right|_V\cdot\left.\frac{\partial S}{\partial T}\right|_V\cdot \frac{\left.\frac{\partial S}{\partial V}\right|_T}{\left.\frac{\partial S}{\partial T}\right|_V}\cdot\diff V\\ & = &\left.\frac{\partial E}{\partial V}\right|_T\cdot\diff V-\left.\frac{\partial E}{\partial S}\right|_V\cdot\left.\frac{\partial S}{\partial V}\right|_T\cdot\diff V \end{eqnarray}

Eingesetzt in die Definition des Drucks ergibt sich: \begin{eqnarray} P & = & \frac{\partial}{\partial V}\left(T\cdot S-E\right)_T \\ & = & -\left.\frac{\partial F}{\partial V}\right|_T\\ & = & T\cdot\left.\frac{\partial \log(Z)}{\partial V}\right|_T. \end{eqnarray}

Fluktuationen

Es werden nun Fluktuationen der Energie berechnet: \begin{eqnarray} (\Delta E)^2 & = & \langle E^2\rangle-\langle E\rangle^2 \\ & = & \frac{1}{Z}\cdot\sum\limits_i e^{-\beta\cdot E_i}\cdot E_i^2 - \left(\frac{1}{Z}\cdot \sum\limits_i e^{-\beta\cdot E_i}\cdot E_i\right)^2\\ & = & \frac{1}{Z}\cdot\frac{\partial^2 Z}{\partial \beta^2}-\frac{1}{Z^2}\cdot \left(\frac{\partial Z}{\partial \beta}\right)^2\\ & = & \frac{\partial^2}{\partial \beta^2}\log(Z)\\ & = & \frac{\partial}{\partial\beta}\frac{1}{Z}\frac{\partial Z}{\partial\beta}\\ & = & -\frac{\partial}{\partial\beta} E\\ & = & T^2\left.\frac{\partial E}{\partial T}\right|_V\\ & = & T^2\cdot C_V, \end{eqnarray} wobei benutzt wurde, dass $$ \frac{\partial}{\partial\beta}=-\frac{1}{T^2}\cdot\frac{\partial}{\partial T} $$ sowie $$ C_V=\left.\frac{\partial E}{\partial T}\right|_V. $$ Die Größe $C_V$ heißt spezifische Wärmekapazität.

Querverweise auf 'Entropie, Information und Freiheit'