(1) Ein thermodynamisches System soll mit Methoden der Statistischen Mechanik untersucht werden, z.B. eine Flüssigkeit, ein Flüssigkeits-Gas-Gemisch, eine Legierung aus zwei Metallen. Es ist aus Teilchen zusammengesetzt, die in verschiedenen Mikrozuständen sein können. Ein Mikrozustand eines Systems ist z.B. durch die Positionen und kinetischen Energien aller Teilchen des Systems gekennzeichnet (auch z.B. der Spins). Dagegen ist ein Makrozustand des Systems typischerweise durch Druck p, Volumen V und Temperatur T u.a. gekennzeichnet (oder andere Sätze von Zustandsvariablen). Mit einem bestimmten Makrozustand sind die verschiedensten Mikrozustände verträglich. Durch Teilchenstöße etc. wird ein Teilchen z.B. beschleunigt. Es ändern sich dann in zufälliger Weise auch bei einem festen Makrozustand der beitragende Mikrozustand.

Entropie ist ein Maß für die Zahl der für einen bestimmten Makrozustand möglichen Mikrozustände. Je mehr Mikrozustände zu einem bestimmten Makrozustand des Systems führen, desto wahrscheinlicher ist es, dass sich ein System zu einem solchen Makrozustand hin in zufälligen Vorgängen entwickelt.

Wenn sich ein System noch nicht im thermischen Gleichgewicht befindet, wird es sich aller Erfahrung nach in der Regel nach und nach zu einem Makrozustand entwickeln, der eben thermisches Gleichgewicht genannt wird. Warum? Weil dort besonders viele Mikrozustände zu einem Makrozustand beitragen können. Das thermische Gleichgewicht ist also der wahrscheinlichste (Makro-)Zustand eines abgeschlossenen Systems. Das erklärt auch, weshalb das thermische Gleichgewicht durch ein Maximum der Entropie gekennzeichnet ist und macht auch plausibel, dass jedes sich selbst überlassene System das Bestreben hat, seine Entropie zu vermehren. Man muss von außen besondere Maßnahmen ergreifen, wenn man die Entropie eines Systems verringern möchte.

Prof. Hägele schreibt:

Ein abgeschlossenes System neigt dazu, den wahrscheinlichsten Zustand (und damit ein Maximum der Entropie) anzunehmen.

Ein Makrozustand mit höherer Entropie lässt besonders viele Mikrozustände zu. Dies ist häufig mit besonders viel Variantenreichtum und Unordnung verbunden. Deswegen wird häufig, besonders in der populärwissenschaftlichen Literatur, hohe Entropie mit viel Unordnung und geringe Entropie mit Ordnung verbunden und man erwartet, dass ein System "von selbst" immer dem Zustand größter Unordnung/Entropie zustrebt, was du sicher aus deiner Erfahrung bestätigen kannst.

Neben dieser Deutung der Entropie durch die statistische Mechanik gibt es auch eine thermodynamische Deutung, die gleiche Folgerungen zeigt. Die Entropie S wird hier definiert durch Entropieänderungen:

Dabei soll sich also bei der reversiblen Aufnahme der Wärmemenge ΔQ bei der Temperatur T eine Entropieänderung ΔS ergeben. Die Entropie ΔS fließt dabei - wie ein Stoff - vom Wärme abgebenden Körper zum aufnehmenden Körper. Bei reversiblen Vorgängen (reversibel = umkehrbar) findet insgesamt keine Entropieänderung (bei beiden Körpern zusammen) statt: Beim aufnehmenden Körper wird sie erhöht, beim abgebenden erniedrigt.

ür die Einheit gilt:

Die Entropie ist nicht nur eine Rechengröße, sondern eine physikalische Größe wie Stromstärke oder Geschwindigkeit. Es gibt auch Messgeräte, mit denen sie wie mit einem Thermometer bis auf eine belanglose additive Konstante gemessen werden kann.

Entropie kann erzeugt, aber nicht vernichtet werden. Im Unterschied dazu kann Energie weder erzeugt noch vernichtet werden.

Anwendung: Bei einem Wasserfall wird makroskopische Energie (potenzielle bzw. kinetische) in innere Energie umgewandelt. Finde Gründe, weshalb dabei Entropie erzeugt wird! Warum kann umgekehrt innere Energie des Wassers nicht in kinetische und potenzielle makroskopische Energie umgewandelt werden? Die Energie könnte doch - vermeintlich - ausreichen, um das Wasser wieder nach oben zu bringen!

In der Informatik gibt es eine Informationsentropie, die ganz ähnlich definiert ist. Sie macht z.B. eine Aussage über den Informationsgehalt eines Textes, genauer über die mittlere Anzahl von Möglichkeiten für einen "Buchstaben" in einem "Text", und wird durch bit, kByte, ... gemessen. Eine 8-bit-Speicherzelle hat eine Informationsentropie  von 8 bit. Deshalb gibt es 2⁸ = 256 Möglichkeiten ein 1-Byte-Wort in ihr zu speichern.

Mit einer Simulation kannst du dich mit dem Begriff der Entropie besser vertraut machen.

(2) Mehr im Detail:

Lass' dich erst einmal auf ein (scheinbar) anderes Thema lenken: Du weißt, dass die Kapazität deines MP3-Players, der Festplatte deines PCs oder der Speicher deines Tablet-PCs in GByte (Gigabyte) angegeben wird. Kleinere Einheiten sind Megabyte, Kilobyte oder Byte. Betrachte ein 1-Byte-Datenwort, ausgedrückt in Binärzahlen mit 8 Stellen: z.B. 10011011₍₂₎ = 128+16+8+2+1= 155₍₁₀₎. Wieviele verschiedenen solcher Datenworte gibt es? Gehen wir stellenweise vor, wobei wir von hinten anfangen: Für die letzte Stelle gibt es 2 Möglichkeiten (0 oder 1; die Wahrscheinlichkeit p für eine 0 oder aber eine 1 ist p = 1/2), ebenso für die vorletzte Stelle, insgesamt also 2·2 Möglichkeiten usw. Für die 8-Stellen gibt es g = 2⁸ = 256 Möglichkeiten. Da jede Möglichkeit gleich wahrscheinlich ist, hat jede die Wahrscheinlichkeit P = 1/256.

Shannon kam nun auf die Idee zu definieren h =  - ld(p) und H = - ld (P). ld ist der Logarithmus zur Basis 2. Dem Ergebnis wird jeweils die Benennung bit gegeben. Fällt dir etwas auf? Im Beispiel ergibt sich h = 1 bit und H = 8 bit. Der Logarithmus wurde für die Definition gewählt, weil dann sich die Entropie für jede Stelle zur Gesamt-Entropie einfach aufaddiert. 8 bit = 1 bit + 1 bit + ... 1 bit. Für H hätte auch geschrieben werden können: H = ld(g). Mit H (= 8 bit) im Beispiel wird die Anzahl der Möglichkeiten für ein 1-Byte-Datenwort gemessen: In einer Speicherzelle von 8 bit lassen sich g = 2⁸ verschiedene Datenworte speichern. H heißt Informationsentropie (im Beispiel von 1 Byte). Weil "der Logarithmus die Rechenstufe um 1 erniedrigt", wird aus einem Produkt von Wahrscheinlichkeiten für p eine Summe für die Entropie.

Wenn g die Anzahl der Möglichkeiten für die Realisierung eines Datenwortes ist, hätte Shannon auch definieren können: H = ld(g). Im Beispiel hätte sich dann ergeben: H = ld(g) = ld(256) = 8 bit. Es gilt ja schließlich, wie auch für den Logarithmus jeder beliebigen Basis, ld(g) = ld(1/p) = ld(1) - ld(p) = - ld(p). Deshalb die Vorzeichenänderung.

Heutige PCs arbeiten mit 32-bit-Datenworten oder gar 64-bit-Datenworten. Mit bit wird die Größe der Informationsentropie einer solchen Speicherzelle angegeben und damit indirekt die Zahl der möglichen Datenworte, die dort abgelegt werden können, also 2³² = 4294967296 bzw. 2⁶⁴ = 1,84·10¹⁹.

Ohne es zu wissen, gehst du täglich mit der Informationsentropie deines MP3-Players, deiner Festplatte oder deines Tablet-PCs um.

In anderen Fällen, z.B. bei einem Text mit den 26 Zeichen des Alphabets, müssen die Wahrscheinlichkeiten p_i (statt p; i für die Nummer des Buchstabens, i = 1, ... 26) nicht gleich sein. Der Buchstabe e kommt in der deutschen Sprache z.B. viel häufiger vor als andere. Dann wird eine mittlere Informationsentropie h für einen Buchstaben definiert (kurz Informationsentropie) h = - Σp_i·ld(p_i).  ld(p_i) wird hier, in der üblichen Weise mit den Wahrscheinlichkeiten p_i gewichtet, gemittelt. Die Summe erfolgt im Beispiel von i = 1 bis 26. Die Informationsentropie ist jetzt also ein Maß für die mittlere Anzahl von Möglichkeiten für einen Buchstaben in einem Text, "ein Maß dessen, was man durch Eintreffen eines Zeichens erfahren kann; ... ein Maß für eine beseitigbare Ungewissheit (potentielle Information nach C.F.v. Weizsäcker, zitiert nach P.C. Hägele). Weil "der Logarithmus die Rechenstufe um 1 erniedrigt", wird aus einem Produkt von Wahrscheinlichkeiten für P, z.B., wenn man Worte aus 5 Buchstaben untersuchen möchte, eine Summe für die Entropie.

Beachte: Die Informationsentropie hat nichts mit dem Sinn oder der Bedeutung einer Information zu tun!

Ganz entsprechend wird die Entropie S in der statistischen Mechanik definiert:

Dass hier der natürliche Logarithmus ln statt des Zweierlogarithmus ld verwendet wird, liefert nur einen Faktor ln(2), denn ln(x) = ln(2)·ld(x). Es kommt noch der Faktor k_B = 1,38·10^-23 J/K (Boltzmann-Konstante) hinzu. Die Einheit ist nicht mehr bit, sondern stimmt jetzt mit der Einheit von k_B überein, also      [S] = 1 J/K    . 

Die Wahrscheinlichkeit p_i ist diesmal aber die Wahrscheinlichkeit für einen Mikrozustand, der mit dem betrachteten Makrozustand verträglich ist. Wenn alle Mikrozustände gleich wahrscheinlich sind, reduziert sich die Summe wieder auf einen einzigen Term:

Mit der Anzahl g der mit dem Makrozustand verträglichen Mikrozustände ist, kann man auch schreiben

Bis auf die Vorfaktoren gilt also:

Die Entropie S ist ein Maß für die Anzahl der möglichen Mikrozustände, die mit dem Makrozustand verträglich sind. "Sie misst die potenzielle Information des Experimentators, also wieviel derjenige, der den Makrozustand kennt, zusätzlich noch wissen könnte, wenn er auch den Mikrozustand kennen lernte."

(Zitat nach P.C. Hägele)

Entropie und Informationsentropie hängen also eng zusammen.

Vielleicht ist diese Kenntnis hilfreich für dich. Denke an folgendes Beispiel: In einer Spritze ist eine  bestimmte Menge Luft eingeschlossen. Dann wird der Stempel schlagartig zurückgezogen; die eingeschlossene Luft expandiert und füllt sehr schnell den vergrößerten Raum. Schließlich erreicht sie wieder thermisches Gleichgewicht.

Thermisches Gleichgewicht ist mit einem Entropiemaximum verbunden.

1. Das heißt, die Anzahl der Mikrozustände, die mit dem sich einstellenden Makrozustand verträglich sind, ist maximal. Es stellt sich der Makrozustand ein, der am wahrscheinlichsten ist, der durch maximale Zahl von Mikrozuständen realisiert werden kann.

2. Aber, wenn du den Makrozustand (p, V, T, ... ) kennst, ist auch die Information maximal, die du zusätzlich gewinnen könntest, wenn du dann auch die große Zahl der beitragenden Mikrozustände feststellen könntest.

Die Entropie ist ein nützliches Instrument zur Gewinnung weiterer Informationen über ein thermodynamisches System.

P.C. Hägele, Was hat Entropie mit Information zu tun?, Version 3.7.2004

(  www.uni-ulm.de/~phaegele/Vorlesung/Grundlagen_II/_information.pdf )