Shannon (Einheit) - LinkFang.de





Shannon (Einheit)


Shannon (abgekürzt: Sh) ist die nach dem amerikanischen Mathematiker und Begründer der Informationstheorie Claude Elwood Shannon benannte Einheit für den Informationsgehalt einer Nachricht.

Definition

Ein Shannon (1 Sh) ist eine Einheit für das Maß an Information in einer Nachricht. Dabei wird die Nachricht durch eine Zeichenmenge [math]Z=\{z_1,z_2, \dots ,z_S\}[/math] sowie durch die Wahrscheinlichkeiten pi, mit denen die einzelnen Zeichen in der Nachricht auftauchen, beschrieben. Eine solche Nachricht besitzt nach Definition den folgenden, in Shannon gemessenen, Informationsgehalt von

[math]\Eta = -\sum_i{p_i \cdot \log_2 p_i} \quad [ \text{Sh} ][/math]

Die Einheit Sh ergibt sich aus der von Claude Shannon begründeten Informationstheorie und entspricht der Entropie der betreffenden Nachrichtenquelle und in der Biometrie dem Shannon-Index einer Population unterschiedlicher Spezies.

Beispiele

  • Das einfachste Beispiel: Eine einmalige Nachricht aus dem Zeichenvorrat [math]Z=\{0,1\}[/math], wobei beide Zeichen mit der Wahrscheinlichkeit von je 0,5 auftreten, hat den Informationsgehalt [math]-\frac 1 2 \; \log_2 \!\left(\frac 1 2\right) - \frac 1 2 \; \log_2 \!\left(\frac 1 2\right) = -\log_2 \!\left(\frac 1 2\right) = \log_2 (2) = 1 \, \text{Sh}[/math].
  • Wenn der Zeichenvorrat aus zehn Zeichen, etwa [math]\{0,1,2,3,4,5,6,7,8,9\}[/math] besteht, wobei wieder alle Zeichen mit gleicher Wahrscheinlichkeit auftreten, dann beträgt der Informationsgehalt [math]-\log_2 \left(\frac{1}{10} \right) = \log_2 (10) \approx 3{,}322\ \mathrm{Sh}[/math]. Das kann man so interpretieren, dass man auf jeden Fall mit einer 4-Bit-Kodierung auskommt, um solche Nachrichten zu übertragen (dies wird etwa durch den BCD-Code realisiert), dass dabei aber noch Redundanz vorhanden ist. Beim BCD-Code äußert sich diese Redundanz so, dass von den 16 unterschiedlichen Zeichen, die mit diesem Code dargestellt werden können, nur 10 wirklich auftreten.

Normung

Begriffsfestlegungen zu Einheiten des Entscheidungsgehalts in der Informationstheorie findet man in den internationalen Normen IEC 60027-3 und ISO 2382-16. Dort ist neben der auf dem Logarithmus zur Basis 2 beruhenden Einheit Shannon (Einheitenzeichen: Sh) noch das auf dem Zehner-Logarithmus beruhende Hartley (Einheitenzeichen: Hart) und die auf dem natürlichen Logarithmus beruhende natürliche Informationseinheit (Einheitenzeichen: nat) erklärt.

„Der Versuch der International Organization for Standardization (ISO) 1975 die Einheit Bit durch die Shannon-Einheit zu ersetzen, […] war rückblickend betrachtet nicht sehr erfolgreich.“

Walter Umstätter[1]

Einzelnachweis

  1. Nachrichten für Dokumentation 49 (4) S. 221–224 (1998)

Kategorien: Informationstheorie | Informationseinheit

Quelle: Wikipedia - http://de.wikipedia.org/wiki/Shannon (Einheit) (Vollständige Liste der Autoren des Textes [Versionsgeschichte])    Lizenz: CC-by-sa-3.0

Änderungen: Alle Bilder mit den meisten Bildunterschriften wurden entfernt. Ebenso alle zu nicht-existierenden Artikeln/Kategorien gehenden internen Wikipedia-Links (Bsp. Portal-Links, Redlinks, Bearbeiten-Links). Entfernung von Navigationsframes, Geo & Normdaten, Mediadateien, gesprochene Versionen, z.T. ID&Class-Namen, Style von Div-Containern, Metadaten, Vorlagen, wie lesenwerte Artikel. Ansonsten sind keine Inhaltsänderungen vorgenommen worden. Weiterhin kann es durch die maschinelle Bearbeitung des Inhalts zu Fehlern gerade in der Darstellung kommen. Darum würden wir jeden Besucher unserer Seite darum bitten uns diese Fehler über den Support mittels einer Nachricht mit Link zu melden. Vielen Dank!

Stand der Informationen: August 201& - Wichtiger Hinweis: Da die Inhalte maschinell von Wikipedia übernommen wurden, ist eine manuelle Überprüfung nicht möglich. Somit garantiert LinkFang.de nicht die Richtigkeit und Aktualität der übernommenen Inhalte. Sollten die Informationen mittlerweile fehlerhaft sein, bitten wir Sie darum uns per Support oder E-Mail zu kontaktieren. Wir werden uns dann innerhalb von spätestens 10 Tagen um Ihr Anliegen kümmern. Auch ohne Anliegen erfolgt mindestens alle drei Monate ein Update der gesamten Inhalte.