Verbundentropie - LinkFang.de





Verbundentropie


Die Verbundentropie ist ein Maß für den mittleren Informationsgehalt mehrerer Nachrichtenquellen.

Definition

Die Verbundentropie für zwei Quellen ist folgendermaßen definiert:[1]

[math] H(XY) := - \sum_{y \in Y} \sum_{x \in X} Pr \{ X = x, Y = y \} \log_2 ( Pr \{ X = x, Y = y \} ) \quad \Big[ \frac{\text{ bit }}{\text{Symbolpaar}} \Big] [/math]

Hierbei sind x und y jeweils einzelne Symbole aus den Quellenalphabeten X und Y.

Im Spezialfall der statistischen Unabhängigkeit der Quellen gilt

[math] Pr\{ X = x_i, Y = y_j \} = Pr\{X = x_i\} \cdot Pr\{y = y_j\} [/math]

und somit

[math]H(XY) = H(X) + H(Y)[/math].

Für mehr als zwei Quellen ergibt sich:

[math]H(X_1, ..., X_n) = - \sum_{x_1} ... \sum_{x_n} Pr\{x_1, ..., x_n\} \log_2( Pr\{x_1, ..., x_n\} ) \![/math]

Einzelnachweise

  1. T. H. Cover, J. A. Thomas, Elements of Information Theory, S. 16 f, 2nd Edition, 2006, Wiley Interscience, ISBN 978-0-471-24195-9

Siehe auch


Kategorien: Informationstheorie

Quelle: Wikipedia - http://de.wikipedia.org/wiki/Verbundentropie (Vollständige Liste der Autoren des Textes [Versionsgeschichte])    Lizenz: CC-by-sa-3.0

Änderungen: Alle Bilder mit den meisten Bildunterschriften wurden entfernt. Ebenso alle zu nicht-existierenden Artikeln/Kategorien gehenden internen Wikipedia-Links (Bsp. Portal-Links, Redlinks, Bearbeiten-Links). Entfernung von Navigationsframes, Geo & Normdaten, Mediadateien, gesprochene Versionen, z.T. ID&Class-Namen, Style von Div-Containern, Metadaten, Vorlagen, wie lesenwerte Artikel. Ansonsten sind keine Inhaltsänderungen vorgenommen worden. Weiterhin kann es durch die maschinelle Bearbeitung des Inhalts zu Fehlern gerade in der Darstellung kommen. Darum würden wir jeden Besucher unserer Seite darum bitten uns diese Fehler über den Support mittels einer Nachricht mit Link zu melden. Vielen Dank!

Stand der Informationen: August 201& - Wichtiger Hinweis: Da die Inhalte maschinell von Wikipedia übernommen wurden, ist eine manuelle Überprüfung nicht möglich. Somit garantiert LinkFang.de nicht die Richtigkeit und Aktualität der übernommenen Inhalte. Sollten die Informationen mittlerweile fehlerhaft sein, bitten wir Sie darum uns per Support oder E-Mail zu kontaktieren. Wir werden uns dann innerhalb von spätestens 10 Tagen um Ihr Anliegen kümmern. Auch ohne Anliegen erfolgt mindestens alle drei Monate ein Update der gesamten Inhalte.