Kullback-Leibler-Divergenz - LinkFang.de





Kullback-Leibler-Divergenz


Die Begriffe Kullback-Leibler-Divergenz (kurz KL-Divergenz), Kullback-Leibler-Entropie, Kullback-Leibler-Information, Kullback-Leibler-Abstand (nach Solomon Kullback und Richard Leibler) oder Information Gain bezeichnen ein Maß für die Unterschiedlichkeit zweier Wahrscheinlichkeitsverteilungen. Typischerweise repräsentiert dabei eine der Verteilungen empirische Beobachtungen oder eine präzise Wahrscheinlichkeitsverteilung, während die andere ein Modell oder eine Approximation darstellt.

Hinweis: Die KL-Divergenz wird auch relative Entropie genannt, wobei der Begriff relative Entropie gelegentlich auch für die Transinformation verwendet wird.

Formal lässt sich die KL-Divergenz für die Wahrscheinlichkeitsfunktionen [math]P[/math] und [math]Q[/math] diskreter Werte folgendermaßen bestimmen:

[math]D(P\|Q) = KL(P, Q)= \sum_{x \in X} P(x) \cdot \log {P(x) \over Q(x)}[/math]

Werden die Verteilungen [math]P[/math] und [math]Q[/math] für kontinuierliche Werte durch die Wahrscheinlichkeitsdichtefunktionen [math]p[/math] und [math]q[/math] dargestellt, wird hingegen ein Integral berechnet:

[math]D(P\|Q) = \int_{-\infty}^{\infty} p(x) \cdot \log \frac{p(x)}{q(x)} \; \mathrm dx[/math]

Die Kullback-Leibler-Divergenz gibt aus informationstheoretischer Sicht an, wie viel Platz pro Zeichen im Mittel verschwendet wird, wenn eine auf [math]Q[/math] basierende Kodierung auf eine Informationsquelle angewendet wird, die der tatsächlichen Verteilung [math]P[/math] folgt. Somit besteht ein Zusammenhang zur Kanalkapazität. Mathematisch ist dies verträglich mit der Aussage, dass die KL-Divergenz [math]\ge 0[/math] ist und Gleichheit nur dann gilt, wenn P und Q identisch sind.

Die konkrete Wahl der Basis des Logarithmus in der Berechnung hängt dabei davon ab, in welcher Informationseinheit gerechnet werden soll. In der Praxis gibt man die KL-Divergenz häufig in Bit bzw. Shannon an und verwendet dafür die Basis 2, seltener werden auch Nit (Basis [math]e[/math]) und Ban (Basis 10) gebraucht.

Anstatt der Kullback-Leibler-Divergenz wird auch oft die Kreuzentropie verwendet. Diese liefert qualitativ vergleichbare Werte, kann jedoch ohne die genaue Kenntnis von [math]P[/math] geschätzt werden. In praktischen Anwendungen ist dies vorteilhaft, da die tatsächliche Hintergrundverteilung der Beobachtungsdaten meist unbekannt ist.

Belege


Kategorien: Informationstheorie

Quelle: Wikipedia - http://de.wikipedia.org/wiki/Kullback-Leibler-Divergenz (Vollständige Liste der Autoren des Textes [Versionsgeschichte])    Lizenz: CC-by-sa-3.0

Änderungen: Alle Bilder mit den meisten Bildunterschriften wurden entfernt. Ebenso alle zu nicht-existierenden Artikeln/Kategorien gehenden internen Wikipedia-Links (Bsp. Portal-Links, Redlinks, Bearbeiten-Links). Entfernung von Navigationsframes, Geo & Normdaten, Mediadateien, gesprochene Versionen, z.T. ID&Class-Namen, Style von Div-Containern, Metadaten, Vorlagen, wie lesenwerte Artikel. Ansonsten sind keine Inhaltsänderungen vorgenommen worden. Weiterhin kann es durch die maschinelle Bearbeitung des Inhalts zu Fehlern gerade in der Darstellung kommen. Darum würden wir jeden Besucher unserer Seite darum bitten uns diese Fehler über den Support mittels einer Nachricht mit Link zu melden. Vielen Dank!

Stand der Informationen: August 201& - Wichtiger Hinweis: Da die Inhalte maschinell von Wikipedia übernommen wurden, ist eine manuelle Überprüfung nicht möglich. Somit garantiert LinkFang.de nicht die Richtigkeit und Aktualität der übernommenen Inhalte. Sollten die Informationen mittlerweile fehlerhaft sein, bitten wir Sie darum uns per Support oder E-Mail zu kontaktieren. Wir werden uns dann innerhalb von spätestens 10 Tagen um Ihr Anliegen kümmern. Auch ohne Anliegen erfolgt mindestens alle drei Monate ein Update der gesamten Inhalte.