Informationskriterium - LinkFang.de





Informationskriterium


Ein Informationskriterium ist ein Kriterium zur Auswahl eines Modells in der Statistik. Man folgt dabei der Idee von Ockhams Rasiermesser, dass ein Modell nicht unnötig komplex sein soll und balanciert die Anpassungsgüte des geschätzten Modells an die vorliegenden empirischen Daten (Stichprobe) und dessen Komplexität, gemessen an der Anzahl der Parameter, aus. Die Anzahl der Parameter wird dabei "strafend" berücksichtigt, da sonst komplexe Modelle mit vielen Parametern bevorzugt würden. In diesem Sinne ist das korrigierte Bestimmtheitsmaß, das auf Henri Theil (1970) zurückgeht, ein Vorläufer der heute bekannten Informationskriterien.

Allen heute verwendeten Informationskriterien ist gleich, dass sie in zwei verschiedenen Formulierungen vorliegen. Entweder ist das Maß für die Anpassungsgüte als die maximale Wahrscheinlichkeit oder als die minimale Varianz der Residuen formuliert. Hieraus ergeben sich unterschiedliche Interpretationsmöglichkeiten. Beim Ersteren ist das Modell "am besten", bei dem das jeweilige Informationskriterium den höchsten Wert hat (die "strafende" Anzahl der Parameter muss dabei abgezogen werden). Beim Letzteren ist das Modell mit dem niedrigsten Wert des Informationskriteriums am besten (die Anzahl der Parameter muss "strafend" addiert werden).

Akaikes Informationskriterium

Das historisch älteste Kriterium wurde 1973 von Hirotugu Akaike als "an information criterion" vorgeschlagen und ist heute als Akaikes Informationskriterium (engl. Akaike information criterion, AIC) bekannt.

In der Grundgesamtheit liegt eine Verteilung einer Variablen mit unbekannter Dichtefunktion [math]p[/math] vor. Bei der Maximum-Likelihood-Schätzung (ML) geht man von einer bekannten Verteilung mit einem unbekannten Parameter [math]\theta[/math] aus; man nimmt also an, dass sich die Dichtefunktion als [math]q(\theta)[/math] schreiben lässt. Die Kullback-Leibler-Divergenz wird als Entfernungsmaß zwischen [math]p[/math] und [math]q(\hat{\theta})[/math] genutzt. Dabei ist [math]\hat{\theta}[/math] der geschätzte Parameter aus der Maximum-Likelihood-Methode. Je besser das ML-Modell ist, desto kleiner ist die Kullback-Leibler-Divergenz [math]D(P\|Q)[/math].

Akaike konnte zeigen, dass die negative Loglikelihood-Funktion [math]-\ell(\hat{\theta})[/math] ein verzerrter Schätzer für die Kullback-Leibler-Divergenz [math]D(P\|Q)[/math] ist und dass die Verzerrung asymptotisch (Stichprobenumfang gegen unendlich) gegen die Zahl der zu schätzenden Parameter [math]k[/math] konvergiert. Daher ergibt sich das AIC mit der logarithmierten Likelihood-Funktion [math]\ell[/math] als

[math] AIC_\ell=-2\ell(\mathbf{\hat{\theta}})+2k. [/math]

Im klassischen Regressionsmodell mit normalverteilten Fehlern lässt sich die negative Loglikelihood mit Hilfe der Varianz [math]\sigma_Z^2[/math] der Störterme schreiben:

[math] AIC_\sigma=n\log(\sigma_Z^2)+2k [/math]

mit [math]n[/math] dem Stichprobenumfang. Die Varianz der Störvariablen wird mittels der geschätzten Residuen aus dem Regressionsmodell geschätzt.

Bayessches Informationskriterium

Der Nachteil des Informationskriteriums von Akaike ist, dass der Strafterm von der Stichprobengröße unabhängig ist. Bei großen Stichproben sind Verbesserungen der Log-Likelihood bzw. der Residualvarianz "leichter" möglich, weshalb das Kriterium bei großen Stichproben tendenziell Modelle mit verhältnismäßig vielen Parametern vorteilhaft erscheinen lässt. Deshalb empfiehlt sich die Verwendung des durch Gideon Schwarz 1978 vorgeschlagenen Bayesschen Informationskriteriums (engl. Bayesian Information Criterion (BIC) oder Schwarz-Bayes Criterion (SBC)):

[math] SBC_\ell=-2\ell(\mathbf{\hat{\theta}})+\log(n)k. [/math]

bzw.

[math] SBC_\sigma= n \log({\hat{\sigma}}_Z^2)+ k \log(n) [/math]

Bei diesem Kriterium wächst der Faktor des Strafterms logarithmisch mit der Anzahl der Beobachtungen [math]n[/math]. Bereits ab acht Beobachtungen (ln 8 = 2,07944 > 2) bestraft das SBC zusätzliche Parameter schärfer als das AIC.

Letzteres Modell wird vor allem in der Soziologie häufig verwendet. Kuha (2004) weist auf die unterschiedlichen Ziele der beiden Kenngrößen hin: Während das BIC das wahre Modell zeigen soll, wird beim AIC die Existenz eines wahren Modells ausgeschlossen und man versucht, möglichst gute Vorhersagen zu treffen.

Weitere Informationskriterien

Daneben existieren weitere, seltener verwendete Informationskriterien, wie:

  • das Hannan-Quinn Information criterion (Hannan, Quinn (1979))
  • das Deviance Information Criterion - DIC (Spiegelhalter, Best, Carlin und van der Linde (2002))
  • EIC (Ishiguro, Sakamoto, and Kitagawa (1997))
  • FIC (Wei (1992)), GIC (Nishii (1984))
  • NIC (Murata, Yoshizawa und Amari (1991))
  • TIC (Takeuchi (1976))

Ein auf Informationskriterien basierender statistischer Test ist der Vuong-Test.

Literatur

  • Hirotugu Akaike: Information theory and an extension of the maximum likelihood principle. In: B. N. Petrov (Hrsg.) u.A.: Proceedings of the Second International Symposium on Information Theory Budapest: Akademiai Kiado 1973. S. 267-281
  • Kenneth P. Burnham und David R. Anderson: Model Selection and Multimodel Inference: A Practical Information-Theoretic Approach. Springer-Verlag, New York 2002, ISBN 0-387-95364-7
  • Kenneth P. Burnham/David R. Anderson (2004): Multimodel Inference: Understanding AIC and BIC in Model Selection, in: Sociological Methods and Research, Vol. 33, 2004, Seite 261-304
  • Jouni Kuha (2004): AIC and BIC: Comparisons of Assumptions and Performance, in: Sociological Methods and Research, Vol. 33, 2004, Seite 188-229
  • Gideon Schwarz: Estimating the Dimension of a Model. In: Annals of Statistics. 2/6/1978. S. 461-464
  • David L. Weakliem (2004): Introduction to the Special Issue on Model Selection, in: Sociological Methods and Research, Vol. 33, 2004, Seite 167-187

Internetquellen


Kategorien: Ökonometrie | Regressionsanalyse | Zeitreihenanalyse

Quelle: Wikipedia - http://de.wikipedia.org/wiki/Informationskriterium (Vollständige Liste der Autoren des Textes [Versionsgeschichte])    Lizenz: CC-by-sa-3.0

Änderungen: Alle Bilder mit den meisten Bildunterschriften wurden entfernt. Ebenso alle zu nicht-existierenden Artikeln/Kategorien gehenden internen Wikipedia-Links (Bsp. Portal-Links, Redlinks, Bearbeiten-Links). Entfernung von Navigationsframes, Geo & Normdaten, Mediadateien, gesprochene Versionen, z.T. ID&Class-Namen, Style von Div-Containern, Metadaten, Vorlagen, wie lesenwerte Artikel. Ansonsten sind keine Inhaltsänderungen vorgenommen worden. Weiterhin kann es durch die maschinelle Bearbeitung des Inhalts zu Fehlern gerade in der Darstellung kommen. Darum würden wir jeden Besucher unserer Seite darum bitten uns diese Fehler über den Support mittels einer Nachricht mit Link zu melden. Vielen Dank!

Stand der Informationen: August 201& - Wichtiger Hinweis: Da die Inhalte maschinell von Wikipedia übernommen wurden, ist eine manuelle Überprüfung nicht möglich. Somit garantiert LinkFang.de nicht die Richtigkeit und Aktualität der übernommenen Inhalte. Sollten die Informationen mittlerweile fehlerhaft sein, bitten wir Sie darum uns per Support oder E-Mail zu kontaktieren. Wir werden uns dann innerhalb von spätestens 10 Tagen um Ihr Anliegen kümmern. Auch ohne Anliegen erfolgt mindestens alle drei Monate ein Update der gesamten Inhalte.