Hopfield-Netz - LinkFang.de





Hopfield-Netz


Dieser Artikel oder Abschnitt ist nicht ausreichend belegt.

Als Hopfield-Netz bezeichnet man eine besondere Form eines künstlichen neuronalen Netzes. Sie ist nach dem amerikanischen Wissenschaftler John Hopfield benannt, der das Modell 1982 bekannt machte.

Struktur

Hopfield-Netze gehören zur Klasse der Feedback-Netze (Netze mit Rückkopplung). Bei einem Hopfield-Netz existiert nur eine Schicht, die gleichzeitig als Ein- und Ausgabeschicht fungiert. Jedes der binären McCulloch-Pitts Neuronen ist mit jedem, ausgenommen sich selbst, verbunden. Die Neuronen können die Werte -1 und 1 annehmen, welche den Zuständen "feuert nicht" und "feuert" entsprechen.

In Hopfield-Netzwerken sind die synaptischen Gewichte symmetrisch, d.h. es gilt [math]w_{i,j} = w_{j,i}[/math] für alle i und j. Dies ist zwar biologisch nicht sinnvoll, erlaubt aber das Aufstellen einer Energiefunktion und die Analyse der Netzwerke mit Methoden der statistischen Mechanik.

Da die Vektoren für die Ein- und Ausgabe gleich lang sind, spricht man auch von einem Autoassoziationsnetz.

Arbeitsweise

Bei der Implementierung eines Hopfieldnetzwerkes stellt sich die Frage, ob die Gewichte der Neuronen synchron oder asynchron geändert werden sollen.

  • synchrone Änderung bedeutet, dass in einem Iterationsschritt alle Neuronen gleichzeitig aktualisiert werden.
  • asynchrone Änderung bedeutet, dass ein Neuron zufällig gewählt und berechnet und der Wert bei der nächsten Berechnung sofort mit berücksichtigt wird.

Asynchrones Ändern des Hopfieldnetzes ist am verbreitetsten.

Musterwiederherstellung mit Hopfieldnetzen

Hopfield-Netze können als Autoassoziativspeicher benutzt werden, um verrauschte oder auch nur teilweise vorhandene Muster zu rekonstruieren. Dies geschieht in drei Phasen:

Trainingsphase

Hier werden dem Netz eine Zahl L von vorgegeben Mustern eingespeichert. Dies geschieht durch Einstellen der synaptischen Gewichte. Gesucht ist also eine geeignete Gewichtsmatrix der Größe NxN, welche symmetrisch ist. Sie kann zum Beispiel in einem Schritt mit folgender Regel berechnet werden, die auch als verallgemeinerte Hebbsche Lernregel bezeichnet wird:

[math]w_{i,j} = w_{j,i} = \begin{cases} \sum_{\mu=1}^L M_{\mu,i}\cdot M_{\mu,j} & \text{falls } i \neq j \\ 0 & \text{sonst} \end{cases}[/math]

wobei

[math]L[/math] die Anzahl der zu assoziierenden Muster,

[math]N[/math]die Anzahl der Dimensionen eines Musters und

[math]M \in \mathbb{R}^{L\times N}[/math] die (unüberwachte) Lernaufgabe bezeichnen

Man möchte im Allgemeinen möglichst viele verschiedene Muster in ein Hopfield einspeisen. Jedoch ist die Speicherkapazität nach dem Verhältnis [math]\frac{L}{N}[/math] begrenzt.

Eingeben eines Testmusters

Nun gibt man ein Testmuster, zum Beispiel ein verrauschtes oder unvollständiges Bild in das Netz hinein. Hierzu setzt man einfach die Neuronen in den Zustand, der dem Testmuster entspricht.

Rechenphase

Die Neuronen werden asynchron mit folgender Regel aktualisiert: [math]s_i = \left\{\begin{matrix} 1 & \mbox {wenn }\sum_{j}{w_{ij}s_j}\gt\theta_i, \\ -1 & \mbox {sonst}\end{matrix}\right.[/math] wobei [math]s_i[/math] der Zustand des zu aktualisierenden Neurons und [math]\theta_i[/math] ein Schwellenwert ist.

Das Ergebnis könnte in diesem Fall ein je nach Anzahl der Iterationsschritte mehr oder weniger gut entrauschtes Bild sein. Bis zu einem Verhältnis [math]\frac{L}{N}=0,138[/math] (Verhältnis einzuspeichernder Muster zu Neuronen des Hopfield-Netzes) garantiert die Hebbsche Regel, dass das System sich nicht mehr ändert, wenn es in einem Zustand angelangt ist, der einem der gespeicherten Muster entspricht. Es lässt sich außerdem zeigen, dass das System immer in einem stabilen Endzustand ankommt.

Folgende drei Endzustände sind denkbar:

  • Das Muster wurde korrekt erkannt.
  • Das invertierte Muster wurde erkannt.
  • Es kann kein Muster erkannt werden, das Netzwerk gelangt in einen stabilen unechten Zustand, der keinem der Muster entspricht.

Beziehung zur statistischen Mechanik

Für das Hopfield-Modell existiert eine Energiefunktion der Form [math]E = -\frac{1}{2}\sum_{i\neq j}{w_{ij}{s_i}{s_j}}+\sum_i{\theta_i s_i}[/math], deren Wert, wie sich beweisen lässt, bei jeder Aktualisierung gemäß obiger Regel abnimmt. Nur bei den stabilen Mustern (und den unechten Zuständen) bleibt auch die Energie gleich, diese stellen also lokale Minima der Energielandschaft dar.

Es gibt einen Zusammenhang zwischen dem Hopfield-Modell und dem Ising-Modell, für dessen Energie gilt: [math]E = -\frac{1}{2}\sum_{\langle ij \rangle}{J_{ij}{s_i}{s_j}}+\sum_i{h_i s_i}[/math]. Insbesondere zu Spingläsern, bei denen die [math]J_{ij}[/math] zufällig verteilt sind, besteht große Ähnlichkeit. So konnte mit Methoden der theoretischen Physik gezeigt werden, dass Hopfieldnetze nur bis zu einem Verhältnis [math]\frac{L}{N}=0{,}138[/math] als assoziatives Gedächtnis verwendbar sind.

Weblinks


Kategorien: Maschinelles Lernen | Computational Neuroscience | Neuroinformatik

Quelle: Wikipedia - http://de.wikipedia.org/wiki/Hopfield-Netz (Vollständige Liste der Autoren des Textes [Versionsgeschichte])    Lizenz: CC-by-sa-3.0

Änderungen: Alle Bilder mit den meisten Bildunterschriften wurden entfernt. Ebenso alle zu nicht-existierenden Artikeln/Kategorien gehenden internen Wikipedia-Links (Bsp. Portal-Links, Redlinks, Bearbeiten-Links). Entfernung von Navigationsframes, Geo & Normdaten, Mediadateien, gesprochene Versionen, z.T. ID&Class-Namen, Style von Div-Containern, Metadaten, Vorlagen, wie lesenwerte Artikel. Ansonsten sind keine Inhaltsänderungen vorgenommen worden. Weiterhin kann es durch die maschinelle Bearbeitung des Inhalts zu Fehlern gerade in der Darstellung kommen. Darum würden wir jeden Besucher unserer Seite darum bitten uns diese Fehler über den Support mittels einer Nachricht mit Link zu melden. Vielen Dank!

Stand der Informationen: August 201& - Wichtiger Hinweis: Da die Inhalte maschinell von Wikipedia übernommen wurden, ist eine manuelle Überprüfung nicht möglich. Somit garantiert LinkFang.de nicht die Richtigkeit und Aktualität der übernommenen Inhalte. Sollten die Informationen mittlerweile fehlerhaft sein, bitten wir Sie darum uns per Support oder E-Mail zu kontaktieren. Wir werden uns dann innerhalb von spätestens 10 Tagen um Ihr Anliegen kümmern. Auch ohne Anliegen erfolgt mindestens alle drei Monate ein Update der gesamten Inhalte.