RBF-Netzwerke

Ein neuronales Netz mit Radialen Basisfunktionen (RBF) besteht aus einer Eingangschicht, einer inneren Schicht und einer Ausgabeschicht. Die Ausgabe berechnet sich aus einer Linearkombination der lokalen Basisfunktionen der l1 inneren Knoten und einer anschließenden nicht linearen Transformation .

wobei
m= Anzahl Outputneuronen,
l0= Anzahl Inputneuronen,
l1= Anzahl Hiddenneuronen,
p= Anzahl Pattern

Als Radiale Basisfunktion wird meist die mehrdimensionale Gaußfunktion verwendet.

Gauss_1D Gauss_2D
Abbildung 1 Basisfunktion mit Zentrum c=3 Abbildung 2 Basisfunktion mit Zentrum und Sigma

Die Basisfunktionen besitzen im allgemeinen zwei Parameter, das Zentrum und die Weite . Die Basisfunktionen sind lokal, den nur wenn die Eingabe nahe am Zentrum liegt, trägt die Basisfunktion etwas zur Ausgabe bei.

Als weiteren Parameter habe ich einen Faktor mit aufgenommen, der direkten mit der Eingabe gekoppelt ist. Werden die Netzparameter mit einem Gradientenabstiegsverfahren erlernt, kann dies auch auf angewendet werden. Ein spezieller Term in der Fehlerfunktion bewirkt, das das Lernverfahren kleine bevorzugt. Ist ein , kann der Eingangskonten nach dem Lernen entfernt werden, da dieser nichts zur Ausgabe beiträgt. Die Netztopologie (der Eingangskonten) wird mittels mit erlernt. Initialisiert (vorm dem Lernvorgang) wird mit 1.

Setzt man (1) und (2) in (3) erhält man

Werden die Parameter durch ein Iteratives Lernverfahren bestimmt, wird meist die Fehlerfunktion

verwendet.

Die Terme und werden verwendet um die Parameter und klein zu halten.

Die freien Parameter können über ein Gradientenabstiegsverfahren bestimmt werden. Die Deltas müssen dabei nicht wie bei MLP-Netzwerken zurückprobagiert werden. Es reicht wenn für jeden Parameter das Gradientenverfahren angewendet wird.

Berechnung der Gradienten

Folgende Ableitung werden später benötigt:

, ,

,

 

Gradient für (Differenzieren von (4) nach )

Gradient für (Differenzieren von (4) nach )

Gradient für

Gradient für

Gradient für

Berechnung der neuen Parameterwerte im Iterationsschritt :

wobei die Lernraten der Parameter sind.

Initialisierung der Parameter

  1. =1
  2. , zufällige Initialisierung
  3. , zufällige Initialisierung
  4. Zentrum , zufällige Initialisierung oder über ein Clusterverfahren (z.B. K-Means-Clustering)
  5. Weite , Einheitliche Werte. Wenn für die Zentren ein Clusterungsverfahren verwendet wurde , wobei der maximale Abstand der Cluster und
die Anzahl der Cluster ist.

Sensitivität des trainierten Netzes

Die Sensitivität des Netzes auf die Eingangvariablen kann mittels der Jakobian Matrix untersuchen werden. Die Elemente der Jakobian Matrix sind die Ersten Ableitung der Netzwerkfunktion (2) nach den Eingangsvariablen .

.

Beispiel

XOR
XOR_RBF
XOR(x1,x2)= 1.053*exp(-0.5*(pow(-0.040-x1,2)/0.144+pow(1.065-x2,2)/0.164))+1.045*exp(-0.5*(pow(1.028-x1,2)/0.116+pow(-0.048-x2,2)/0.135))-0.038
x1 aus [0.00, 1.00]
x2 aus [0.00, 1.00]


Im Bild wird ein größerer Bereich dargestellt, um die beiden zweidimensionalen Gaußfunktionen heraus zu heben.

Zur Startseite