Gibt es für die ReLu (Rectifier) Funktion, eine Ableitung, Neuronale Netze?

1 Antwort

Die Funktion hat ja die Form

max(0,x)

Für x<0 ist somit die Ableitung gleich 0

Für x>0 ist die Ableitung 1

Für x =0 ist die Funktion nicht differenzierbar, da sie ein Knick hat