Gradientenabstieg Python?

def function(x):
    return x**2
def ableitung_function(x):
    return 2*x


x = 20
epochen = 15
for i in range(epochen):
    ableitung = ableitung_function(x)
    print(":____:")
    print(ableitung)
    print(x)
    print(":____:")
    lernrate = 0.1
    x_new = x-(lernrate*ableitung)
    x = x_new

Ist mein Gradientenabstieg korrekt? Meiner Meinung nach liefert es gute Ergebnisse, aber wenn ich eine Funktion wie z.b. x^3 und die Ableitung 3*x^2 benutze läuft alles falsch und wo brauche ich meine Funktion 'function'?

4 Antworten

Vom Beitragsersteller als hilfreich ausgezeichnet

procoder42

05.07.2021, 22:25

Der Code ist schon korrekt, die Schrittweite aber viel zu klein bei so einem Startwert (kannst dir ja die spaßeshalber mal dir Sprungweite mitloggen). Die eigentliche Funktion brauchst du in der Tat nur, wenn du die eigentlichen Funktionswerte berechnen willst.

Plotte dir doch mal f(x)=x^3 und schau dir an, ob du da zu einem globalen Minimum konvergieren würdest.

Ein sinnvoller Benchmark (vorausgesetzt du portierst deinen GD auf mehrere Dimensionen) wäre bspw die Rosenbrock Funktion.

https://en.m.wikipedia.org/wiki/Rosenbrock_function

verreisterNutzer

05.07.2021, 22:40

Die eigentliche Funktion brauchst du in der Tat nur, wenn du die eigentlichen Funktionswerte berechnen willst.

Die aber unwichtig für den Gradientenabstieg sind oder?

verreisterNutzer

05.07.2021, 22:38

Vielen dank!

covid69

27.07.2021, 11:46

x^3 ist nicht convex und deswegen wirst du kein globales minimum damit finden - x wird immer kleiner werden und das immer schnelller. Die einzige ausnahme ist, wenn x in in einem epoch genau 0 ist, denn dann ist auch die ableitung 0.

tunik123

Von gutefrage auf Grund seines Wissens auf einem Fachgebiet ausgezeichneter Nutzer

Mathematik

05.07.2021, 21:07

Was ist denn das für ein Algorithmus? Sieht nach einer verunglückten Newton-Iteration aus.

https://de.wikipedia.org/wiki/Newtonverfahren

Dort findet sich auch die richtige Formel:

x_new = x - funktion(x) / ableitung_funktion(x)

verreisterNutzer

05.07.2021, 21:10

Und wie würde man den Code für den Gradientenabstieg ändern?

tunik123

05.07.2021, 21:22

@verreisterNutzer

Am einfachste ist es,

x = x - function(x) / ableitung_function(x)

als einen Iterationsschritt hinzuschreiben. Oder etwas ausführlicher

for i in range(epochen):
    ableitung = ableitung_function(x)
    funktion  = function(x)
    print(":____:")
    print(funktion)
    print(":____:")
    print(ableitung)
    print(x)
    print(":____:")
    x_new = x - funktion / ableitung
    x = x_new

function(x) ist eine Funktion, funktion ist eine Variable

verreisterNutzer

05.07.2021, 21:08

Sieht nach einer verunglückten Newton-Iteration aus.

ich habe das von YouTube 😂

askanier

05.07.2021, 21:07

x ist zu hoch, lernrate zu hoch, epochen zu klein.
Nimm dir mal das Buch "Neuronale Netze selbst programmieren" von Tariq Rashid.
Da wird ein kleines Modell für die MNIST-Daten from scratch entwickelt.

Sofern ich dein Ansinnen richtig verstanden habe.

Woher ich das weiß:eigene Erfahrung

Ähnliche Beiträge

Mit Funktionen in Python dividieren funktioniert falsch?

Hallo, leider funktioniert der Code, aber "vertauscht" die Zahlen. Wie kann ich das fixen?

from functools import partial
from operator import add, floordiv, mul, sub


def three(op=None): 
    return 3 if not op else op(3)

def seven(op=None): 
    return 7 if not op else op(7)


def plus(val): 
    return partial(add, val)

def minus(val): 
    return partial(sub, val)

def times(val): 
    return partial(mul, val)

def divided(val): 
    return partial(floordiv, val)

print(seven(divided(three())))  # --> 0 

print(three(divided(seven())))  # --> 2

...zum Beitrag

Wurzelberechnung in Python Taschenrechner einbauen?

Hi, wir haben aktuell das Thema "Python - Programmierung" in der Schule. Ich habe dabei einen Taschenrechner programmiert, allerdings scheitere ich bei der Zusatz-Aufgabe, bei welcher man Wurzelberechnung einbauen soll...

Vielleicht kann mir jemand sagen, wie diese in meinem Code eingebaut werden kann bzw. wie dieser aussieht. LG

Hier einmal mein Taschenrechner:

from math import sqrt
def addition(a,b):     return a + b
def subtraktion(a,b):     return a-b
def multiplikation(a,b):     return a*b
def division(a,b):     return a/b
def potenz(a,b):     return a**b

def main():
    operator = input("Operator:")
    a = int(input("Erste Zahl: "))
    b = int(input("Zweite Zahl: "))
    if (operator == "+"):
            print(addition(a, b))
    elif (operator== "-"):
            print(subtraktion(a,b))
    elif (operator == ""):             print(multiplikation(a,b))     elif (operator == "/"):             print(division(a,b))     elif(operator=="^"):             print(potenz(a,b)) main()

...zum Beitrag

Python Programmieren len()?

Hi, ich lerne gerade das Programmieren und habe mir einen rechner zum rechnen von Euklidischer Distanz auf einer 2D map programmiert. Der Quellcode sieht wie folgt aus:

def euclidean_distance(pt1, pt2):
  distance = 0
  for i in range(len(pt1)):
    distance += (pt1[i] - pt2[i]) ** 2
  return distance ** 0.5

print(euclidean_distance([1, 2], [4, 0]))
print(euclidean_distance([5, 4, 3], [1, 7, 9]))

nun meine Frage.

bei for i in range(len(pt1)) kommt doch 1 raus oder? Da es ja zaehlt wie viele Zahlen in pt1 drin sind naemlich 2 und im Python Index waehren das doch 1. Nun wenn ich jetzt len(pt1) mit 1 ersetze kommen falsche Ergebnisse raus wie kann das sein?

...zum Beitrag

Python-Funktion, die zwei Funktionen immer abwechselnd ausführt?

Hallo.

Ich möchte ein kleines Spiel programmieren, aber ich komme leider nicht auf die Lösung, wie ich das machen könnte. Ich lasse zuerst mit random festlegen, ob Spieler 1 oder Spieler 2 'X' hat und der soll dann das Spiel auch beginnen. Das wäre der Code bis dahin:

def spieler_auswahl():
  from random import randint
  x = randint(1, 2)

  if x == 1:
    spieler_1 = 'X'
    spieler_2 = 'O'
    return (spieler_1, spieler_2)

  if x == 2:
    spieler_1 = 'O'
    spieler_2 = 'X'
    return (spieler_1, spieler_2)

def erste_markierung_setzen():
  if spieler_1 == 'X':
    print('Spieler 1 Du spielst mit \'X\'')
    print('Spieler 1 - Bitte gib die gewünschte Position für dein Zeichen ein: \n')
    x = int(position())
    spielfeld[x] = str(spieler_1)
  elif spieler_2 == 'X':
    print('Spieler 2 Du spielst mit \'X\'')
    print('Spieler 2 - Bitte gib die gewünschte Position für dein Zeichen ein: \n')
    x = int(position())
    spielfeld[x] = str(spieler_2)

def spiel_fortsetzen():

Mit der Funktion spiel_fortsetzen möchte ich jetzt, dass die Funktionen markierung_setzen_1 und markierung_setzen_2 immer abwechselnd ausgeführt werden. Aber das je nachdem, ob Spieler 1 oder Spieler 2 'X' ist mit markierung_setzen_1 oder markierung_setzen_2 begonnen wird.

Hätte da jemand eine Idee? Wahrscheinlich mit einer while-Schleife.

...zum Beitrag

Wie kann ich meinen Python-Code schneller machen?

Hallo,

ich habe gestern in Python ein paar Funktionen geschrieben, die mir ein interessantes Bild ausrechnen sollen. Ich kriege es jedoch nicht hin, dass das Programm einigermaßen schnell läuft und am Ende muss auch die Auflösung darunter leiden

Wenn da mal jemand drüberschauen könnte, wäre das wirklich hilfreich.

import numpy as np
import matplotlib.pyplot as plt
from math import pi, sqrt, atan

#Punkt definieren
class point:
    def __init__(self,x=0,y=0,z=0):
        self.x = x
        self.y = y

    #Operationen
    def __str__(self):
        return "({0},{1})".format(self.x, self.y)

    def __add__(self, other):
        return point(self.x+other.x,self.y+other.y)

    def __sub__(self, other):
        return point(self.x - other.x, self.y - other.y)

    def __abs__(self):
        return sqrt(self.x**2 + self.y**2)

    def __mul__(self, other):
        if type(other) == point:
            return point(self.x * other.x, self.y * other.y)
        return point(self.x * other, self.y * other)

    def __truediv__(self, other):
        if type(other) == point:
            return point(self.x / other.x, self.y / other.y)
        return point(self.x / other, self.y / other)

    def __neg__(self):
        return point(-self.x,-self.y)

# weitere Funktionen für Punkte
def dis(PointA,PointB):
    return abs(PointB-PointA)

def dir(PointA,PointB):
    return (PointB-PointA)/dis(PointA,PointB)


#Funktion für den Wert
def grav_v(x,y,time=5,frames=60):
    p = point(-1,0)
    sp = point(x+1,y)

    c = point(0,0)
    sc = point(0,0)
    
    #Vielleicht wegen des for-loops so langsam?
    for k in range(frames*time):
        try:
            plus = dir(p,c) * 1/dis(p,c)**2 / frames
            sp += plus
            p += sp/frames
            sc -= plus
            c += sc/frames
        except:
            pass

    return p


#Funktion für das Bild
def grav_c(a=-4, b=4, smoothness=1):
    ROWS = []
    p = 0
    print(0)
    #zwei for-loops...
    for Y in np.linspace(a,b,int(200*smoothness)):
        row = []
        for X in np.linspace(a,b,int(200*smoothness)):
            g = grav_v(X, Y)
            row.append( (abs(atan(g.x)*2/pi), abs(atan(g.y)*2/pi), abs(atan(abs(g))*2/pi)) )
        ROWS.append(row)
        p += 1
        print(p / (200 * smoothness))
    plt.imshow(ROWS, extent=(a, b, a, b))
    plt.show()

grav_c()

...zum Beitrag

Kann jemand denn Python Code erklären?

Hey, ich kann nicht wirklich Python aber es ist grade sehr wichtig das ich diesen Code verstehe (also was die einzelnen Elemente machen) könnte jemand der das versteht vielleicht Kommentare mit Erklärung hinzufügen oder ähnliches?

vielen Dank

Code:

l=[]
 
 
def damenprüfung(x,y):
  ö=0
  for ä in range(len(x)):
 
    if x[ä]==y or x[ä]+(len(x)-ä)==y or x[ä]-(len(x)-ä)==y:
      ö=ö+1
  if ö>0:
    return("j")
  else:
    return("n")
 
 
l.append([])
for i in range(8):
  l[-1].append([i+1])
     
for a in range(7):
  l.append([])
  for p in range(len(l[a])):
    for k in range(8):
      if damenprüfung(l[a][p],k+1)!="j":
        l[-1].append([])
        for s in range(len(l[a][p])):
          l[-1][-1].append(l[a][p][s])
        l[-1][-1].append(k+1)
 
print(len(l[7]))

...zum Beitrag

Funktionen in Python schriftlich berechnen können?

Wie kommt man hier schriftlich auf 10?

def Foo(x):
  if (x == 1):
    return 1
  else:
    return x + Foo(x - 1)

print(Foo(4)) # >>> 10

Ich verstehe es nicht. Kann mir jemand erklären, wie man schriftlich das hier berechnet und die 10 herausbekommt?

...zum Beitrag

Wie beseitige ich den Python Error: "RuntimeWarning: overflow encountered in int_scalars"?

Ich komme bei folgender Python Funktion (Hartman -function), wohl auf zu grosse Zahlen:

def f14(x):#ToDo: Remove Warning

    a = [[-32, -16, 0, 16, 32, -32, -16, 0, 16, 32, -32, -16, 0, 16, 32, -32, -16, 0, 16, 32, -32, -16, 0, 16, 32],
         [-32, -32, -32, -32, -32, -16, -16, -16, -16, -16, 0, 0, 0, 0, 0, 16, 16, 16, 16, 16, 32, 32, 32, 32, 32]]
    a = np.array(a)
    b = 0

    for j in range(0, 25):
        x1 = int(x[0])
        x2 = int(x[1])
        a1j = int(a[0][j])
        a2j = int(a[1][j])

        b = b + (1/(j+1+(np.power((x1-a1j), 6) + np.power((x2-a2j), 6))))

    return 1/((1/500)+b)
print(f14([1,2]))

Denn beim ausführen wird zwar das richtige Ergebnis ausgegeben, aber es erscheint auch der Error:

"RuntimeWarning: overflow encountered in int_scalars".

Wie beseitige ich den Error?

PS: das np steht für das numpy package

...zum Beitrag

Verbesserungsvorschläge für mein Python Skript: Polindrome finden?

Hey,

ich habe heute ein kleines Python Skript geschrieben, um Polindrome in einer Textdatei zu erkennen. Polindrome sind Wörter, die rückwärts geschrieben genau den gleichen Sinn ergeben wie vorwärts geschrieben.

#!/bin/python3
#Polindrome-Woerter in Textdatei erkennen
import string

#Funktion zum Erkennen von Polindromen
def check_polindrome(word):
    reverse = ''
    removable = ['\n', '\t', '\r']
    for c in removable: # Zeug entfernen
        word = word.replace(c, '')
    for c in string.punctuation: #Sonderzeichen entfernen
        word = word.replace(c, '')
    for c in string.whitespace: #Leerzeichen entfernen, da sonst falsche Ergebnisse entstehen
        word = word.replace(c, '')
    if word in string.punctuation or word in string.whitespace: #Leer- und Sonderzeichen abfangen
        return False
    if word.isdigit() == True: #Zahlen abfangen, da z.B. 121 rueckwaerts auch 121 ergibt
        return False
    for i in range(len(word)-1, 0-1, -1): #Wort rueckwaerts zusammen basteln
        reverse = reverse + word[i]
    if reverse.lower() == word.lower(): #Rueckwaerts-Wort mit vorwaerts-Wort vergleichen
        return True
    else:
        return False

#Den Benutzer eine Textdatei oeffnen lassen
file = input('Path to file: ')
polindrome = []

try:
    with open(file, 'r') as f:
        lines = f.readlines()
except FileNotFoundError:
    print('File not found!')
    exit(0)

#Einzelne Woerter im Text der Funktion check_polindrome uebergeben
for i in range(0, len(lines)):
    lines[i] = lines[i].split(' ')
    for word in lines[i]:
        if check_polindrome(word) == True:
            polindrome.append(word)
        else:
            continue

#Ergebnis anzeigen
print(len(polindrome), ' found!\n')
for i in range(len(polindrome)):
    print(polindrome[i].replace('\n', '')) #\n in Wort entfernen, da sonst zu viele Leerzeichen bei Output

Die Projektidee habe ich von: https://www.gutefrage.net/frage/python-projekt-ideen#answer-357880884

Wie man rückwärts über eine Zeichenkette rotiert, habe ich von: https://stackoverflow.com/questions/7961499/best-way-to-loop-over-a-python-string-backwards

Hat jemand Verbesserungsvorschläge für meinen Code?
Ein kleines Feedback bitte

...zum Beitrag

Python Pyramide?

a = ""

for i in range (1, 8):

for j in range(0, i+1,2):

print(a ,end="")

print()

dadruch kommt das raus

*
**
**
***
***
****
****

aber es muss so aussehen

*
**
**
***
***
***
****
****
****
****

kann mir einer kurz ein Tipp geben ?? Bei Python

...zum Beitrag

Wie ist dieser verbesserte Python Code zu Palindromen?

Verbesserter Code mit Hilfe der Antwort von alfredo153

#!/bin/python3
#Palindrome-Woerter in Textdatei erkennen
import string

#Funktion zum Erkennen von Palindromen
def check_palindrome(word):
    reverse = ''
    removable = string.punctuation + string.whitespace + string.digits
    for c in removable: #Sonderzeichen entfernen
        word = word.replace(c, '')
    if word in string.punctuation or word in string.whitespace: #Sonderzeichen abfangen
        return False
    for c in word[::-1]: #Wort rueckwaerts zusammen basteln
        reverse = reverse + c
    if reverse.lower() == word.lower(): #Rueckwaerts-Wort mit vorwaerts-Wort vergleichen
        return True
    else:
        return False

#Den Benutzer eine Textdatei oeffnen lassen
file = input('Path to file: ')
palindrome = []

try:
    with open(file, 'r') as f:
        lines = f.readlines()
except FileNotFoundError:
    print('File not found!')
    exit(0)

#Einzelne Woerter im Text der Funktion check_palindrome uebergeben
for line in lines:
    line = line.split(' ')
    for word in line:
        if check_palindrome(word):
            palindrome.append(word)
        else:
            continue

#Ergebnis anzeigen
print(len(palindrome), ' found!\n')
for i in range(len(palindrome)):
    print(palindrome[i].replace('\n', '')) #\n in Wort entfernen, da sonst zu viele Leerzeichen bei Output

...zum Beitrag

Primzahlenerkennungsprogramm Python?

Hallo habe hier ein Programm mithilfe einer Funktion geschrieben,welche erkennen soll ob die eingegebene Zahl eine Primzahl ist.Allerdings kann ich das Unterprogramm nicht aufrufen weil eine Fehlermeldung kommt.Könntet ihr mir bitte helfen.

Mein Programm:

a = int(input("Zahl ? " )

def primzahl (a) :

for i in range (0,a):

if a == 1:

return False

elif a%i == 0 :

return False

else:

return True

primzahl(a)

...zum Beitrag