Gradientenabstieg Python?

def function(x):
    return x**2
def ableitung_function(x):
    return 2*x


x = 20
epochen = 15
for i in range(epochen):
    ableitung = ableitung_function(x)
    print(":____:")
    print(ableitung)
    print(x)
    print(":____:")
    lernrate = 0.1
    x_new = x-(lernrate*ableitung)
    x = x_new

Ist mein Gradientenabstieg korrekt? Meiner Meinung nach liefert es gute Ergebnisse, aber wenn ich eine Funktion wie z.b. x^3 und die Ableitung 3*x^2 benutze läuft alles falsch und wo brauche ich meine Funktion 'function'?

4 Antworten

Vom Fragesteller als hilfreich ausgezeichnet

procoder42

05.07.2021, 22:25

Der Code ist schon korrekt, die Schrittweite aber viel zu klein bei so einem Startwert (kannst dir ja die spaßeshalber mal dir Sprungweite mitloggen). Die eigentliche Funktion brauchst du in der Tat nur, wenn du die eigentlichen Funktionswerte berechnen willst.

Plotte dir doch mal f(x)=x^3 und schau dir an, ob du da zu einem globalen Minimum konvergieren würdest.

Ein sinnvoller Benchmark (vorausgesetzt du portierst deinen GD auf mehrere Dimensionen) wäre bspw die Rosenbrock Funktion.

https://en.m.wikipedia.org/wiki/Rosenbrock_function

Muenze3006co

Fragesteller

05.07.2021, 22:38

Vielen dank!

Muenze3006co

Fragesteller

05.07.2021, 22:40

Die eigentliche Funktion brauchst du in der Tat nur, wenn du die eigentlichen Funktionswerte berechnen willst.

Die aber unwichtig für den Gradientenabstieg sind oder?

covid69

27.07.2021, 11:46

x^3 ist nicht convex und deswegen wirst du kein globales minimum damit finden - x wird immer kleiner werden und das immer schnelller. Die einzige ausnahme ist, wenn x in in einem epoch genau 0 ist, denn dann ist auch die ableitung 0.

tunik123

Von gutefrage auf Grund seines Wissens auf einem Fachgebiet ausgezeichneter Nutzer

Mathematik

05.07.2021, 21:07

Was ist denn das für ein Algorithmus? Sieht nach einer verunglückten Newton-Iteration aus.

https://de.wikipedia.org/wiki/Newtonverfahren

Dort findet sich auch die richtige Formel:

x_new = x - funktion(x) / ableitung_funktion(x)

Muenze3006co

Fragesteller

05.07.2021, 21:08

Sieht nach einer verunglückten Newton-Iteration aus.

ich habe das von YouTube 😂

Muenze3006co

Fragesteller

05.07.2021, 21:10

Und wie würde man den Code für den Gradientenabstieg ändern?

tunik123

05.07.2021, 21:22

@Muenze3006co

Am einfachste ist es,

x = x - function(x) / ableitung_function(x)

als einen Iterationsschritt hinzuschreiben. Oder etwas ausführlicher

for i in range(epochen):
    ableitung = ableitung_function(x)
    funktion  = function(x)
    print(":____:")
    print(funktion)
    print(":____:")
    print(ableitung)
    print(x)
    print(":____:")
    x_new = x - funktion / ableitung
    x = x_new

function(x) ist eine Funktion, funktion ist eine Variable

askanier

05.07.2021, 21:07

x ist zu hoch, lernrate zu hoch, epochen zu klein.
Nimm dir mal das Buch "Neuronale Netze selbst programmieren" von Tariq Rashid.
Da wird ein kleines Modell für die MNIST-Daten from scratch entwickelt.

Sofern ich dein Ansinnen richtig verstanden habe.

Woher ich das weiß:eigene Erfahrung

Hi, wir haben aktuell das Thema "Python - Programmierung" in der Schule. Ich habe dabei einen Taschenrechner programmiert, allerdings scheitere ich bei der Zusatz-Aufgabe, bei welcher man Wurzelberechnung einbauen soll...

Vielleicht kann mir jemand sagen, wie diese in meinem Code eingebaut werden kann bzw. wie dieser aussieht. LG

Hier einmal mein Taschenrechner:

from math import sqrt
def addition(a,b):     return a + b
def subtraktion(a,b):     return a-b
def multiplikation(a,b):     return a*b
def division(a,b):     return a/b
def potenz(a,b):     return a**b

def main():
    operator = input("Operator:")
    a = int(input("Erste Zahl: "))
    b = int(input("Zweite Zahl: "))
    if (operator == "+"):
            print(addition(a, b))
    elif (operator== "-"):
            print(subtraktion(a,b))
    elif (operator == ""):             print(multiplikation(a,b))     elif (operator == "/"):             print(division(a,b))     elif(operator=="^"):             print(potenz(a,b)) main()

...zur Frage

python fakultät programmieren?

für die fakultät einer zahl N. also N! quasi. wie würde das gehen? mein ansatz:

def funktion(N):

x = 1

for n in range(1,N)

x*=n

return x

...zur Frage

Python Programmieren len()?

Hi, ich lerne gerade das Programmieren und habe mir einen rechner zum rechnen von Euklidischer Distanz auf einer 2D map programmiert. Der Quellcode sieht wie folgt aus:

def euclidean_distance(pt1, pt2):
  distance = 0
  for i in range(len(pt1)):
    distance += (pt1[i] - pt2[i]) ** 2
  return distance ** 0.5

print(euclidean_distance([1, 2], [4, 0]))
print(euclidean_distance([5, 4, 3], [1, 7, 9]))

nun meine Frage.

bei for i in range(len(pt1)) kommt doch 1 raus oder? Da es ja zaehlt wie viele Zahlen in pt1 drin sind naemlich 2 und im Python Index waehren das doch 1. Nun wenn ich jetzt len(pt1) mit 1 ersetze kommen falsche Ergebnisse raus wie kann das sein?

...zur Frage

Kann jemand denn Python Code erklären?

Hey, ich kann nicht wirklich Python aber es ist grade sehr wichtig das ich diesen Code verstehe (also was die einzelnen Elemente machen) könnte jemand der das versteht vielleicht Kommentare mit Erklärung hinzufügen oder ähnliches?

vielen Dank

Code:

l=[]
 
 
def damenprüfung(x,y):
  ö=0
  for ä in range(len(x)):
 
    if x[ä]==y or x[ä]+(len(x)-ä)==y or x[ä]-(len(x)-ä)==y:
      ö=ö+1
  if ö>0:
    return("j")
  else:
    return("n")
 
 
l.append([])
for i in range(8):
  l[-1].append([i+1])
     
for a in range(7):
  l.append([])
  for p in range(len(l[a])):
    for k in range(8):
      if damenprüfung(l[a][p],k+1)!="j":
        l[-1].append([])
        for s in range(len(l[a][p])):
          l[-1][-1].append(l[a][p][s])
        l[-1][-1].append(k+1)
 
print(len(l[7]))

...zur Frage

Mit Funktionen in Python dividieren funktioniert falsch?

Hallo, leider funktioniert der Code, aber "vertauscht" die Zahlen. Wie kann ich das fixen?

from functools import partial
from operator import add, floordiv, mul, sub


def three(op=None): 
    return 3 if not op else op(3)

def seven(op=None): 
    return 7 if not op else op(7)


def plus(val): 
    return partial(add, val)

def minus(val): 
    return partial(sub, val)

def times(val): 
    return partial(mul, val)

def divided(val): 
    return partial(floordiv, val)

print(seven(divided(three())))  # --> 0 

print(three(divided(seven())))  # --> 2

...zur Frage

Wie kann ich meinen Python-Code schneller machen?

Hallo,

ich habe gestern in Python ein paar Funktionen geschrieben, die mir ein interessantes Bild ausrechnen sollen. Ich kriege es jedoch nicht hin, dass das Programm einigermaßen schnell läuft und am Ende muss auch die Auflösung darunter leiden

Wenn da mal jemand drüberschauen könnte, wäre das wirklich hilfreich.

import numpy as np
import matplotlib.pyplot as plt
from math import pi, sqrt, atan

#Punkt definieren
class point:
    def __init__(self,x=0,y=0,z=0):
        self.x = x
        self.y = y

    #Operationen
    def __str__(self):
        return "({0},{1})".format(self.x, self.y)

    def __add__(self, other):
        return point(self.x+other.x,self.y+other.y)

    def __sub__(self, other):
        return point(self.x - other.x, self.y - other.y)

    def __abs__(self):
        return sqrt(self.x**2 + self.y**2)

    def __mul__(self, other):
        if type(other) == point:
            return point(self.x * other.x, self.y * other.y)
        return point(self.x * other, self.y * other)

    def __truediv__(self, other):
        if type(other) == point:
            return point(self.x / other.x, self.y / other.y)
        return point(self.x / other, self.y / other)

    def __neg__(self):
        return point(-self.x,-self.y)

# weitere Funktionen für Punkte
def dis(PointA,PointB):
    return abs(PointB-PointA)

def dir(PointA,PointB):
    return (PointB-PointA)/dis(PointA,PointB)


#Funktion für den Wert
def grav_v(x,y,time=5,frames=60):
    p = point(-1,0)
    sp = point(x+1,y)

    c = point(0,0)
    sc = point(0,0)
    
    #Vielleicht wegen des for-loops so langsam?
    for k in range(frames*time):
        try:
            plus = dir(p,c) * 1/dis(p,c)**2 / frames
            sp += plus
            p += sp/frames
            sc -= plus
            c += sc/frames
        except:
            pass

    return p


#Funktion für das Bild
def grav_c(a=-4, b=4, smoothness=1):
    ROWS = []
    p = 0
    print(0)
    #zwei for-loops...
    for Y in np.linspace(a,b,int(200*smoothness)):
        row = []
        for X in np.linspace(a,b,int(200*smoothness)):
            g = grav_v(X, Y)
            row.append( (abs(atan(g.x)*2/pi), abs(atan(g.y)*2/pi), abs(atan(abs(g))*2/pi)) )
        ROWS.append(row)
        p += 1
        print(p / (200 * smoothness))
    plt.imshow(ROWS, extent=(a, b, a, b))
    plt.show()

grav_c()

...zur Frage

Python-Funktion, die zwei Funktionen immer abwechselnd ausführt?

Hallo.

Ich möchte ein kleines Spiel programmieren, aber ich komme leider nicht auf die Lösung, wie ich das machen könnte. Ich lasse zuerst mit random festlegen, ob Spieler 1 oder Spieler 2 'X' hat und der soll dann das Spiel auch beginnen. Das wäre der Code bis dahin:

def spieler_auswahl():
  from random import randint
  x = randint(1, 2)

  if x == 1:
    spieler_1 = 'X'
    spieler_2 = 'O'
    return (spieler_1, spieler_2)

  if x == 2:
    spieler_1 = 'O'
    spieler_2 = 'X'
    return (spieler_1, spieler_2)

def erste_markierung_setzen():
  if spieler_1 == 'X':
    print('Spieler 1 Du spielst mit \'X\'')
    print('Spieler 1 - Bitte gib die gewünschte Position für dein Zeichen ein: \n')
    x = int(position())
    spielfeld[x] = str(spieler_1)
  elif spieler_2 == 'X':
    print('Spieler 2 Du spielst mit \'X\'')
    print('Spieler 2 - Bitte gib die gewünschte Position für dein Zeichen ein: \n')
    x = int(position())
    spielfeld[x] = str(spieler_2)

def spiel_fortsetzen():

Mit der Funktion spiel_fortsetzen möchte ich jetzt, dass die Funktionen markierung_setzen_1 und markierung_setzen_2 immer abwechselnd ausgeführt werden. Aber das je nachdem, ob Spieler 1 oder Spieler 2 'X' ist mit markierung_setzen_1 oder markierung_setzen_2 begonnen wird.

Hätte da jemand eine Idee? Wahrscheinlich mit einer while-Schleife.

...zur Frage

Wofür ist die return Funktion genau?

Hallo, ich lerne gerade Python und bin gerade zu den return Funktionen gekommen. Aber wofür ist die genau, ich weiß nur, dass wenn ich eine definierte Funktion wie diese: def mittelwert(x,y): ergebnis=(x+y)/2 als Ergebnis einfach nur "None" kriege, falls ich später die Funktion "mittelwert" verwenden möchte, etwa so: c=mittelwert(3,9) print(c) Wenn ich aber "return Ergebnis dran hänge: def mittelwert(x,y): ergebnis=(x+y)/2 return ergebnis Dann bekomme ich als Ergebniss 6. Warum ist das so? Die anderen Seiten im Internet verwirrten mich nur noch mehr. Danke schonmal, MRColourblock

...zur Frage

Python Pyramide?

a = ""

for i in range (1, 8):

for j in range(0, i+1,2):

print(a ,end="")

print()

dadruch kommt das raus

*
**
**
***
***
****
****

aber es muss so aussehen

*
**
**
***
***
***
****
****
****
****

kann mir einer kurz ein Tipp geben ?? Bei Python

...zur Frage

Wie erklärt sich diese Python-Funktion[Fakultät berechnen]?

Hallo, ich bin neu im Programmierkosmos und habe eine Funktion gesehen (siehe unten, hab sie mal kopiert), die die Fakultät berechnen soll. Ich verstehe aber nicht, wie diese mathematisch abläuft. Das Ergebnis soll sein gleich 1, für i haben wir range(2, n+1), also würde am Ende sowas wie ergebnis = ergebnis * i stehen, oder? Ich verstehe nicht, wie er auf 1, 2, oder n+1 kommt. Wie man die Fakultät mathematisch an sich berechnet, weiss ich, nur die Programmierschritte verstehe ich nicht. Im Buch stand als Kommentar nur "Die Funktion sollte selbsterklärend sein" 😅

def fak(n):
  ergebnis = 1
  for i in range(2, n+1)
  ergebnis *= i
  return ergebnis

...zur Frage

Funktionen in Python schriftlich berechnen können?

Wie kommt man hier schriftlich auf 10?

def Foo(x):
  if (x == 1):
    return 1
  else:
    return x + Foo(x - 1)

print(Foo(4)) # >>> 10

Ich verstehe es nicht. Kann mir jemand erklären, wie man schriftlich das hier berechnet und die 10 herausbekommt?

...zur Frage

Verbesserungsvorschläge für mein Python Skript: Polindrome finden?

Hey,

ich habe heute ein kleines Python Skript geschrieben, um Polindrome in einer Textdatei zu erkennen. Polindrome sind Wörter, die rückwärts geschrieben genau den gleichen Sinn ergeben wie vorwärts geschrieben.

#!/bin/python3
#Polindrome-Woerter in Textdatei erkennen
import string

#Funktion zum Erkennen von Polindromen
def check_polindrome(word):
    reverse = ''
    removable = ['\n', '\t', '\r']
    for c in removable: # Zeug entfernen
        word = word.replace(c, '')
    for c in string.punctuation: #Sonderzeichen entfernen
        word = word.replace(c, '')
    for c in string.whitespace: #Leerzeichen entfernen, da sonst falsche Ergebnisse entstehen
        word = word.replace(c, '')
    if word in string.punctuation or word in string.whitespace: #Leer- und Sonderzeichen abfangen
        return False
    if word.isdigit() == True: #Zahlen abfangen, da z.B. 121 rueckwaerts auch 121 ergibt
        return False
    for i in range(len(word)-1, 0-1, -1): #Wort rueckwaerts zusammen basteln
        reverse = reverse + word[i]
    if reverse.lower() == word.lower(): #Rueckwaerts-Wort mit vorwaerts-Wort vergleichen
        return True
    else:
        return False

#Den Benutzer eine Textdatei oeffnen lassen
file = input('Path to file: ')
polindrome = []

try:
    with open(file, 'r') as f:
        lines = f.readlines()
except FileNotFoundError:
    print('File not found!')
    exit(0)

#Einzelne Woerter im Text der Funktion check_polindrome uebergeben
for i in range(0, len(lines)):
    lines[i] = lines[i].split(' ')
    for word in lines[i]:
        if check_polindrome(word) == True:
            polindrome.append(word)
        else:
            continue

#Ergebnis anzeigen
print(len(polindrome), ' found!\n')
for i in range(len(polindrome)):
    print(polindrome[i].replace('\n', '')) #\n in Wort entfernen, da sonst zu viele Leerzeichen bei Output

Die Projektidee habe ich von: https://www.gutefrage.net/frage/python-projekt-ideen#answer-357880884

Wie man rückwärts über eine Zeichenkette rotiert, habe ich von: https://stackoverflow.com/questions/7961499/best-way-to-loop-over-a-python-string-backwards

Hat jemand Verbesserungsvorschläge für meinen Code?
Ein kleines Feedback bitte

...zur Frage

Primzahlenerkennungsprogramm Python?

Hallo habe hier ein Programm mithilfe einer Funktion geschrieben,welche erkennen soll ob die eingegebene Zahl eine Primzahl ist.Allerdings kann ich das Unterprogramm nicht aufrufen weil eine Fehlermeldung kommt.Könntet ihr mir bitte helfen.

Mein Programm:

a = int(input("Zahl ? " )

def primzahl (a) :

for i in range (0,a):

if a == 1:

return False

elif a%i == 0 :

return False

else:

return True

primzahl(a)

...zur Frage