Python: wann sind slice-Operationen an Arrays vorteilhaft?

Ich habe in Python versucht, eine doppelte Schleife über ein 2D Array (Variante 1) durch "array slice" Operationen (Variante 2) zu optimieren, stelle aber fest, dass dies nichts bringt, sondern die Rechenzeit sogar etwas größer wird.

Ich dachte eigentlich, dass man wo immer möglich slice Notation verwenden sollte, da dies schneller ist. Scheinbar kann man das aber nicht so einfach sagen.

Wann sind slice Operationen schneller bzw. von Vorteil? Leserlicher wid der Code ja nicht, aber dass er sogar langsamer wird überrascht mich nun doch ein wenig...

Der Code:

import numpy as np
import numpy.ma as ma
import time


def test():

 
  f = np.array([
    [0,  0,  0,  0,  0,  0,   0], 
    [0,  1,  3,  6 , 4,  2,   0], 
    [0,  2,  4,  7 , 6,  4,   0],   
    [0,  0,  0,  0,  0,  0,   0]
    ], dtype=float)
     

  u = np.array([
    [0,  0,  0,  0,  0,  0,   0], 
    [0,  0.5, 1,  0, -1, -0.5,  0], 
    [0,  0.7, 1.1, 0, -1, -0.4,  0], 
    [0,  0,  0,  0,  0,  0,   0], 
    ], dtype=float)
     
   
  # calculate : variant 1
  x = np.zeros_like(f)
   
  maxcount = 100000
   
  start = time.time()

  for count in range(maxcount):
    for i in range(1,u.shape[0]-1):
      for j in range(1,u.shape[1]-1):
        if u[i,j] > 0: 
          x[i,j] = u[i,j]*(f[i,j]-f[i,j-1])
        else:
          x[i,j] = u[i,j]*(f[i,j+1]-f[i,j])
         
  end = time.time()
  print("used time for variant 1:", end-start)
         
              
   
  # calculate : variant 2

  y = np.zeros_like(f)  

   
  start = time.time()
   
  for count in range(maxcount):
    maskl = (u[1:-1, 1:-1] > 0)
    maskr = ~maskl 
    diff = f[1:-1, 1:] - f[1:-1, 0:-1]
     
    yy = (y[1:-1, 1:-1])
    uu = (u[1:-1, 1:-1 ])
     
    yy[maskl] = uu[maskl] * (diff[:, :-1])[maskl]
    yy[maskr] = uu[maskr] * (diff[:, 1: ])[maskr]
   
  end = time.time()
  print("used time for variant 2:", end-start)
   
  np.testing.assert_array_equal(x, y)


test()

Die Ausgabe:

D:\python\animation>python test.py
used time for variant 1: 1.0328729152679443
used time for variant 2: 1.3058593273162842

D:\python\animation>python test.py
used time for variant 1: 1.1189219951629639
used time for variant 2: 1.3527190685272217

D:\python\animation>python test.py
used time for variant 1: 1.066974401473999
used time for variant 2: 1.3022441864013672

19.12.2023, 20:08

Ich sehe gerade, dass wenn man die Arry-Größe um das hundertfache vergrößert, die Variante 2 tatsächlich schneller ist:

D:\python\animation>python test.py
used time for variant 1: 1.234086513519287
used time for variant 2: 0.03494548797607422
t1/t2: 35.31461670714734

Somit ist die Antwort scheinbar, dass der Overhead des slicings ab einer bestimmten Größe gegenüber der eigentlichen Rechnerei vernachlässigbar wird.

1 Antwort

Vom Fragesteller als hilfreich ausgezeichnet

jo135

Von gutefrage auf Grund seines Wissens auf einem Fachgebiet ausgezeichneter Nutzer

Python

19.12.2023, 20:08

Scheinbar kann man das aber nicht so einfach sagen. Wann sind slice Operationen schneller bzw. von Vorteil?

Bei Python-eigenen Datenstrukturen (wie Listen und Tupeln) fast immer.

Numpy ist halt...speziell. Das ist eine separate Library, die ohnehin großteils in C(++) implementiert wurde. Da ist die Slice-Notation vermutlich ein Wrapper rund um die "nativen" Funktionen von Numpy - wenn du die Zeit hast, schau dir den Sourcecode an.

paprikaw22

Fragesteller

19.12.2023, 20:10

Danke für die Antwort. Ich habe gerade festgestellt, dass sich der Vorteil der zweiten Methode bei großen Arrays bezahlt macht. Vergrößere ich die Eingangs-Arrays um das hundertfache, ist Variante 35 mal schneller ! Das habe ich nicht bedacht und ist schon gewaltig...

  scale = 100 # <<-- !!!

  f = np.array([
    [0,  0,  0,  0,  0,  0,   0] * scale, 
    [0,  1,  3,  6 , 4,  2,   0] * scale, 
    [0,  2,  4,  7 , 6,  4,   0] * scale,   
    [0,  0,  0,  0,  0,  0,   0] * scale
    ])
     
  u = np.array([
    [0,  0,  0,  0,  0,  0,   0] * scale, 
    [0,  0.5, 1,  0, -1, -0.5,  0] * scale, 
    [0,  0.7, 1.1, 0, -1, -0.4,  0] * scale, 
    [0,  0,  0,  0,  0,  0,   0] * scale, 
    ])

paprikaw22

Fragesteller

19.12.2023, 20:13

@paprikaw22

Bei 1000 fach größer ist der Faktor sogar 70! wow!

jo135

19.12.2023, 20:14

@paprikaw22

Interessant, das klingt aber auch plausibel. Bei "Methode 1" springst du ja ständig zwischen nativem Numpy und (tendenziell langsamem) Python hin und her. Im zweiten Fall kann das (bei entsprechender Implementierung) komplett innerhalb von Numpy abgehandelt werden.

Wenn man sich das API von Numpy so anschaut gibt es ja viele Funktionen, die genau das erreichen sollen, d.h. Operationen "internalisieren".

paprikaw22

Fragesteller

19.12.2023, 20:15

@jo135

ja, wieder mal was gelernt. Dass ich so viel rausschinden kann, hab ich mir nicht gedacht. Ein Faktor 2 hätte mir schon gereicht. Ich liebe Python :-)

D:\python\animation>python test.py
used time for variant 1: 12.936085939407349
used time for variant 2: 0.18498826026916504
t1/t2: 69.9292264308278

Ähnliche Fragen

Pyramidenausgabe programmieren?

Mit Hilfe von ChatGPT bin ich auf die Lösung gekommen bzw. habe sie verstanden. Aber wie zum Teufel kriege ich es hin, auf solche Logiken selber zu kommen?
Unterschied zwischen C und Python

int hohe = 5;
// Aufsteigender Teil

for (int i = 1; i <= hohe; ++i) {
  printf("\n");

  for (int j = 1; j <= i; ++j) {
    printf("%d", j);
  }
}

Python:

hohe = 5

for i in range (1, hohe + 1, 1):
  print()
  
  for j in range(1, i + 1, 1):
    print(j, end=" ")

Es geht jeweils um die innere Schleife. Irgendwie macht beides Sinn, aber wieso kann ich die Variante in C nicht in Python nutzen (dieses j <= i bzw. anderesherum von Python in C).

...zur Frage

Wieso kommt da diese Fehlermeldung (Python - Numpy)?

Hi, ich versuche die Distanzen zwischen einem Punkt und Punkten eines Numpy-Arrays zu berechnen:

c = numpy.array([1, 2])
d = numpy.array([[4, 2], [1, 4]])

if data.ndim == 2:
        distances = numpy.zeros(data.shape[0])
        if point.shape != data[0].shape:
            print("Es kann keine Distanz berechnet werden, weil die Anzahl der Werte nicht übereinstimmt.")
        else:
            for i in range(len(data)):
                point2 = data[i].copy()
                print(point)
                print(point2)
                distances[i] = numpy.subtract(point, point2)

print(distances)

Hat jemand eine Idee, warum da dieser Fehler kommt:

TypeError: only size-1 arrays can be converted to Python scalars

The above exception was the direct cause of the following exception:

Traceback (most recent call last):

distances[i] = numpy.subtract(point, point2)

ValueError: setting an array element with a sequence.

Viele Grüße

...zur Frage

[Python] Wie kann ich eine "while-schleife" in meiner "for-schleife" laufen lassen?

Ich möchte innerhalb meines for-loops eine while schleife laufen lassen.

Die While-Schleife soll solange ein Image suchen bis die if oder elif das Image gefunden hat und entweder mit der For-Schleife fortsetzen oder das Programm beenden.

z.B

import string
import pyautogui

lst_1 = list(string.ascii_uppercase)
lst_2 = [x for x in reversed(lst_1)]

combos = []

for x in range(0, len(lst_1)):
    for y in range(0, len(lst_2)):
        combos.append([lst_1[x],lst_2[y]])
        
# Jetzt komme ich zu meiner Frage.
for x in range(0, len(combos)):
    print(f"{combos[x][0]}")
    print(f"{combos[x][1]}")
    while True:
        if pyautogui.locateOnScreen("wrong.png") != None:
            print("next")
            # break while-loop, continue with for-loop

           # while loop soll nach einem Image suchen,
           # solange bis die if oder elif gefunden wurde.
        elif pyautogui.locateOnScreen("right.png") != None:
            exit()
            # Wenn ein anderes bestimmtes Image lokalsiert wird,
            # soll alles gestoppt werden.

...zur Frage

Python if i%2?

Hi,

Ich habe folgenden Code:

for i in range(0,20):
    if i% == 0:
    print(i)

Aber verstehe diesen nicht, also bei dem if %2 == 0

KÖNNT IHR MIR EVTL. HELFEN?

...zur Frage

Kann jemand denn Python Code erklären?

Hey, ich kann nicht wirklich Python aber es ist grade sehr wichtig das ich diesen Code verstehe (also was die einzelnen Elemente machen) könnte jemand der das versteht vielleicht Kommentare mit Erklärung hinzufügen oder ähnliches?

vielen Dank

Code:

l=[]
 
 
def damenprüfung(x,y):
  ö=0
  for ä in range(len(x)):
 
    if x[ä]==y or x[ä]+(len(x)-ä)==y or x[ä]-(len(x)-ä)==y:
      ö=ö+1
  if ö>0:
    return("j")
  else:
    return("n")
 
 
l.append([])
for i in range(8):
  l[-1].append([i+1])
     
for a in range(7):
  l.append([])
  for p in range(len(l[a])):
    for k in range(8):
      if damenprüfung(l[a][p],k+1)!="j":
        l[-1].append([])
        for s in range(len(l[a][p])):
          l[-1][-1].append(l[a][p][s])
        l[-1][-1].append(k+1)
 
print(len(l[7]))

...zur Frage

Python: Listen vergleichen?

Hi,

ich würde gerne in einer Schleife, zwei Listen, welche beide Elemente mit Wörtern enthalten, miteinander vergleichen. Von einer Liste möchte ich das Anfangswort in der anderen Liste suchen, um einen möglichen Treffer daraufhin weiter zu untersuchen.

for i in range(länge_ganzer_text):
  if nur_woerter[0] in alle_woerter[i]:

Ich habe das versucht, aber es gibt die Fehlermeldung:

list index out of range

...zur Frage

Python background service / alle x sekunden was ausführen?

Das Szenario: Ich hab ne API laufen die per post request einen Service starten und stoppen soll. Der Service soll alle paar Sekunden etwas tun.

Code:

from fastapi import FastAPI
from testService import Service
import time

app = FastAPI()

@app.get("/")
def index():
    #hier später Service start / stop callen (und post draus machen)
    return { "message": "hello world"}

service = Service()
service.start()
time.sleep(20)
service.stop()

Und der service:

import sched, time

class Service:
    scheduler = sched.scheduler(time.time, time.sleep)
    running = False
    interval = 5

    def start(self):
        self.running = True
        self.task(None)
        self.scheduler.run()

    def stop(self):
        self.running = False
        if(self.event):
            self.scheduler.cancel(self.event)

    def task(self, nothing):
        if(self.running):
            self.event = self.scheduler.enter(self.interval, 1, self.task, (self,))
            print("test")
            #hier dann der Code, der alle paar Sekunden ausgeführt werden soll

Das Problem: self.scheduler.run() blockt den Main Thread, und die Lösung ist wohl ne Schleife darum, aber das sieht irgendwie nach dem falschen Ansatz aus und ich weiß nicht ob das sich nicht vlt mit den API Endpoints beißt...

Wie mache ich das richtig?

...zur Frage

Ist der Python Code so in Ordnung?

while True:
    UserInput1 =input("Vorname \n ").upper()
    UserInput2 =input("Passwort \n ").upper()
    if UserInput1 == "NAME1" and UserInput2 == "PASSWORT1":
        print("Herzlich Wilkommen " + UserInput1)
        break
    elif UserInput1 == "NAME2" and UserInput2 == "PASSWORT2":
        print("Herzlich Wilkommen " + UserInput1)
        break
    else:
        
        print("Falscher Benutzername oder Passwort, bitte  in 10 Sekunden erneut versuchen:\n"
              "KEINE EINGABEN MACHEN! \n"
              "KEINE EINGABEN MACHEN! \n ")
        for x in range(0,534944449,1):
            x

Wusste nicht wie ich sonst diese 10 Sekunden machen soll, in denen der Benutzer warten muss. Leider kann er immer noch eingaben machen, die dann jedoch falsch sind.

...zur Frage

Warum schließt sich mein Fenster in Python automatisch?

https://www.youtube.com/watch?v=HEZ_ypUSICY

Hallo ich habe einen Password Generator online gefunden und fand den ziemlich cool hab den dann in Python nachgemacht und wenn ich den öffne macht er alle Passwörter fertig und schließt sich dann immer automatisch ohne das ich auch nur irgendein Passwort speichern kann mir wer da helfen?

Der code:


import random, string

number_of_digits = 3
number_of_punctuation_characters = 2
characters = string.ascii_letters + string.digits + string.punctuation

number_of_passwords = int(input("How many passwords do you want to generate? "))
password_length = int(input("Provide the password length: "))

for password_index in range(number_of_passwords):
    password = ""

    for digits_index in range(number_of_digits):
        password = password + random.choice(string.digits)

    for punctuation_index in range(number_of_punctuation_characters):
        password = password + random.choice(string.punctuation)

    for index in range(password_length - number_of_digits - number_of_punctuation_characters):
        password = password + random.choice(string.ascii_letters)

    print("Password {} generated: {}".format(password_index, password))

...zur Frage

[Python] Gib es eine Funktion mit der ich meine Elemente in der For-Schleife rückwärts ausgeben kann?

Ich frage mich ob es eine Funktion gibt, mir der ich z.B: [x for x in range(0, 11)] rückwärts ausgeben kann.

Ich hab in meiner Funktion herausgefunden wie ich es machen könnte, aber dafür muss es doch sicher etwas einfacheres geben oder?

def b_to_d(b_num):
    
    summe = 0
    
    for i in range(0,len(b_num)):
        u = int(b_num[i])
        rev = len(b_num)-i-1 # <================================
        summe+= u*(2**rev)
    return summe


b_to_d(b_num = input("Gib eine Binärzahl an: "))

...zur Frage

Python Socket Server TCP Status erkennen?

Hi, ich suche jetzt leider schon seit Stunden:

Ich hätte gerne in der Bedingung der While-Schleife irgendetwas stehen was den Status von TCP überprüft, also ob der Client noch anwesend ist, oder nicht, ohne das mit einem Timeout regeln zu müssen.

Geht das?

LG.

import socket
import time

host = '0.0.0.0'
port = 5000
timeout = 5.0

def server_program():
    print('listen on: '+host)
    ss = socket.socket()
    ss.bind((host, port))
    ss.listen(5)
    (conn, address) = ss.accept()
    #WAITNING FOR SOCKET
    
    print("Client: " + str(address))
    
    
    timestamp = time.time()
    while timestamp+timeout>time.time():
        c = 0
        data = conn.recv(1024*10)
        #datay = data.decode()
        if not data:
            None
        else:
            #print('return: "'+str(datay)+'"')
            conn.send(data)
            timestamp = time.time()
        time.sleep(0.1)

    conn.close()


if __name__ == '__main__':
    server_program()

...zur Frage

Python Pyramide?

a = ""

for i in range (1, 8):

for j in range(0, i+1,2):

print(a ,end="")

print()

dadruch kommt das raus

*
**
**
***
***
****
****

aber es muss so aussehen

*
**
**
***
***
***
****
****
****
****

kann mir einer kurz ein Tipp geben ?? Bei Python

...zur Frage

Python: Printausgabe updaten?

Hey ich möchte das ein Printbefehl sich updated an Stelle immer die Zeile zu schreiben. Aktuell ungünstig gem folgendem Minimalbeispiel:

for i in range(len(pictures))
   print("bearbeite Element "+(i)+" ...")

da soll nur eine Zeile stehen, nicht immer wieder eine neue, sondern einfach aktualisiert werden. Wie mach ich das?

...zur Frage

Python, Problem mit for schleife?

import random

int_how_many_numbers = int(input("How many random generated numbers to you want to get: "))

numbers = []

for i in range(0, 5):
    numbers[i] = random.randint(1, 100)

for number in numbers:
    print(number)

Fehlermeldung: line 8, in <module>

numbers[i] = random.randint(1, 100)

IndexError: list assignment index out of range

Wo liegt der Fehler?

...zur Frage

Was möchtest Du wissen?

Deine Frage stellen