Passt der Pseudocode zu dem Algorithmus (n-step SARSA)?

Vielleicht sagt n-step SARSA ja dem einen oder anderem was, falls nicht, hier die Kurzfassung: Es geht um Reinforcement Learning. Pro Zeitschritt kann man eine Action nehmen und bekommt dafür einen Reward. Bei n-step SARSA summiert die Rewards für n Schritte auf und berechnet dann "wie gut" der aktuelle Stand so ist indem man den aufsummierten Reward mit dem zu noch zu erwartenden Reward (bis man am Ziel ist) addiert.

So sieht anscheinend der Code dazu aus:

Bild zum Beitrag

Hier mal ein Beispiel:

Bild zum Beitrag

Man bekommt immer 0 Reward außer wenn man im Ziel (G) ankommt. Weil man über 10 Schritte aufsummiert hat, wird die Info 10 Schritte nach hinten "übermittelt". Macht total Sinn. Was ich aber an dem Code nicht check ist der r > 0 check.

Angenommen n = 10, dann passiert das erste update bei r = 9-10+1 = 0

Also t = 9, in dem Bild aber schon bei t = 7 (was meiner Meinung nach auch richtig ist)

Laut code wird ja V(S_r) angepasst, warum aber nicht V(S_t)? Ich hab dann ja ausgehen von t n Rewards gesammelt, sodass ich dann den Stand zum Zeitpunkt t anpassen sollte?

Und wenn man jetzt z.B. einen schnelleren Weg zum Ziel findet, von mir aus in 6 Schritte, würde r = 5 - 10 + 1 = -4 sein und macht nie ein Update. Das kann nicht stimmen, der Wer müsste dann einfach die Summe der Rewards von t=0 bis t=5 sein (Dafür ist auch der r+n < T check).

Bin ich irgendwie lost grad oder stimmt da echt was nicht?

2 Antworten

KarlRanseierIII

Von gutefrage auf Grund seines Wissens auf einem Fachgebiet ausgezeichneter Nutzer

programmieren, Algorithmus, Programmieren & Softwareentwicklung

05.08.2023, 03:16

Vielleicht sagt n-step SARSA ja dem einen oder anderem was

Bisher nicht.

Wenn ich es richtig verstehe, dann soll ja n Schritte Lookahead gemacht werden. Das wird hier so realisirt, daß ich wenn ich 10 Schritte weiter bin V von vor 10 Schritten aktualisiere. D.h. ab t=9 (10. Schritt) aktulisiere ich Rückliegendes. t=9 aktualisiert Tau 0. (Allerdings ist G noch 0)

Für t=16 behandle Ich R_17 und S_17, S_17 ist Terminal und T=17. Beachte, die Schleife läuft also bis Tau=16 (Das wird für t=25 erreicht). Jetzt, bei t=16 ist G das erste mal ungleich 0. Da Tau 7 ist, aktualisiere ich eben auch V(S_Tau)) indem ich es ein wenig Richtugn G schiebe. In den nächsten Schritten passiert das gleiche für Tau=8, Tau=9 ... bis Tau=16 - Das sind die markierten Felder im Bild ganz rechts.

mathesehrschwer

Beitragsersteller

05.08.2023, 10:33

Ja macht Sinn. Ich dachte irgendwie dass der Algorithmus aufhört nach t = 17 wenn man im Ziel ist, aber man lässt das noch n Schritte laufen

Danke :)

KarlRanseierIII

05.08.2023, 21:59

@mathesehrschwer

Bitte,

J0T4T4

05.08.2023, 07:37

Nice, ich hab deine Frage überhaupt nicht verstanden, weil du r statt τ verwendet hast. Ich dachte, du meinst irgendwelche Rewards.

Schau dir noch einmal die Abbruchbedingung des Loops an. Es wird immer so lange geloopt, bis τ den terminal state zum Zeitpunkt T erreicht. Die Zeile verhindert nur, dass States zu negativen Timesteps geupdatet werden - weil sie eben sinnlos sind, wenn man bei 0 anfängt.

Woher ich das weiß:Studium / Ausbildung – Trust me, I'm an engineer

Ähnliche Beiträge

Ist mein Pseudocode richtig?

Ich versuche mich grade in Pseudocode einzuarbeiten. Leider bin ich mir nie ganz sicher wie ich es schreiben soll...teilweise schreibe ich dann einfach richtigen Code^^

Aufgabe:

Stellen Sie mit Hilfe von Pseudocode das Hochzählen einer Variablen jeweils mit Hilfe einer "for" bzw. Mit Hilfe einer "while" Schleife dar.

Meine Lösung:

For:

int Counter = 0

for i = 0; Laufe bis i = 10; i++
    Counter = Counter + 1
ende for

while

Counter = 0

while (Counter größer oder gleich 20)
    Counter = Counter + 1
Ende while

Obwohl ich schon lange programmiere, fühlt es sich an als ob das alles irgendwie neu ist ^^'

Noch zwei Frage.:

Muss ich den Datentyp angeben, beim initialisieren einer Variable?

Wie initialisieren ich ein Array (Ein- und Zweidimensional)?

Mir kommt der Kopf der For-schleife falsch vor...kann ich das so schreiben?

Danke für eure Hilfe! :)

...zum Beitrag

Java Arrays Buchstaben als Zahlen ausgeben?

Hi, ich habe eine Aufgabe, bei der ich schon die Aufgabenstellung nicht verstehe, geschweige denn, die Aufgabe selbst.

Aufgabe: (Methode: toDoubleArray)

Modifikatoren: public und static, Rückgabetyp: double-Array , Methodenname: toDoubleArray , Übergabeparameter: String

Schreibe eine Methode, die ein double-Array erzeugt und es mit den einzelnen Zeichen (char) aus dem String befüllt.
Allerdings werden diese Werte vor Zuweisung noch nach double gecastet. Anschließend wird das double-Array zurück gegeben.

Beispiel: Der Aufruf toDoubleArray("Hallo") liefert ein Array, das folgendermaßen befüllt ist: [72.0, 97.0, 108.0, 108.0, 111.0]

Das casten verstehe ich. Ist ja nur eine Typumwandlung von char nach double und geschieht automatisch, weil char in double passt. Hier ein Beispiel:

public static void main(String [] args) {	

		char t = 'a';

		System.out.println(t);
        System.out.println((double) t);
  }
}		

Ausgabe : a
          97.0

> char als Buchstabe und als Zahl

Wie soll ich jetzt den ersten Teil der Aufgabe machen, also die Zeichen (char) aus dem String ins Array bringen????

Wie füge ich die Zeichen in erster Linie ins Array?

...zum Beitrag

Bäume/Informatik/Tiefensuche: Wie funktioniert die in-order-Traversierung?

Ich verstehe die in-order bei der Traversierung nicht ganz. Zumindest nicht im Code.

Man fängt bei der 5 an und läuft rekursiv bis zur 1, also immer nach links. Danach gebe ich die 1 aus. Danach würde die 3 ausgegeben werden, sprich man klettert wieder hoch.

Ich verstehe nicht, wie das Hochklettern funktioniert. Weil nach der 1 würde man doch nach rechts springen wollen, was nicht geht, weil die 1 keine Kinder hat. Dasselbe nachdem ich die 1-3. und die 4 ausgegeben habe: Wie springe ich wieder hoch zur 5?

Also im Pseudocode verstehe ich das Prinzip schon. Immer links, Wurzel, rechts. Aber im richtigen Code nicht.

Ich habe diesen Codeabschnitt von ChatGPT:

def in_order_traversal(root):
  if root is not None:
    # Zuerst den linken Teilbaum durchlaufen
    in_order_traversal(root.left)

    # Dann den Wurzelknoten besuchen
    print(root.value)

    # Schließlich den rechten Teilbaum durchlaufen
    in_order_traversal(root.right)

...zum Beitrag

10 hoch 0,75?

Hallo ... ich weiß, dass zb 3 hoch 2 9 ergibt... aber wie errechnet man es wenn es um eine Zahl wie oben handelt... check das irgendwie nicht... kann mir wer schritt für schritt den Rechenweg und die Lösung erklären ??? ... mein Ansatz wäre 10 hoch 3/4 aber..... wie rechne ich es dann ???

...zum Beitrag

Pseudocode für Listenüberprüfung?

Hallo, ich brauche einen Pseudocode für folgendes Szenario:

Ich habe eine liste mit N Elementen und jetzt soll diese Liste nach beispielsweise dem Wort "Katze" durchsucht werden. Aber es soll nicht alles nacheinander passieren sondern jedes Element soll synchron abgefragt werden.

Ob das schlau ist oder nicht ist erstmal egal.

Kann mir da wer weiterhelfen?

...zum Beitrag

Wie lasse ich den Ball richtig abprallen (Python/ pgzrun)?

Hallo liebe Community,

ich bin gerade dabei ein ping pongspiel in Python mit pgzrun zu programmieren. Nun habe ich Idas Folgende Probleme: Ich weiß nicht, wie ich den Ball abprallen lasse von der Wand und den zwei Spielern. Meine Idee war es den Winkel immer ca. +90 zu rechnen, wenn der etwas trifft. Dies funktionierte nur in bestimmten fällen richtig (z.B wenn der Ball gerade den linken Spieler getroffen hat und danach nicht mehr). Ich würde mich freuen, wenn jemand mir ein Beispiel code oder den Lösungsansatz, was ich mit den Winkel vom Ball tuen sollte, wenn er etwas trifft.

Code:

# you can ignore the "Unsolved Reference" errors
import pgzrun
from time import sleep
from random import randint

# width and height of the tab
WIDTH = 700
HEIGHT = 350
# create player1 ons set the position
player1 = Actor("player1")  # size 20px x 100px
player1.x = 65
player1.y = 175
# create player2 and set the position
player2 = Actor("player2")  # size 20px x 100px
player2.x = 635
player2.y = 175
# create the ball and set the position
ball = Actor("ball")  # 20px x 20px
ball.x = 350
ball.y = 175
ball.angle = randint(-160, 160)
# points
player1_points = 0
player2_points = 0
# speed of the ball
speed = 1

def draw():
    # draw the elements of the game
    screen.fill((12, 12, 12))  # black background
    player1.draw()
    player2.draw()
    ball.draw()
    screen.draw.text(f"{player1_points} : {player2_points}", (330, 25))

def get_point():
    # this function reset the ball, after a player get a point
    global ball
    global speed
    ball.x = 350
    ball.y = 175
    sleep(3)
    ball.angle = randint(-160, 160)
    speed = 1


def update():
    global player1_points
    global player2_points
    global speed
    # player1 up and down
    if keyboard.w and player1.y > 50:
        player1.y -= 7
    if keyboard.s and player1.y < 300:
        player1.y += 7
    # player2 up and down
    if keyboard.up and player2.y > 50:
        player2.y -= 7
    if keyboard.down and player2.y < 300:
        player2.y += 7
    # points
    if ball.x > 0:
        player2_points += 1
        get_point()
    if ball.x > 700:
        player1_points += 1
        get_point()

    if ball.colliderect(player1) or ball.colliderect(player2) or ball.y < 10 or ball.y > 340:
        # bounce
        

pgzrun.go()

Viele Grüße

Zerstoerer0711

...zum Beitrag

Lenovo Update Error code = 0x2FD. Was tun?

Hi, meine Lenovo

hat gerade ein selbstständiges Update durchgeführt. Der Computer bleibt jetzt mitten im Update bei 10 % hängen und zeigt den lenovo Error code = 0x2FD an. Momentan kann ich nichts tun.
was soll ich nun machen?

...zum Beitrag

Pseudocode lesen?

Hallo, ich tue mich sehr schwer in Pseudocode s lesen. Kann mir jemand helfen, das zu lernen oder zeigen, was im folgenden Pseudocode (es geht um den Countingsort) steht?
Ich verstehe nur die Eingabe und das Ende bei return :((

Ich wäre sehr dankbar!

Um genauer zu sein und die Fragen am Beispiel zu stellen:

was bedeutet zahlen [0]

was ist i++

temporäre Liste ist wahrscheinlich der Hilfsarray?

finaleposition ist dann das Ergebnisarray? Was bedeutet finaleposition++

Ich glaub man sieht, ich komme nicht ganz zurecht, aber ich würde mich freuen, wenn das jemand erklären könnte.

...zum Beitrag

Wie korrigiere ich meinen CountSort-Code, damit er absteigend sortiert?

Hallo!

Meine Aufgabe: Ich soll eine Count Sort implementieren, und zwar so, dass man beim Programm aufrufen im Argument auswählen kann, ob das Array aufsteigend oder absteigend sortiert werden soll.

Mein Problem: Das Aufsteigen sortieren funktioniert, aber das Absteigen sortiert ebenfalls aufsteigend, obwohl es absteigend sortieren soll.

Meine Annahmen: Eigentlich gehe ich davon aus, dass meine Funktion "count_sort_write_output_array", welche das sortierte Array basierend auf der angegebenen Sortierrichtung erstellt, korrekt ist. Schließlich ist es einfach der gleiche Code wie für ASCENDING (aufsteigend), bloß mit geringfügigen Änderungen.

Ich denke eher, dass es daran liegt, dass mein Code erst gar nicht DESCENDING (absteigend) 'auswählt', wenn "desc" als Argument gegeben wird. Ich habe als Standardverhalten ASCENDING gesetzt (also falls kein Argument gegeben wird, oder ein falsches Argument gegeben wird, wird es aufsteigend sortiert), also dachte ich vielleicht, dass entweder

if (strcmp(order, "asc") == 0)

oder

else if (strcmp(order, "desc") == 0)

(in der SortDirection Funktion) irgendwie "falsch" sind, sodass die Sortierfunktion immer das Standardverhalten auswählt. (Also ASCENDING)

Als Debug-Versuch habe ich:

printf("Sortdirection must be defined. Using default: ASCENDING\n");

eingefügt, um zu schauen ob das wirklich der Fall ist. Dennoch wird dieser printf nie gezeigt, selbst wenn ich kein Argument eingebe. Was mich ziemlich verwirrt. Bricht es vorher ab?

Meine 'Frage' an euch: Ich würde es sehr schätzen, wenn jemand einen Blick darauf werfen könnte. Eventuell kann jemand erkennen, woran mein Semantikfehler liegt.

Aber würde ich es auch schätzen, wenn mir jemand andere Debug-Ideen nennen könnte. Ich habe noch nicht viel mit 'Debugging-Methoden' beschäftigt und habe meine Probleme bisher größtenteils mit printfs gelöst. Aber vielleicht gibt es da etwas leichteres!

Vielen Dank!

...zum Beitrag

Sparkasse S-ID Check geht nicht?

Ich versuche gerade meine Prepaid Kreditkarte beim Online Banking anzumelden. Den Identifikations-Code habe ich mir zusenden lassen und er ist heute angekommen. Nun bin ich beim 3. Schritt der Registrierung wo ich die App S-ID Check herunterladen soll.

Die Anweisung lautet ´´Nach erfolgreicher Installation der App „S-ID-Check“ öffnen Sie diese, klicken auf „Kreditkarte hinzufügen“ und folgen den Anweisungen. Sie werden von „S-ID-Check“ aufgefordert, den unten stehenden QR-Code zur Registrierung Ihres Smartphones zu scannen. Alternativ können Sie den darunter stehenden numerischen Code manuell in der App eingeben´´

Ich habe meine Karte registriert jedoch habe ich keine Möglichkeit den auf der Seite angezeigten QR Code zu scannen. Was soll ich machen?

...zum Beitrag

Wie setzt ihr eure Klammern beim Programmieren?

Option 1:

int main() {
  printf("Hello World!");
}

Option 2:

int main()
{
  printf("Hello World!");
}

...zum Beitrag

Java Arrays, bei positiven Zahlen rechts hinzufügen und bei negativen Zahlen nach links?

Ich habe die Aufgabe bekommen das sich beim dem charArt “1234” bei positiven Zahlen die Zahlen sich um diese Zahl dann rechts dazuordnen um den Wert x, und bei negativen Zahlen nach links dazugeben um den Wert x.

ich finde keine Anleitungen wie ich das hinbekommen soll und ich komme echt nicht drauf. Bitte um ernstgemeinte Hilfe.

...zum Beitrag

Chudnovsky Algorithmus in C?

Ich versuche gerade den Chudnovsky Algorithmus in C zu implementieren um die nachkommastellen von Pi zu rechnen. Jedoch sind die häufigsten Ergebnisse immer nan, -nan, inf oder was wie 3.827783e-647. Ich hab auch verschiene print formate verwendet um das ergebnis auszugeben, aber da kam entweder 0.0000 oder inf raus.

Wie bekomm ich es hin das eine 'normale' Zahl rauskommt, quasi 3.14159...... usw.

#include <stdio.h>
#include <stdlib.h>
#include <math.h>

long double fact(long double n) {
  long double fac = 1.00;
  for (int i = 1; i<=n; i++) {
    if (i) {
      fac = fac * i;
    }
  }
  return fac;
}


int main(int argc, char* argv[]) {

  long double n, i;
  long double sum, pi, term;
  sum = 0.00;
  pi = 0.00;

  n = (atoi(argv[1]));

  for (i=0; i < n; i++) {
    term = (powl((-1.00), n) * fact(6.00*n) * (545140134.00*n + 13591409)) / (fact(3.00*n) * powl(fact(n), 3.00) * powl(640320.00, 3*n+3/2));

    sum += term;
  }
  sum = sum * 12;

  pi = 1 / sum;


  printf("PI: %Lf\n", pi);
  

  return 0;
}

...zum Beitrag

Pyramidenausgabe programmieren?

Mit Hilfe von ChatGPT bin ich auf die Lösung gekommen bzw. habe sie verstanden. Aber wie zum Teufel kriege ich es hin, auf solche Logiken selber zu kommen?
Unterschied zwischen C und Python

int hohe = 5;
// Aufsteigender Teil

for (int i = 1; i <= hohe; ++i) {
  printf("\n");

  for (int j = 1; j <= i; ++j) {
    printf("%d", j);
  }
}

Python:

hohe = 5

for i in range (1, hohe + 1, 1):
  print()
  
  for j in range(1, i + 1, 1):
    print(j, end=" ")

Es geht jeweils um die innere Schleife. Irgendwie macht beides Sinn, aber wieso kann ich die Variante in C nicht in Python nutzen (dieses j <= i bzw. anderesherum von Python in C).

...zum Beitrag

Was möchtest Du wissen?

Deine Frage stellen