Passt der Pseudocode zu dem Algorithmus (n-step SARSA)?

Vielleicht sagt n-step SARSA ja dem einen oder anderem was, falls nicht, hier die Kurzfassung: Es geht um Reinforcement Learning. Pro Zeitschritt kann man eine Action nehmen und bekommt dafür einen Reward. Bei n-step SARSA summiert die Rewards für n Schritte auf und berechnet dann "wie gut" der aktuelle Stand so ist indem man den aufsummierten Reward mit dem zu noch zu erwartenden Reward (bis man am Ziel ist) addiert.

So sieht anscheinend der Code dazu aus:

Hier mal ein Beispiel:

Man bekommt immer 0 Reward außer wenn man im Ziel (G) ankommt. Weil man über 10 Schritte aufsummiert hat, wird die Info 10 Schritte nach hinten "übermittelt". Macht total Sinn. Was ich aber an dem Code nicht check ist der r > 0 check.

Angenommen n = 10, dann passiert das erste update bei r = 9-10+1 = 0

Also t = 9, in dem Bild aber schon bei t = 7 (was meiner Meinung nach auch richtig ist)

Laut code wird ja V(S_r) angepasst, warum aber nicht V(S_t)? Ich hab dann ja ausgehen von t n Rewards gesammelt, sodass ich dann den Stand zum Zeitpunkt t anpassen sollte?

Und wenn man jetzt z.B. einen schnelleren Weg zum Ziel findet, von mir aus in 6 Schritte, würde r = 5 - 10 + 1 = -4 sein und macht nie ein Update. Das kann nicht stimmen, der Wer müsste dann einfach die Summe der Rewards von t=0 bis t=5 sein (Dafür ist auch der r+n < T check).

Bin ich irgendwie lost grad oder stimmt da echt was nicht?

Bild zum Beitrag
Mathematik, programmieren, Code, Algorithmus, Pseudocode
Unendlicher Erwartungswert bei unendlich hohem Gewinn (Pascalsche Wette)?

Mich interessiert, ob der Erwartungswert bei einem versprochenen unendlichen Gewinn unendlich hoch wird, so dass jeder Wetteinsatz gerechtfertigt wäre. Selbst wenn der Einsatz gigantisch wäre und die Gewinnchance astronomisch klein.

Hintergrund der Frage ist die sogenannte Pascalsche Wette. Die nach dem Mathematiker und Philosophen Blaise Pascal (1623-1662) benannte Wette ist eine Wette auf die Existenz Gottes. Ziel der Überlegung war es nicht die Existenz eines Gottes zu beweisen, sondern zu zeigen, dass es vorteilhaft ist selbst ohne Beweise an Gott zu glauben.

Wikipedia gibt eine gute Übersicht über die Idee

Ganz platt zusammengefasst: wenn ein Gläubiger sich irrt verliert er nichts, aber wenn ein Atheist sich irrt kommt er in die Hölle. Also ist es schlauer an Gott zu glauben, einfach nur um auf Nummer sicher zu gehen.

Eines von mehreren Gegenargument ist, dass der Glaube sehr wohl "Kosten" mit sich bringen kann (nämlich Lebenszeit, Lebensqualität, das Risiko Schaden zu nehmen wenn man Dinge glaubt die nicht zutreffen usw.) Dazu sagt Pascal, dass der Erwartungswert beim Glauben an Gott unendlich hoch ist (weil man ja ewig, also unendlich lange, in den Himmel bzw. in die Hölle kommen kann, wobei der Himmel unendliche Glückseligkeit verspricht und die Hölle unendliches Leid). Die Kosten sind aber endlich (weil das Leben selbst endlich ist).

Deshalb ist der Erwartungswert beim Glauben immer höher - ganz egal wie hoch meine empfundenen "Kosten" sind und wie niedrig ich die Wahrscheinlichkeit für einen Gott einschätze. Solange man nicht widerlegen kann, dass es einen Gott sowie ein unendlich glücklich machendes Jenseits gibt (also p=0) ist es also schlauer, auf Gott zu wetten.

Aber kann man den Erwartungswert tatsächlich so berechnen, also unendlicher Gewinn=unendlich hoher Erwartungswert? Da kann ja jeder kommen und einen unendlichen Gewinn versprechen, dessen Existenz man nicht überprüfen kann.

Religion, Mathematik, Atheismus, Glaube, Erwartungswert
Ghostwritering, auch für das Abitur oder Studium-Prüfungen/Exam/Approbation/Refendariat?

Angenommen, Du bekommst ein Auftrag eine Assistenz oder Bachelor oder Master oder Facharbeit zu schreiben, was kostet es den dann, an zeitlichen Auf entwand und bis die Arbeiten bei dem Auftraggeber angekommen sind ?

Ich meine Ich habe es zwar auch schon mal gemacht, jemanden geholfen bei einer Assistenz und Facharbeit zu schreiben, doch auch nur, weil mich es sehr Interessiert hat und Wir Uns halt sehr gut kannten. Da Sie mir einige Jahre vorher half aus einer sehr schweren Erkrankung weg zu bekommen und mich viel motivierte und immer für mich da war, wenn Wir Uns wieder sehen, Grüßen Wir Uns auch.

Was machst Du den, wenn Du Dich in den Fachgebiet nicht auskennst ? und eine Facharbeit dann schreiben sollst, für Jemanden ?

Fällt es schnell auf, wenn Du für Jemanden sowas schreiben musst ? Er dies dann als Abgelegte Prüfung vorgelegt hat ?

Was sagen deine Kunden dazu ? Bekommst Du auch danach ein Feedbeck, ob es gut oder Schlecht gelaufen war ? Das Er, auch weiter versetzt wurde ? Durch deine gute Arbeit ? Wo bekommst Du die Vorlagen her ? Internet ?

Klausuren und Punkte erlangen ? 100%
Prüfungen und Seitenzahlen der Aufträge ? 0%
Exam 0%
Abschauen und Mogeln und abschreiben ? 0%
Anforderungen entsprechen ? 0%
Vorlagen 0%
Preisgeld und Verdienst ? 0%
Englisch, Deutsch, Studium, Mathematik, Prüfung, Geschichte, Chemie, Referat, Biologie, Abitur, Bachelorarbeit, Facharbeit, Gymnasium, Ideen, Informatik, nachprüfungen, Physik, gesellenbrief, physikum, Zulassungsbescheid, Schule und Ausbildung, Projektarbeit Thema

Meistgelesene Beiträge zum Thema Mathematik