Passt der Pseudocode zu dem Algorithmus (n-step SARSA)?

Vielleicht sagt n-step SARSA ja dem einen oder anderem was, falls nicht, hier die Kurzfassung: Es geht um Reinforcement Learning. Pro Zeitschritt kann man eine Action nehmen und bekommt dafür einen Reward. Bei n-step SARSA summiert die Rewards für n Schritte auf und berechnet dann "wie gut" der aktuelle Stand so ist indem man den aufsummierten Reward mit dem zu noch zu erwartenden Reward (bis man am Ziel ist) addiert.

So sieht anscheinend der Code dazu aus:

Hier mal ein Beispiel:

Man bekommt immer 0 Reward außer wenn man im Ziel (G) ankommt. Weil man über 10 Schritte aufsummiert hat, wird die Info 10 Schritte nach hinten "übermittelt". Macht total Sinn. Was ich aber an dem Code nicht check ist der r > 0 check.

Angenommen n = 10, dann passiert das erste update bei r = 9-10+1 = 0

Also t = 9, in dem Bild aber schon bei t = 7 (was meiner Meinung nach auch richtig ist)

Laut code wird ja V(S_r) angepasst, warum aber nicht V(S_t)? Ich hab dann ja ausgehen von t n Rewards gesammelt, sodass ich dann den Stand zum Zeitpunkt t anpassen sollte?

Und wenn man jetzt z.B. einen schnelleren Weg zum Ziel findet, von mir aus in 6 Schritte, würde r = 5 - 10 + 1 = -4 sein und macht nie ein Update. Das kann nicht stimmen, der Wer müsste dann einfach die Summe der Rewards von t=0 bis t=5 sein (Dafür ist auch der r+n < T check).

Bin ich irgendwie lost grad oder stimmt da echt was nicht?

Bild zum Beitrag
Mathematik, programmieren, Code, Algorithmus, Pseudocode
Wie lege ich einen lokalen Benuterz mithilfe eines Powersehll Skript an?

Hierzu möchte ich ein Formular vwerdenden.

Folgendes habe ich erstellt:

Add-Type -AssemblyName System.Windows.Forms
Add-Type -AssemblyName System.Drawing
$form = New-Object System.Windows.Forms.Form
$form.Text = 'lokaler Benutzer'
$form.Size = New-Object System.Drawing.Size(300,200)
$form.StartPosition = 'CenterScreen'
$okButton = New-Object System.Windows.Forms.Button
$okButton.Location = New-Object System.Drawing.Point(75,120)
$okButton.Size = New-Object System.Drawing.Size(75,23)
$okButton.Text = 'OK'
$okButton.DialogResult = [System.Windows.Forms.DialogResult]::OK
$form.AcceptButton = $okButton
$form.Controls.Add($okButton)
$cancelButton = New-Object System.Windows.Forms.Button
$cancelButton.Location = New-Object System.Drawing.Point(150,120)
$cancelButton.Size = New-Object System.Drawing.Size(75,23)
$cancelButton.Text = 'Cancel'
$cancelButton.DialogResult = [System.Windows.Forms.DialogResult]::Cancel
$form.CancelButton = $cancelButton
$form.Controls.Add($cancelButton)
$label = New-Object System.Windows.Forms.Label
$label.Location = New-Object System.Drawing.Point(10,20)
$label.Size = New-Object System.Drawing.Size(280,20)
$label.Text = 'Benutzername:'
$form.Controls.Add($label)
$label = New-Object System.Windows.Forms.Label
$label.Location = New-Object System.Drawing.Point(10,70)
$label.Size = New-Object System.Drawing.Size(280,20)
$label.Text = 'vollständiger Name:'
$form.Controls.Add($label)
$Benutzername = New-Object System.Windows.Forms.TextBox
$Benutzername.Location = New-Object System.Drawing.Point(10,40)
$Benutzername.Size = New-Object System.Drawing.Size(260,20)
$form.Controls.Add($Benutzername)
$Name = New-Object System.Windows.Forms.TextBox
$Name.Location = New-Object System.Drawing.Point(10,90)
$Name.Size = New-Object System.Drawing.Size(260,20)
$form.Controls.Add($Name)
$form.Topmost = $true
$form.Add_Shown({$textBox.Select()})
$result = $form.ShowDialog()
if ($result -eq [System.Windows.Forms.DialogResult]::OK)
{
   $x = $textBox.Text
   $x
}
New-LocalUser $Benutzername  -FullName $Name
Windows, programmieren, Code, dotNet, PowerShell
Google Search Console einzelne Unterseiten entfernen lassen?
Bild zum Beitrag
PC, Computer, Marketing, Software, Windows, Browser, Google, Hardware, HTML, IT, Webseite, programmieren, CSS, WordPress, JavaScript, Mozilla Firefox, Suchmaschine, Google Chrome, Bing, CMS, Edge, Informatik, PHP, Programmiersprache, SEO, Webdesign, Webentwicklung, Indexierung, Laravel, google search console
Eigene Homepage mit Besonderheiten erstellen?

Hallo,

ich bin Autorin und überlege mir bald eine Homepage anzuschaffen. Leider habe ich davon überhaupt keine Ahnung. Weder bei welchem Anbieter es am besten und trotzdem kostengünstig ist, noch wie man sowas nach meinen Wünschen erstellt.

Wichtig ist mir, dass es nicht zu teuer ist und dass ich eine eigene Domain habe.

Die Bücher sollen dort nur mit einem Link zu meinem Verlag und zu Amazon, Thalia ect. führen, da ich nicht direkt verkaufe. Allerdings finde ich die normalen Baukästen ziemlich langweilig und relativ teuer. Gibt es da andere Möglichkeiten oder kennt ihr gute Anbieter?

Ich würde z.B. gerne eine Startseite erstellen, mit einem Willkommensschriftzug und darunter ein großes Buch. Wenn man mit der Maus darauf geht, öffnet es sich und führt auf die eigentliche Homepage. Da ich viel Fantasy schreibe, fände ich sowas wesentlich passender und schöner, als die Standartbaukästen. Ein wenig interaktiv eben. Ich weiß, dass meine Eltern früher mal sowas gebastelt habe, wo ich selbst vertonen sollte. Z.B. Schreie, Gesang ect. Aber das ist eben schon 10-15 Jahre her.

Homepage, Werbung, Internet, Software, Blog, Webseite, Schreiben, programmieren, Soziale Netzwerke, Autor, Homepage baukasten, homepage erstellen, interaktiv, Kreative Ideen, Medien, Strato, Websitegestaltung, Internetseite erstellen, Website Design, wix.com, webseite erstellung
Warum komme ich nicht weiter?

Irgendwie fühle ich mich so perspektivlos und auch irgendwie komplett demotiviert. Ich komme mir vor, wie als ob ich etwas komplett sinnloses machen.

Ursprünglich habe ich mein Abitur gemacht und habe das dann noch einmal wiederholen müssen.

Danach habe ich begonnen 2 Semester ein Studienfach (Medieninformatik) zu studieren habe aber nach 2 Semstern einfach aufgehört und bin wo anders hingewechselt an einem anderen Studienort. Ich hatte ursprünglich ganz andere Erwartungen als das was ich dann gemacht habe dort.

Zugleich habe ich die Fachrichtung gewechselt und bin jetzt in einer anderen Stadt. Dort habe ich begonnen BWL zu studieren konnte das aber nicht fortsetzen da ich zu wenig ECTS hatte nach 3 Semstern.

Seitdem bin ich gewechselt in einen anderen Studiengang um dort zu bleiben.

Mittlerweile habe ich 12 Semester hinter mir und bekomme einfach nichts fertig.

Was soll ich tun? Ich habe die Befürchtung dass ich irgendwann 30 bin exmatrikuliert bin und dann einfach gar nichts habe.

Auf jeden Fall kann das alles nicht so weiter gehen wie jetzt.

Ich brauche wieder ein Ziel. Ich wollte damals nicht so nur in die Richtung programmieren. Aber an sich hatte ich Interesse an der Informatik. Deshalb bin ich ausgestiegen damals. Ich habe einen komplett falschen pfad eingeschlagen der mich gar nicht interessiert (Wirtschaftswissenschaften)

Soll ich vielleicht eine Ausbildung machen?

Habe das Gefühl mir liegt studieren überhaupt nicht

Studium, programmieren, BWL, Informatik, programmieren c, VWL

Meistgelesene Fragen zum Thema Programmieren