Stable Beluga hängt sich nach zu vielen Eingaben auf. Was kann ich tun?

Guten Tag meine Damen und Herren.

Ich habe schon seit fast einem halben Jahr, mit selbst gehosteten LLMs zu tun und wollte gestern map etwas neues ausprobieren. Und zwar habe ich mir StableBeluga-7B geholt, da es kleiner ist und deshalb schnell Antworten generiert. Diese Antworten sind dann zwar nicht so präzise wie bei StableBeluga-13B oder StableBeluga2, aber in meinem Versuch geht es in erster Linie um Geschwindigkeit und der Unterschied in den Antworten ist auch nicht so groß.

Also kommen wir zur Frage. Stable Beluga 7B läuft eigentlich ganz gut, aber wenn ich zu lange mit dem LLM schreibe, oder zu viele Fragen gestellt habe, ich weiß nicht genau woran es liegt, gibt mir die KI nur noch den ersten Buchstaben der Antwort aus, beendet den Antwortprozess und wartet auf die nächste Eingabe des Benutzers(also ich). Sobald ich den Chat löschen, und eine neue Unterhaltung starte, ist das Problem sofort wieder weg, kommt allerdings unter den bereits beschriebenen Umständen wieder. Es kommt KEINE Fehlermeldung.

Das wäre ja auch eigentlich nicht so schlimm. Aber das Problem an der Sache ist, das das LLM sich im neuen Chat logischerweise nicht mehr auf die vorherige unterhaltung beziehen kann, was besonders bei Problem Lösungs Diskussionen Z.B. "wie kann ich das Problem --- an meinem Computer lösen" wichtig ist, denn StableBeluga läuft Offline und weiß nur dass, was man ihm mal erzählt hat. Wenn ich jetzt also den Chat Verlauf, in dem ich bereits viel über Z.B. Computer geredet habe, lösche, weiß StableBeluga nahezu nichts mehr über in diesem Beispiel Computer.

Ich benutze LLMs also nicht, um mir Arbeit beim denken abzunehmen, sondern um das, was ich schon weiß oder neu lernen, zu sortieren und wenn ich es brauche ohne aufwand geordnet abzurufen und mich genau an das Wissen zu erinnern, das ich zum Beispiel mal wusste, aber wieder vergessen habe.

Mein System:

Intel Core i7-13700K (war ein Upgrade, falls jemand auf den bottleneck zur 3050 aufmerksam machen will)

GeForce RTX 3050 (8GB VRAM)

16GB DDR4 3200MHz RAM

Debian Linux

Weiß jemand eine Lösung.

Ich weiß eine Lösung und zwar... 0%
Ich habe das gleiche Problem. 0%
Mir fehlen noch Informationen und zwar... 0%
Software, Linux, künstliche Intelligenz
Meine (neue) Tastatur spinnt total?

Moin Leute, ich bin am verzweifeln...

Ich habe vor einer Woche Probleme mit meiner Tastatur bekommen: Plötzlich reagierte sie nicht mehr und wenn doch, dann eher so: "P...PPPPPPPPP" und stoppte nicht mehr. Ebenfalls ertönte ständig der Ton wenn man die Tastatur entfernt und/oder wieder einsteckt in den PC. Ich benutze Win10 und meine Komponenten stehen unten. Diese Störungen treten unregelmäßig auf, manchmal kann ich (so wie jetzt) problemlos schreiben, auch das Kabel kann ich berühren, es passiert nichts. Aufjedenfall habe ich die Steckerplätze noch gewechselt und mir eine nagel neue Tastatur besorgt. Auch bei der neuen jetzt tritt die Störung auf.

Das komische ist: Meine Maus funktioniert einwandfrei und obwohl meine Tastatur manchmal nicht reagiert, bleibt die Stromzufuhr anhand der Beleuchtung an. Sobald ich den Stecker neu rein stecke funktioniert sie erstmal normal. Es liegt also NUR an der Tastatur und an der Tastatur selbst kann es nicht liegen. Dieses Problem habe ich seit wenigen Wochen bekommen, vorher lief alles.

Ich habe auch schon die Treiber reinstalliert, aber es passiert trotzdem wieder. Fallen euch noch Optionen ein außer Windows 10 Neuinstallieren? Kann ich einen Protokoll irgendwo sehen, welche Meldungen über die Tastatur gezeigt werden?

Meine Komponenten: AMD Ryzen 7 3800x, ASRock X570 Pro4 Mainboard, 16GB DDR4, RTX 2070 Super.

Computer, Software, Tastatur, PC-Problem, Gaming Tastatur, Hardware-PC
"Issue Board" für Windows?

GitLab gefällt mir inzwischen sehr gut und ich möchte nun Teile daraus nicht nur in der Arbeit, sondern auch für meine eigenen Hobby-Projekte verwenden. Konkret geht es mir dabei um folgende Features:

  • Anlegen von Projekten und Gruppen
  • Issue Bords mit der Möglichkeit Issues Label-basiert in Spalten zu gruppieren und mit Label-Updates von einer zur nächsten zu verschieben ( z.B. https://gitlab.com/gitlab-org/gitlab/-/boards )
  • Markdown basierte Issues mit Unterstützung für Checkboxen, welche anschließend abgehakt werden können, ausklappbaren Sektionen, um platzraubende Bilder zu verstecken, dem einfachem Einbetten von Bildern, anklickbaren Links und Referenzen zu anderen Issues ( z.B. https://gitlab.com/gitlab-org/gitlab/-/issues/22337 )

Die naheliegenden Antworten wären natürlich entweder einen vollen GitLab-Server auf einer Linux-Maschine selbst aufzusetzen oder einen Account bei GitLab zu erstellen. Jetzt will ich aber weder einen eigenen, mit SSL abgesicherten, im Internet erreichbaren Linux-Server für eine etwas bessere To-do-Liste aufsetzen, noch meine Daten auf irgendeine fremde Cloud hochladen. Die Kapazitäten meines "Stand-alone" / offline PC sollten für eine kleine To-do-Liste ja wohl ausreichen.

Gibt es hier eine Lösung, welche als Service mit Windows gestartet wird und etwas mit den beschriebenen Features im Firefox Browser zur Verfügung stellt?

Computer, Software, Projektplanung, Standalone, todo-liste, gitlab

Meistgelesene Beiträge zum Thema Software