Gemeinsamer GPU speicher?

Moin Moin,

Ich versuche aktuell einen Chatbot auf meinem Rechner aufzusetzen, das Problem dabei, sobald ich ein Sprachmodell laden möchte was rund 80 Gigabyte groß ist kommt der GPU speicher schnell an seine Grenzen und mir ist es nichtmal möglich das Sprachmodell vollständig zu laden. Ich habe 64 Gigabyte RAM und 24 Gigabyte VRAM, also 56 Gigabyte gesamten GPU Speicher der mir zu Verfügung steht. Jetzt ist meine Frage ob ich den Gemeinsamen GPU speicher unter Windows erhöhen kann, so dass die Grafikkarte auf mehr als nur den halben Arbeitsspeicher zugriff hat.

Answer 1

[Destranix]

Das müsste das Programm selbst erledigen, damit das geht.

Managed Memory verwenden und hoffen, dass die GraKa Overallocation unter Windows unterstützt (wobei es sein kann, dass das generell nicht ging unter Windows). Alternativ selbst Speicher swappen.

Comments

[ShadowHunt69]

Wenn ich den RAM erhöhe auf von 64 auf 128 Gigabyte, steht der Grafikkarte dann 64 statt 32 Gigabyte gemeinsamer GPU speicher zu Verfügung?

[Destranix]

@ShadowHunt69

Weiß ich nicht. Internet sagt aber das hängt vom BIOS ab.

[Destranix]

@ShadowHunt69

Detailierter:

https://voltapc.sg/how-to-decrease-shared-gpu-memory-for-your-gaming-pc/

[ShadowHunt69]

@Destranix

Mhmm ich schau mal ob ich diese Einstellung in meinem BIOS finde...
Danke schonmal

[Destranix]

@ShadowHunt69

Wobei die in dem Artikel etwas von VGA schreiben, was was anderes ist.

Davon ab: Beachte, dass dein OS und anderes zeugs auch noch Speicher brauchen.