Eigene AI resourcen?
Wieviele und welche Ressourcen muss ein Server auf dem eine AI läuft mitbringen?
Und ist es möglich für jemanden, der sich mit AI nur am Rande beschäftigt hat eine eigene AI zum laufen zu bekommen? Ich würde gerne AI in meinem in JS geschriebenen Code einbauen :)
1 Antwort
Kommt natürlich darauf an, was du genau machen willst und welche KI (ich nehme an, wir reden hier von einem LLM) du dir dafür vorstellst.
Kleine LLMs laufen sogar schon auf dem Raspberry Pi 4, nicht schnell, aber immerhin: https://itsfoss.com/raspberry-pi-ollama-ai-setup/
Und „mittlere“ Modelle wie Llama 8b laufen sogar auf einem kleinen Gaming-Rechner mit einer nicht ganz aktuellen Nvidia-Karte.
Will man aber ein größeres oder großes Modell gut und schnell laufen lassen, braucht man schon einen Rechner mit viel SSD-Speicher und einer oder sogar mehreren schnellen Grafikkarten mit viel GPU-RAM. Die CPU ist für so einen LLM-Server gar nicht so wichtig. Ein richtig guter LLM-Server für den Heimgebrauch kann ins Geld gehen und ist wahrscheinlich etwas übertrieben.
Ich persönlich finde diese Anleitung und Konfiguration von Berk ganz gut. Die ist bodenständig und für deine Ansprüche wohl geeignet. Darauf laufen mittlere Modelle ziemlich flott, und der Rechner ist gut erweiterbar: https://dev.to/berk/running-ollama-and-open-webui-self-hosted-4ih5
Wobei ich die Radeon 6700 XT gegen eine Zotac Gaming GEFORCE RTX 4060 Ti 16GB tauschen würde und glaube, statt eines Ryzen 5 7600X würde es wohl auch ein AMD Ryzen 5 5600X tun.
Und auch dieser Redditpost hilft wohl weiter: https://www.reddit.com/r/LocalLLaMA/comments/12kclx2/what_are_the_most_important_factors_in_building_a/
Ansonsten ... ja, auch wenn man sich nur am Rande mit KI beschäftigt, sollte das kein großes Problem sein. Mit Ollama und Co. gibt es mittlerweile gute Frameworks, die relativ benutzerfreundlich aufzusetzen sind. Einige Linux-Kenntnisse helfen, ansonsten ist alles als Schritt-für-Schritt-Anleitung im Netz verfügbar.