Gibt es eine kostenlose Lösung ChatGPT (oder eine ähnliche KI) unter Linux ohne Internetbrowser zu benutzen?
Hallo,
Ich installierte "api.openai.com" oder etwas Derartiges. Damit ich ChatGPT über das Terminal nutzen kann. Doch benötige ich dazu einen API Key, welcher nicht kostenlos verfügbar scheint. Was mir zuvor nicht klar gewesen ist.
Wer kennt Alternativen?
Vielen Dank.
4 Antworten
Neben den Sachen, die schon erwähnt wurden: https://github.com/ggerganov/llama.cpp
Die Qualität der Ergebnisse hängt natürlich davon ab, was für ein Modell du laufen lässt. Und wie schnell (oder ob es überhaupt geht) hängt von deiner Hardware ab.
Für 32GB RAM eignen sich beispielsweise:
- https://huggingface.co/bartowski/Qwen2.5-32B-Instruct-GGUF
- https://huggingface.co/bartowski/gemma-2-27b-it-GGUF
Die Qualität davon ist vergleichbar mit GPT4.
Wenn du nur 16GB hast (oder du was schnelleres brauchst), währen diese Modelle eine bessere Option:
- https://huggingface.co/bartowski/Qwen2.5-14B-Instruct-GGUF
- https://huggingface.co/bartowski/gemma-2-9b-it-GGUF
Die Qualität davon ist eher vergleichbar mit GPT3.
Mit GPU-Beschleunigung (da ist dann VRAM wichtig), werden die alle nochmal deutlich schneller (so gefühlt 100x).
Siehe bspw.
- https://flathub.org/apps/io.gpt4all.gpt4all
- https://ollama.com/
- https://flathub.org/apps/io.github.pejuko.follamac
und viele andere mehr. Das ist halt extrem langsam, wenn du keine richtig starke GPU hast.
Wenn du Alternativen nutzen möchtest, kannst du dir mal HuggingFace und dessen HuggingChat ansehen. Wenn du dir dort einen kostenlosen Account erstellst, auch über einen kostenlosen API-Key darauf zugreifen kannst.
Ansonsten Ollama samt LLMs installierst oder dir stattdessen mal Anwedungen wie LM Studio anschauen kannst. Dein Computer sollte allerdings genügend Leistung mitbringen, um überhaupt mit etwas größeren LLM klar zu kommen.
eigene hardware. GPT ist abert extrem günstig und liegt eh im centbereich wenn man nicht gerade romane generiert.