Was für einen Rechner brauchen die Mitarbeiter, damit eine KI lokal in angemessener Geschwindigkeit darauf läuft?
Gern auch direkt von Leuten, die damit Erfahrung sammeln konnten. Es sollte halt auch schon eine ordentliche KI sein, mit der man Büroaufgaben teilautomatisieren kann, sodass die Mitarbeiter sich lieber mit sinnvollen Dingen wie z.B. mehr Zeit für Kunden zu nehmen beschäftigen können.
Alternativ wäre auch eine API in Ordnung, solange der Lieferant sich an die DSGVO und die ganzen anderen wichtigen Dinge hält.
1 Antwort
Prinzipiell würde ich das ganze in 4 Teile Gliedern.
Übersicht:
Wie ja allgemein bekannt, ist die Kernkomponente, die Grafikkarte. Hier kannst du dich nach Generation und Speicher umsehen. Die Generation ist meistens aber wichtiger, da mit neueren Karten auch neue Technologien, wie Effizient und Geschwindigkeit dazukommen. Der Speicher sagt nur aus, wie groß im Sinne von Parametern das Model sein kann.
Normaler Rechner:
GPU: ich würde als Niederste Generation die 20er Reihe verwenden. Prinzipiell gehen natürlich auch ältere Generation, die sind aber von der Kompatibelität nicht so umfangreich. Ab der 30er Reihe, wird die möglich das neue NVIDIA RAG System zu nutzen. Damit kannst du dein Model mit Daten wie Firmen Infos füttern.
Apple Geräte:
Die neuen Chips von Apple sind was KI angeht wirklich unglaublich. Durch das Unified Memory kannst du wirklich große Modelle laden. Hier würde ich ab dem Pro mit 32 GB anfangen.
Das Model:
Die Meta Llama Models sind für uns Gold. Die 8B Varianten, sind wahrscheinlich das was ihr im Büro verwendet.
Ich danke dir vielmals. Apple-Geräte werde ich wahrscheinlich bei der Geschäftsführung nicht durchbekommen. Wenn ich deine Antwort richtig verstanden habe, dann würden wir mit einer RTX 3060 schon ganz gut hinkommen, oder?
Mein Verständnis über Grafikkarten ist aktuell noch nicht ganz so gut; ich verwende KI viel über die API, und da ist vieles einfacher. Allerdings ist es natürlich datenschutzrechtlich nicht für ein Unternehmen geeignet.