Warum haben alle Menschen Angst vor Waffen aber nur wenige vor KI, dabei ist die größte "Waffe" Intelligenz?

Weil KI aktuell noch alles andere als intelligent ist.

Menschen die Waffen benutzen, um andere zu schädigen sind eine reale Gefahr.
KI ist nicht intelligent und Gefahr geht nur von Menschen aus, die KI schädlich verwenden. Die körperliche Gefahr die davon ausgeht ist aber viel geringer als bei Waffen.

Waffen helfen mit einfachsten Mitteln, Menschen zu verletzten oder zu töten.

Die KI jedoch kann nicht direkt als Waffe eingesetzt werden um jmd zu verletzen oder zu töten, außer man wirft den Server, auf dem sie läuft...Eine KI kann auch nicht unendlich intelligent werden, denn wir haben immer noch das Speicherplatzproblem...

KI ist nicht intelligent. KI bzw. das, was Du mit KI meinst (LLM) ist eine Sammlung von Algorithmen, die auf eine raffinierte (von Menschen entwickelte) Art und Weise "erraten", was als Antwort folgen müsste.

Daran ist nichts gefährlich und das wird sich auch nicht so schnell ändern.

KIs sind Werkzeuge, genauso wie Waffen Werkzeuge sind. Die Waffe alleine ist nicht gefährlich, solange sie ungenutzt im Waffenschrank liegt. Der Mensch, der die Waffe benutzt, der ist gefährlich.

Gleiches gilt auch für KI-Systeme. Sobald ein Mensch anfängt, ein solches System als Waffe zu nutzen (z.B. um Strategien zu entwickeln), dann kann daraus eine Gefahr erwachsen. Aber dann ist nicht die KI gefährlich, sondern der Mensch, der sie benutzt.

Genauso könntest Du fordern: Lasst uns alle weltweit keine Waffen mehr bauen!
Was meinst Du, wie gut das funktionieren würde? Das wäre ein schlechter Witz, nicht weil die Menschen keine Angst vor Waffen haben, sondern weil es genug (zu viele) andere Menschen gibt, die gefährlich sind und Waffen nutzen wollen, um anderen Menschen zu schaden. Und das ist schon seit Jahrtausenden so, wenn nicht sogar seit 100.000en Jahren, eben so lange, wie Menschen sich gegenseitig bekämpfen.

Man könnte natürlich auch anfangen, der KI die Steuerung von Waffen zu übertragen, sodass sie selbständig Menschen töten kann. Dann wäre die KI eine Gefahr, aber dafür brauchst Du keine KI, das ist schon sehr viel länger möglich. Es ist schon seit Jahrzehnten möglich, z.B. Roboter zu bauen, die selbständig töten, ganz ohne KI. Und im Militär, besonders von den USA, ist das auch schön längst Normalität. In deren Drohnen stäcken keine hoch ausgefeilten oder sogar fühlende KI-Systeme, das sind auf Effizienz getrimmte Algorithmen, mit einer klar definierten Aufgabe: Das Ziel zu treffen, was ein Mensch vorher eingestellt hat.

Also, warum sollten KIs jetzt plötzlich eine so große Gefahr sein, wenn es die gleiche Gefahr schon seit Jahrzehnten ohne KI gibt, während sich niemand dafür interessiert? Der Unterschied ist nur, dass ein LLM wie ChatGPT menschlich wirkt (aber nicht ist) und viele einfach nicht verstehen, was es ist. Was wir nicht verstehen, das wirkt gefährlich, aber das heißt nicht, dass es auch gefährlich ist.

Das Problem fängt schon mal mit Deinem Verständnis an, dass Du meinst "KI" hätte was mit "Intelligenz" zu tun.
Es ist nur eine saudämliche Übersetzung von "AI - artificial intelligence".

"Intelligence" steht hier für Daten sammeln und auswerten - genau so, wie bei der CIA das "ingelligence" nicht für Intelligenz sondern eben für "Daten sammeln und auswerten" steht.

Ergo: Kontext der Frage unpassend => Macht daher keinen Sinn zu beantworten.