Sollte man den Ordner 'cgi-bin' schon aus Sicherheitsgründen immer umbenennen!? Und wenn ja, kann dann trotzdem jemand den Ordner noch irgendwie erkennen!?

Zu dem, ob es trotzdem gemacht werden soll, gibt es verschiedene Ansichten. Akzeptiert ist jedoch, dass so etwas keine tatsächliche Sicherheit bietet: https://de.wikipedia.org/wiki/Security_through_obscurity

Ich würde sagen, fokussiere dich zunächst auf so ziemlich alles andere.

Da der Name und Pfad eh im Plaintext im HTML Dokument steht, ist es nicht notwendig, den Ordner umzubenennen.

Das bringt überhaupt nichts.

Nur wenn man keine CGI-Programme nutzen will, kann man den Ordner und die Konfiguration im Webserver löschen. Sicherer wird es kaum, nur übersichtlicher.