Teste doch ersteinmal ob wirklich die Netzwerkverbindung im Allgemeinen langsam ist. Dafür einfach mal eine Speedtest Webseite zu verschiedenen Zeiten aufrufen. Dann kannst Du Dir einigermaßen sicher sein, ob es am Netz liegt oder was anderes.
Wenn es "am Netz" liegt. Versuche es mit einem Kabel direkt zu Deinem Router. Eventuell funken in Deiner Nachbarschaft Abends mehrere auf dem gleichen Kanal (auch Babyphones nutzen Frequenzen im 2,4 GHz Bereich).
Wenn es mit Kabel deutlich schneller geht, optimiere Deine WLAN, anderen Kanal, möglichst 5 GHz Band (Achtung hat etwas geringere Reichweite).
Wenn es mit Kabel (fast) genauso langsam ist könnte es wirklich sein, dass Du Deine Bandbreite mit zu vielen Nachbarn teilst und für jeden nur "wenig" übrig bleibt. (Ich nehme mal an Du kannst ausschließen, dass bei Dir zu Hause nicht andere Familienmitglieder einen wesentlichen Teil der Bandbreite belegen). Das kann bei Kabel-Internet (ehem. TV Kabel) passieren, eventuell auch bei VDSL (sollte aber nicht so extrem sein wie von Dir beschrieben). Auf jeden Fall, wenn es an Deinem Provider liegt und das Problem regelmäßig Auftritt, hast Du Anspruch auf eine Mindest-Bandbreite (ich weiß nicht auswendig was das war vielleicht 1/3 der max. Bandbreite oder so).