Kann man Router auch einfach nur in eine Steckdose stecken und dann funktionieren sie, oder braucht man immer diesen besonderen DSL anschluss?

Die Signale (Internet) kommen und gehen über die DSL-Leitung, nicht über die Stromleitung. Der Stromanschluss wird nur für die Funktion des Routers, wie es bei jedem anderen elektrischen Gerät auch so ist, benötigt.

Wenn auf der Leitung kein DSL geschaltet ist, klappt das nicht.

Ohne DSL-Anschluss bringt er nichts.
Außer du stehst auf LAN-Partys!

Internet kommt (noch) nicht "aus der Steckdose", sondern wird üblicher Weise über einen extra Telekommunikationsanschluss vom Internet- /Telefonanbieter bereitgestellt: TAE, Kabelanschluss. Es gibt zwar UMTE/LTE-Router, die keinen extra "Internetanschluss" brauchen, jedoch dafür einen entsprechenden SIM-Kartenvertrag.