Ist eine Brücke immer über Wasser?

nein, ich würde sagen, die meisten Brücken führen über Straßen, Gräben oder Schienen aber auch über Täler und im Tal oft auch ein Fluss oder Bach, wobei der aber in großer Höhe überbrückt wird.

Nein, es gibt z.B. auch Brücken über Täler.

Gerüchten zufolge soll es auch Autobahn- und Fußgängerbrücken geben...

Hängebrücken z.b. werden auch gerne über tiefe Abhänge gebaut.

Also Nein, da ist nicht zwangsweise Wasser drunter.

... und die beim Zahnarzt auch nicht ...

Nein, auch über Schienen, Straßen oder einfach als Viadukte durch Täler