to mit der ing Form zu ersetzen ist grundsaetzlich moeglich. Jedoch bewirkt es oftmals eine Bedeutungsaenderung.

Das Gerund, also die ing-Form, verwendet man haeufig in der Vergangenheit. z.B.

I remember turning off the lights when I left home. = Ich erinnere mich das Licht ausgemacht zu haben, als ich mein Haus verlies.

Gegenwart:

Remember to turn off the lights when you leave home. = Denk daran, das Licht auszumachen wenn du dein Haus verlaesst.

Hier kann man einen grossen Unterschied in der Bedeutung feststellen:

I stopped smoking = Ich habe mit dem Rauchen aufgehoert

I stop to smoke = Ich blieb stehen, um eine zu rauchen.

Eine wirkliche Regel gibts es nicht. Mit der Zeit hat man es im Gefuehl, wann man den Gerund oder den Infinitiv verwendet.

!!! Auf keinen Fall, darf man Phrasen aendern. "to look forward to" darf man nicht in "to look forward" aendern. Also die 2te Version bei dir ist falsch.

In deinem swim Beispiel gibts es keinen Unterschied. Hier geht beides.