Kann ich irgendwie GEZ Gebühren immer erst im letzen Moment zahlen, ohne eine Strafe zahlen zu müssen?

Natürlich.

„im letzten Moment“ ist ja dennoch weiterhin pünktlich.

Die GEZ gibt es seit Ende 2012 nicht mehr. An die musst du schon lange nichts mehr zahlen.