Das großelterliche Umgangsrecht ist meiner Meinung nach immer eine Einzelfallentscheidung. Im Gesetz verankert ist kein grundsätzliches Umgangsrecht. Darin heißt es:

Nach § 1685 Abs. 1 BGB besitzen auch die Großeltern das Recht zum Umgang mit ihren Enkel­kindern. Voraussetzung dafür ist nur, dass dies dem Kindeswohl entspricht.

Kommt es zu keiner gütlichen Einigung zwischen Dir und den Schwiegereltern, könnten die das Umgangsrecht gerichtlich zu erstreiten versuchen.

Niemand hier kennt die genauen Hintergründe, weshalb Du ein schlechtes Gefühl hast. Daher kann auch niemand einen guten Rat geben. Deine Frage ist bei Jugendamt oder Fachanawalt für Familienrecht besser aufgehoben und keinesfalls ohne die Argumente beider Seiten zu entscheiden