Antwort
Es gibt keine Einschränkungen mit IPv6.
Jeder Provider in DE bietet immer noch IPv4 zusätzlich an. Mit diesen alten Adressen gibt es hin und wieder Probleme, weil sie oft geteilt werden müssen.
In erster Linie kommt es auf Deinen Provider an. Wenn Dein Provider beispielsweise DS-lite vorschreibt, kannst Du nicht einfach IPv6 in der Fritzbox abschalten.
Bei "echten" Dualstack-Anschlüssen IPv6 abzuschalten hat keinen Sinn.
Das nur als Vorwort zu Deinem Vorhaben.
Sofern es nicht blockiert ist, findest Du die Einstellungen mit der erweiterten Ansicht, unter Internet, Zugangsdaten, IPv6-Unterstützung aktiv.