Ist es möglich auf einer FritzBox ein Custom-OS zu installieren z.B Ubuntu?

Möglich sicherlich - aber unsinnig. Die CPU-Leistung und der Arbeitsspeicher reichen nicht für ein Ubuntu-System mit graphischer Oberfläche aus.

OpenWRT ist eine gute Möglichkeit, eine FB weiter zu verwenden.

mit einer FritzBox ist sehr vieles möglich . also ja Linux auf einer FB ist möglich

Ubuntu sicherlich nicht.

Aber je nach Fritte gibt es Custom roms

Da wären zum einen Freetz, OpenWRT oder für einige Geräte Freifunk

Unmöglich ist fast nichts.

Aber umständlich und den Mehrwert sehe ich auch nicht. Wenn ich da was Custom-OS-artiges drauf haben wollen würde dann sowas wie OPNsense.