Wenn das Ergebnis ist, dass du dich nur halb so viel mit Mathematik beschäftigst wie normale Mathematikstudenten, dann wirst du ihnen gegenüber stets im Nachteil sein. Wenn man Mathematiker engagiert, sind die zu lösenden Probleme meistens derart, dass jeder Mangel an der Lösung zu bedeutend schlechteren Ergebnissen führt: Im Bereich der Statistik (Banken, Versicherungen...) zu falschen Prognosen, bei Algorithmenentwicklung zu schlechterer Effizienz, bei Kryptographie zur Angreifbarkeit, bei Simulationen zu verzerrten Zahlen (bei der Entwicklung von Bauteilen dadurch zu suboptimaler Bauweise oder bei Simulationen des Wetters zu falschen Prognosen).
Die einzige Ausnahme könnte sein, wenn es dir deine Universität ermöglicht, dich bzgl. Mathematik frühzeitig stark zu spezialisieren. Dann bist du halt ziemlich auf diesen Bereich festgelegt.
Es ist aber ein weit verbreiteter Irrglaube, dass man, wenn man sich für Philosophie interessiert, das an einer Universität studieren müsste. Wenn du vorhast, später großes zu vollbringen, dann wirst du es schaffen, neben dem Studium reichlich zu lesen. Wenn nicht, dann könnte dir das universitäre Milieu alle Freude daran verderben.
Mein Rat ist folgender: Fang ein normales, hundertprozentiges Mathematikstudium an, und zwar an einer Uni, wo du zu einem gewissen Umfang auch Philosophie-Veranstaltungen mit einbringen kannst. In den ersten Semestern belegst du dann solche und schaust, was du davon hältst. Es sollte mindestens eine darunter sein, die du mit einer Hausarbeit (=eigenständig verfasste wissenschaftliche Arbeit) abschließt, denn darin würde auch später (im Studium und danach) deine Arbeit bestehen.