Könnte man die Existenz Gottes durch eine mathematische Formel beweisen?

ja, natürlich geht das.

Du mußt nur den Algorithmus bestimmen, unter dem das erfolgt.

Dazu kannst du am besten mal klein anfangen und die Existenz des Menschen beweisen.

Dann interpolierst Du das Ergebnis auf Gott und dann siehst Du schon, obs paßt.

Wenn du sauber definierst, was ein "Gott" ist und ein Axiomensystem dazu lieferst, das für dich plausibel ist, kannst du eventuell in diesem Axiomensystem beweisen (oder widerlegen), dass ein Gott existiert. Das sieht man z.B. schön an Gödels ontologischem Gottesbeweis.

Das Problem ist, dass der Beweis dann eben für dieses Axiomensystem mit dieser Definition von "Gott" gilt. Wenn jemand anderes mit auch nur einem von beiden nicht einverstanden ist, ist der Beweis für ihn nicht von praktischer Relevanz.

Die Mathematik ist Teil der theoretischen Vernunft des Menschen. Mit der theoretischen Vernunft – das hat schon Kant festgestellt – kann man Gott nicht erkennen bzw. nachweisen. („Daher weist Kant die theoretische Erkenntnis Gottes, welche ohne jede Anschauung und daher spekulativ ist, als undurchführbar zurück.“ Wikipedia)

Es gibt ein "Gottesbeweis" vom Mathematiker Gödel. Dieser ist auch formal Korrekt, unter der Annahme, dass die Axiome, die vorher angenommen wurden, wahr sind.

Der Beweis diente aber nicht dazu, um zu zeigen, dass Gott existiert, sondern um zu demonstrieren, dass so ein Beweis auch durch Logik möglich wäre

Wenn man den Begriff „Gott“ hinreichend formalisieren könnte, ja. Allerdings gibt es typischerweise keine objektiv abstrakte Definition für Gott und damit erübrigt sich ein (mathematischer) Beweis.