Mit der Quantenmechanik solltest du klarkommen. Eventuell brauchst du noch etwas Funktionalanalysis (Operatoren, Hilberträume, Spektralsätze), aber diese sollte in einem Buch über Quantenmechanik auch erklärt werden. Für die Quantenmechanik würde ich mich aber auch in Theoretischer Mechanik (u.a. Hamilton-Funktion) einlesen.
Die spezielle Relativitätstheorie sollte auch nicht schwierig sein, da sie mathematisch recht einfach ist.
Mit der allgemeinen sieht es aber ganz anders aus. Hier wirst du um Differentialgeometrie (Tensoren, (Lorentz-) Mannigfaltigkeit, Geodätische) nicht herum kommen. Wobei ich mich da auch eher an den Matheteilen in Physikbücher orientieren würde, als an reine mathematische Bücher über Differentialgeometrie. So etwas wie De-Rham-Kohomologie wirst du nicht brauchen.
Mit Quantenfeldtheorien kenne ich mich nicht aus. Davor würde ich aber sowieso erst versuchen, Quantenmechanik und Elektrodynamik zu verstehen.