Ist es frech jemandem zum Geburtstag abzusagen?

Nein, ist nicht frech. Du solltest Dich ja auch wohlfühlen. Gerade wenn Du mit der Person nicht befreundet bist sollte Dich das noch weniger interessieren.

Wenn du da nicht hin willst lass es bleiben, da wird dir keiner böse sein, ist ja keine Pflicht

frech wäre es, einfach nicht aufzukreuzen, oder sich dort daneben zu benehmen.

wenn man eine einladung bekommt hat man grundsätzlich die möglichkeit diese auch abzulehnen.

du kannst natürlich heute noch absagen, kurzfristig wäre es etwas unhöflich, aber es sind ja auch noch andere gäste da.

Wäre zwar höflich gewesen früher als einen Tag vorher abzusagen, aber wenn du einen plausiblen Grund angiebst ist es nicht schlimm.

Frech wäre es ohnehin nicht. Ich würd es eher als respektlos (vor dem Aufwand den die Person gehabt hat) oder unhöflich bezeichenen

Überlegndir ne Notlüge, so behaltet ihr beide euer Gesicht.