Kommt drauf an.
Wenn Du nur an diesem Termin nicht kannst, dann kannst Du das so einfach sagen und einen anderen Termin vorschlagen.
Wenn Du generell von dieser Person nicht eingeladen werden möchtest, weil Du generell nicht hingehen willst, dann gehört auch etwas Mut dazu, das zu sagen. Du kannst sagen: "Mir ist nicht danach." oder "Ich will das im Moment nicht, danke"... dann kann der andere rückfragen, warum, und dann sei ehrlich.
Mir persönlich wäre es lieber, jemand würde es gleich ehrlich sagen, zB: "Ich hab im Moment nicht das Gefühl, dass ein Treffen grade sinnvoll wäre, weil ..." oder "Ich danke Dir für die Einladung, aber im Augenblick ist mir nicht danach, weil ..." oder "Nach dem, was gestern passiert ist, kann ich mir nicht vorstellen, Dich zu besuchen"
Blöd finde ich Ausreden oder Lügen, da bleibt so ein fauler Geschmack zurück