Fühle mich in meinem Freundeskreis unwohl, was tun?

Ich bin in einem größeren Freundeskreis. Mit einigen Leuten davon treffe ich mich nur auf Partys oder z.B. beim vortrinken, dass reicht auch vollkommen aus, da ich mir nicht vorstellen könnte, mit denen eine engere Freundschaft zu führen. Mit 3-4 Personen bin ich allerdings besser befreundet. Wir treffen uns ziemlich häufig. Seit einiger Zeit ist es nun so, dass sie sich bei einem bestimmten Freund treffen und dort Serien gucken und Shisha rauchen. Wohlmal finde ich das auch cool, aber wirklich täglich habe ich darauf keine Lust. Zudem verstehe ich mich mit dem Gastgeber sehr gut, er fragt mich auch jeden Tag ob ich dazu kommen möchte. Mit einer Person aus der Clique verstehe ich mich nicht besonders (wir sind aber trotzdem nett zueinander). Genau diese Person ist aber wirklich jeden Tag beim Gastgeber. Gerade das empfinde ich als sehr störend, da man nichts mehr alleine unternehmen kann, da er zu 100% da sein wird. Wenn man aber mal etwas unternehmen würde hätte ich kein Problem damit das eine Person dabei ist, mit der ich mich nicht so gut verstehe, aber jeden Abend zusammen rumgammeln ... das ist nicht meins. Darüber reden das es mir kein Spaß macht bringt auch nichts, da ich ja merke, allen anderen macht es ja Spaß. Momentan komme ich alle paar Tage mal vorbei, merke aber, dass ich nach und nach den Bezug zu der Gruppe verliere. Was soll ich tun ? Andere Freunde habe ich nicht und wohne in einem Ort wo mich viele kennen. Ich wüsste nicht wie ich versuchen sollte in einen anderen Freundeskreis zu kommen, da andere halt auch wissen, wer meine Freunde sind. Sich abwenden ohne das es Streit ist wäre nicht möglich da hier jeder jeden kennt...