Freund nur drogensüchtige Freunde?

Hallo zusammen, mal kurz die Umstände:
Mein Freund ist praktisch gerade erst aus dem Entzug raus (seit 4 Monaten), hat selbst Drogen aller Art genommen. Hatte er selbst vor einem Monat einen Rückfall mit Alkohol. Jetzt will er sich mit seinen Freunden treffen, wie oben aber schon erwähnt sind die alle Drogensüchtig. Er stellt sich immer hin und sagt, dass sie es ja auch gut finden, dass er aufgehört hat, es sind aber auch die 1., die ihm etwas geben würden und er ist sehr leicht zu überreden (so kam es auch zu dem Rückfall vor einem Monat. Er war mit einem Freund, der wusste, dass er auf Entzug ist zusammen unterwegs und der hat ihn überredet).
Er wollte sich vor einer Woche mit besagtem Freund treffen, wo ich ihm gesagt hatte, dass ich es nicht will, weil ich einfach zu unsicher noch damit bin (Er weiß, dass ich sehr starke Vertrauensprobleme habe durch meine Kindheit und alles). Das ist in einem totalen Streit geendet, den wir dann bei seinen Eltern am Ende ausdiskutieren mussten.
Jetzt kam er und sagte, dass er sich mit seinen ganzen Freunden treffen will, von denen ich weiß, dass sie alle selbst dealen und Drogen nehmen. Ich weiß, dass wenn er nach Hause kommt und ich ihm sage, dass ich das echt nicht will, dann kommt wieder, dass er sich eingesperrt fühlt.
Ich weiß nicht, ob ich überreagiere, aber ich weiß auch nicht, wie ich es ihm klarmachen soll, dass ich langsam an meine Grenzen komme mit dem Thema.

Beziehungsprobleme, Freundin, Jungs