Ob du mit machst oder nicht ist ganz allein deine Entscheidung! Wenn du Lust drauf hast mach es, wenn nicht dann lass dich auf keinen Fall dazu überreden! Egal wie du entscheides, du bist in keinem Fall eine Schlmpe.
Dass dein Freund so etwas erregend findet, wirkt für viele vielleicht erst mal ein bisschen komisch, ist aber vollkommen ok und kommt häufiger vor als man meint. Diese Neigung nennt man cuckold, falls er eine untergeordnete Rolle dabei einnimmt oder wifesharing, wenn er der Dominate dabei ist. In der Konstellation die ihr lebt, nämlich, dass er schläft, du also quasi "heimlich" mit anderen sexuell verkehrst, würde ich es dem cuckold zuschreiben.
Solange er dich zu nichts zwingt, ist es allein eure Sache, wie und bis zu welchem Grad ihr seine Neigung zusammen auslebt. Auch hier liegt die Betonung wieder ganz klar auf zusammen! Er kann diese Fantasie nicht ausleben, solange du nicht vollkommen ok damit bist! Er hat kein Recht dich zu irgendwas zu überreden, was du nicht willst. Du musst dir also erstmal selber klar werden, was du willst und dann rede am besten mit ihm ganz klar und deutlich darüber, wie du zu der Sache stehst und findet gemeinsam einen Weg, wie ihr gemeinsam Spaß haben könnt :)