Ich kenne die genaue Situation nicht, aber normalerweise sagen Freunde oder in deinem Fall Partner das um eine Art Mitgefühl und Reue bei ihrem gegenüber auszulösen und ihnen ein schlechtes Gewissen zu geben. Ich kenne allerdings auch viele die das absolut unbewusst machen und es eigentlich gar nicht böse meinen. Manchmal sagen sie es einfach im Eifer des Gefechts ohne wirklich zu wissen was sie damit anrichten können.
Du kannst meiner Meinung nach selber entscheiden ob du ihn darauf ansprichst oder ob du über seinen Aussagen stehen willst. Das kommt ganz auf deine Situation an.