Sei dir gewiss, dass er sich darüber nicht so ausführliche Gedanken gemacht hat wie du. Ihm ist deine Zwickmühle nicht bewusst und er denkt sich: "Perfekt, habe zwei meiner Lieblingsmenschen dabei."
Wenn es noch nicht zu spät ist, weil ihr am Freitag losfahrt erkläre im deine Gedanken. Riechen können Männer so etwas nämlich nicht. Auch wenn Frauen gerne mal davon ausgehen. An der Stelle muss ich das Wort KOMMUNIKATION groß schreiben.
Und wie du es sagen sollst ist genau wie du es hier geschrieben hast. Das du dich eben wohler fühlen würdest wenn ihr zu zweit hinfahrt. Und beim nächsten Mal kann der Kollege ja gerne mitkommen.