Scheinbar verschlägt es ihm die Sprache in Deiner Gegenwart. Das ist gar nicht mal so selten. Diese Vollschüchternen ärgern sich anschließend meist sehr über sich selbst.
Versuche mal eine entspannende Situation herzustellen, auf die er sich ein wenig vorbereiten kann und ihn nicht überrascht oder überrumpelt. Dann geht vielleicht was.
Wenn gar nichts hilft, geh voll in die Offensive und frag ihn glatt, warum er manchmal so abweisend ist. Dann wird er zwar auch wieder einen Ampelkopf kriegen, aber dann sollte es ihm doch langsam dämmern, dass Du trotzdem ein Interesse an ihm hast. Vielleicht setzt Du dann je nach Reaktion noch einen drauf und fragst, mal ob ihr vielleicht mal zusammen eine Kaffee trinken solltet.
Möglichkeiten gibt es auch in diesen schwierigen Fällen durchaus.