Ist es respektlos Olle zu sagen?

Es ist ein Spitzname für Ole oder Oliver, aber man sollte ihn nur verwenden wenn die Person einverstanden ist.

Relativ.

Besonders, wenn man genervt ist und eine Dame oder ein Mädchen einem an dem Tag auf den Leim gegangen ist, kann einem so ein Wort schon mal rausrutschen.
Wichtig ist nur, dass man das nicht in der Öffentlichkeit benutzt oder im Bekanntenkreis rausposaunt.

Ja, eigentlich ist es respektlos. Wenn manche Ehemänner ihre Frau so nennen kann das aber auch ein nettes Kosewort sein.

Wenn man nicht zu seiner Frau "Alte" sagen darf, dann natürlich auch nicht "Olle".