Stress mit Kumpel?

Ich war vorhin mit Kumpels draußen, einer von ihnen wollte mich dann später von dort nach Hause mit Auto mitnehmen.

wir haben aus spaß ein paar Steine auf die Straße geworfen - zum Verständnis: ich ein paar mehr als die anderen. Zu dem Zeitpunkt war dann die Gruppendynamik so, dass wir die da liegen lassen und nicht unbedingt aufräumen.

plötzlich fängt genannter Kumpel dann damit an, auf joke zu sagen, ich solle das alleine aufräumen - hätte ich auch kein Problem damit, ist halt echt bodenlos und wäre die dynamik anders gewesen, hätte ich auch kein Problem damit - ich nahm es auch deshalb als Machtdemonstration (er ist zum Beispiel mind 25cm größer als ich (ich bin nur 1,68) und hat demnach auch ein besseres Selbstbewusstsein und bessere soziale Kompetenz als ich) über mich wahr und als Zeichen von nicht genug Respekt vor mir, weshalb ich die meinung bildete, mich dieser respektlosigkeit nicht zu beugen und dementsprechend nicht die Steine wegzuräumen.

Plötzlich wurde er richtig sauer und meinte, er würde mich nicht mitnehmen, wenn ich es nicht machen würde. Ich war jedoch fest in meiner Meinung. Irgendwann, als die anderen von selbst auch anfingen, die Steine wegzuräumen, hat er mich doch dazu überredet (er hat keinen weggeräumt) - ich bin mir unsicher, ob das die richtige Entscheidung war - jedoch war ich in dem Moment an dem Punkt, dass ich trotzdem dann alleine nach Hause laufe und wollte das dann auch durchziehen.

als es dann so weit war, hat er mich dann doch drum gebeten mitzukommen, als ich andeutete, allein nach Hause zu kommen und ihn nicht zu brauchen.

Ich bin dann jedoch trotzdem eingestiegen, vor allem, weil es seine Freundin war, die uns gefahren hat und ich kein unnötiges Drama wollte.

Im Auto hab ich ihn dann noch drauf angesprochen, dass ich tatsächlich durchgezogen hätte, dass ich da auch kein Problem mit gehabt hätte, jedoch mir das einer zu viel war, wie er das aufgezogen hat, woraufhin er sauer wurde und das ganze auch lächerlich gemacht hat (vor seiner Freundin)
Ich hab dann auch kurz mit ihm diskutiert, jedoch sind wir auf keinen grünen Nenner gekommen. Trotzdem hat sie mich allerdings vor meiner Haustür abgeliefert.

Ich frage mich nun, was hätte ich anders machen können? Wie hättet ihr reagiert und warum hat er nicht den nötigen Respekt vor mir bzw wie kann ich diesen Respekt für mich gewinnen?
Ich bin halt aufgrund meiner Körpergröße physikalisch nicht sehr gut aufgestellt, in der Schule bin ich auch nicht der engagierteste oder sowas.

bzw von all den Sachen, die er von mir so kennt.