Ich denke mal, das liegt daran, dass Penise Körperteile sind, deren Entwicklung und Größe massiv von der hormonellen Entwicklung abhängt. Und zwar von Hormonen, deren Verfügbarkeit massiv schwankt.

Gerade in der Zeit während der Schwangerschaft, während sich die Genitalien entwickeln, können kleine Unterschiede vermutlich eine große Auswirkung haben. Organe wie Ohren hingegen, die sich bei allen Leuten ausbilden sind vermutlich nicht so beeinflussbar.

Auch während der späteren Entwicklung wachsen Penis und Hoden asynchron zum restlichen Körper. Bis zur Pubertät tut sich nahezu gar nichts und dann wird es auf einmal massiv größer. Das sind einfach Veränderungen, bei denen Schwankungen leichter passieren als bei Körperteilen, die gleichmäßiger wachsen.

Hände und Füße, die Knochen enthalten sind außerdem allein schon daher proportionaler, da ihre Länge vom Knochenbau abhängt. Es wird seltener vorkommen, dass Person A doppelt so lange Füße hat wie Person B. Ein doppelt so langer Penis ist eher möglich.

Bei der schlaffen Größe dürften die Unterschiede außerdem noch deutlicher auffallen als bei der steifen Größe, weil sich jeder Penis unterschiedlich stark zusammen zieht, wenn er erschlafft. Da können die Unterschiede auch zwischen zwei im steifen Zustand gleich groß gebauten Männern recht unterschiedlich ausfallen.

Der letzte Punkt ist die Körper-Statur. Im Gegensatz zu anderen eher feingliedrigen Körperteilen wie die Hände oder das Gesicht befindet sich der Penis an einer Stelle, in der sich sehr viel Gewebe und Fett ansammeln kann. Selbst ein nicht besonders dicker Mann kann eine zwei oder drei Zentimeter dicke Fettschicht haben, die den Penis kleiner aussehen lässt, als er ist. Bei massivem Übergewicht ist der Unterschied natürlich noch viel größer. Das lässt die Unterschiede dann noch zusätzlich größer wirken als sie sind.