Eine genaue Antwort wird in den Büchern nicht gegeben, aber ich hätte eine Vermutung:

Es ist eine gegebene Tatsache, dass der blutige Baron Helena Ravenclaw ermordet und danach Selbstmord begangen hat. Vielleicht kursieren Gerüchte darüber unter den Geistern, da Helena auch in Hogwarts lebt. Das könnte zu einer gewissen Angst vor ihm führen.

Andererseits könnte auch einfach sein gruseliges Aussehen (man nennt ihn ja nicht umsonst den blutigen Baron), oder seine Art Ausschlag gebend sein.