Der Pfarrer spricht den Segen den Menschen zwar zu, aber er kommt ja nicht von ihm, sondern von Gott. Ein Pfarrer braucht den Segen Gottes genauso wie jeder andere auch.
Außerdem wird im normalen Gottesdienst der Segen dem Pfarrer ja auch gewünscht, indem die Gemeinde auf "Der Herr sei mit euch" mit "Und mit deinem Geiste!" antwortet.