Angst, Unverträglichkeit und freiwilliger Verzicht sind drei verschiedene Dinge.
Dewegen ist sowohl "-phobiker" wie auch "-allergiker" hier die falsche Antwort.

Die Vegetarier / Veganer sind nicht nach dem benannt, worauf sie verzichten, sondern was sie ausschließlich essen. Also muß für den Verzicht auf essbare Pilze ein neuer Begriff her, der vom gleichen Wortstamm abgeleitet wird, z.B.: Vegistiker.