Warum funktioniert mein Controller in Vampire Survivors nur manchmal?

Ich spiele VS echt gern, aber was mich nervt ist, dass es den Controller nur manchmal erkennt. Ich starte meinen, per Bluetooth des Mainboards verbundenen, PS5 Controller extra vor dem Spiel.
Ich kann das Intro und den "Press Start" Screen auch mit X wegdrücken, aber danach nimmt er den Controller nicht mehr an. Allerdings nicht immer. Manchmal geht es.

Weiß jemand warum das so ist, und wie ich das gefixt bekomme. Den ohne Controller macht das Spiel keinen Spaß.