Ich glaube, das ich die Lösung selber gefunden habe. Daher hier meine Antwort (fals iwann jemand dasselbe Problem hat).
Ich habe eine Schutztasche mit Schlitzen für Ec-Karte etc in der Innenseite. In einem dieser Schlitze steckt meine Ec-Karte. Wenn ich nun die Tasche öffne und die Vorderseite nach hinten klappe, reagiert mein Handy auf meine Ec-Karte. Ich habs getestet indem ich einfach die Karte an meine Handyrückseite gedrückt habe. Woraufhin jedes mal dieser Piepton kam.
Ich vermute das es mit diesem NFC (Near-Field-Communication) zu tun hat. Nach Abschalten dieser Funktion hat auch das Piepsen aufgehört.