Rassismus brauch immer einen Kontext. Wenn du in der Türkei unterwegs bist und als Deutscher "Alman" hörst, so wird dies absolut neutral sein.
Hier in Deutschland, meist von Migranten / Menschen mit Migationshintergrund verwendet, sieht das ganze schon anders aus: denn es beschreibt gewisserweise abwertend eine Gruppe von Personen "spießig, kleinlich, selbstzufrieden" von Menschen und fasst diese verallgemeinernt zusammen. Es bedient sich Klischees und Stereotypen und erfüllt die Definition von Rassismus und Diskriminierung (siehe Wikipedia Rassismus und Alman).
Auch in der Türkei gibt es den ähnlichen Begriff Almanci, der ebenfalls abwertend für Türken in Deutschland - Deutschtürken - gemeint ist.
Wenn gleich es nicht historisch gleichermaßen schlimm geprägt ist wie das N-Wort oder auch das K-Wort, so ist es immerhin auch erst vor kurzem als Slang in Deutschland entstanden und da es die Grundprinzipien von Diskriminierung und Rassimus erfüllt, sollte es auch so aufgefasst werden.
Nur weil ein Deutscher nicht sofort empfindlich reagiert, bedeutet das nicht, das dass in Ordnung oder weniger schlimm ist.