Servus,
es ist zwar schon ein paar Jährchen her seit die Frage gestellt wurde, falls jedoch jemand wie ich erst kürzlich das gleiche Problem hatte und nicht gleich den Rechner neu aufsetzen will (in Windows 10) die richtigen Icon´s findet man im Steam Ordner unter Programme (x86)/Steam/steam /games.
Den Ordner steuert man dann einfach an, indem man per Rechtsklick auf das entsprechende falsch dargestellte Symbol ausführt, anschließend die Eigenschaften anklicken unter dem Reiter "Webdokument" wenn man die Verknüpfung von Steam erstellen lassen hat, oder dem Reiter " Verknüpfung", sollte man selbst eine direkte Verknüpfung von der .exe des entsprechenden Spiels erstellt haben.
Dort angekommen nur noch "Andres Symbol" anklicken, auf "Durchsuchen..." klicken und je nachdem wo Ihr Steam installiert habt in meinem Fall "H:\Programme (x86)\Steam\steam\games" wie oben schon angesprochen das richtige Symbol aussuchen und zuordnen. Das kann natürlich auch etwas Zeit in Anspruch nehmen, je nachdem wie viele Symbole betroffen sind.
In dem Sinn alles Gute.