Mit:

if (!prop.containsKey("language")) {
    prop.setProperty("language", "eng");
}
if (!prop.containsKey("design")) {
    prop.setProperty("design", "default");
}

erstelle ich alle Keys, die nicht (mehr) vorhanden sind.

Ich hatte mir eine Abfrage vorgestellt, die überprüft, dass wenn ein Key vorhanden ist, der nicht dazugehört, dass der dann rausgelöscht wird.

Falsch geschrieben etwa so:

if(NichtDazuGehöhrigerKey.containsInDerPropertiesDatei){
NichtDazuGehöhrigerKey.delete();
}

Komischer Code, ich weiß :)