Multiple Regression negativer Koeffizient, aber in einfacher Regression positiv. Wie kann das sein?
In der multiplen Regression ist eine Variable negativ, wenn ich diese Variable aber als einzige unabh. Variable nutze in einer somit einfachen linearen Regression ist sie positiv. Wie kann das sein?
2 Antworten
Du solltest nach den Varianzinflationsfaktoren kurz VIF schauen, also auf Multikolinearität prüfen, gegebenenfalls vorher eine Dimensionsreduktion durchführen, sofern sich die neuen Variablen dann noch interpretieren lassen. Andernfalls musst Du selbst entscheiden, ob die Interaktion der Variablen (interaction oder Wechselwirkung) gewünscht auszunutzen ist. Lassen sich denn die unabhängigen Variablen bereits sprachlich miteinander verbinden? Oder sind sie wirklich hart getrennt voneinander? Vielleicht hilft auch eine vorherige Orthogonalisierung ...
Du kannst basierend auf Deinen Daten eine Leave-One-Out Cross Validation durchführen, also Deinen Rechner bitten, per Zufall immer nur einen Teil Deiner Daten zu nehmen, um die Mittelwerte (Deine Variablen) zu bilden. Verändert sich bei diesen vielen hundert Auswertungen nur wenig Dein mittleres Regressionsergebnis, so ist wenigstens eine gewisse Robustheit Deines Modelles nachgewissen.
Deine Problembeschreibung ist leider uninformativ. Man braucht zum Verständnis die Koeffizienten (und deren Standardfehler). Eine Änderung von +0,05 zu -0,05 wäre wenig beeindruckend, sie wäre dasselbe wie eine Änderung von 0,25 auf 0,20.
Eventuell ein Suppressoreffekt, aber in Unkenntnis dessen, worum es geht, kann man nicht viel sagen.
Mein Beispiel muss ich korrigieren: "...wie eine Änderung von +0,25 auf +0,15."
Es handelt sich derzeit um einen Pretest mit sieben Leuten. Vielleicht liegt es auch daran, weil hab schon jetzt Sorgen, dass all meine Hypothesen verworfen werden. Es sind alles latente Variablen und habe sie durch den Mittelwert in die Regression eingeführt. Der Koeffizient einer Variablen war negativ in der multiplen Regression, aber positiv in der einfachen. An sich sind alle Variablen klar verschieden.