Signifikanztest bei Mehrfachantworten-Sets?
Hello!
Kann ich mit einem Chi²-Test oder t-Test folgendes auf signifikante Unterschiede prüfen? Und wie?
Gruppe A ist vorgegeben. Gruppe B ist empirisch untersucht worden. Jetzt soll getestet werden, ob Gruppe B signifikant von Gruppe A zu unterscheiden ist, oder so.
Vielen Dank :)
1 Antwort
Du sprichst das Problem des multiplen Testens an. Zunächst mal müsste man die 5 Fragen als getrennte Variablen betrachten; das tust Du ja praktisch bei Deiner Aufstellung. Dann jede Frage einzeln testen, z.B. auf dem 5%-Niveau.
Wenn Du nun einen Unterschied so definierst, dass mindestens eine Frage signifikant sein muss, dann must Du das Test-Niveau auf 1% nach Bonferroni heruntersetzen, denn die Wahrscheinlichkeit, dass bei mindestens einer der 5 Fragen rein zufällig, also bei keinem Unterschied in der Grundgesamtheit, das Ergebnis auf dem 5%-Niveau signifikant ausfällt, ist wesentlich höher als 5%, nämlich genau genommen 1-0,95^5=22,6%, wenn im schlimmsten Fall die Fragen nicht korreliert wären. Wenn Du 1% für die einzelnen Fragen nimmst, erhältst Du 1-0,99^5 = 4,9% als Gesamt-Irrtumswahrscheinlichkeit, sodass Du damit das 5%-Niveau halten würdest.
Bonferroni heißt einfach, dass Du das gewünschte Signifikanz-Niveau durch die Anzahl der Fragen teilen musst, bei 10% Niveau hier also 2%, bei 1% dann 0,2%, mit dem Du jede einzelne Frage testen musst. Es gibt weniger konservative Methoden, z.B. hierarchisches Testen, in dem man die Fragen nach Wichtigkeit ordnet, und wo man dann das Niveau nicht ganz so weit herunter drücken muss. Aber Bonferroni ist am einfachsten zu berechnen und zu verstehen.
Auch könntest Du, da die Gruppe A ja feststeht (vorgegeben ist) und somit keine Stichprobe ist, einen 1-Stichproben-Test machen, zum Prüfen ob die Prozentzahlen in B den vorgegebenen in A entsprechen können. D.h. einfach mit dem Binomial-Test die Ws für 20% bei p=50%, für 35% bei p=40% usw. für N=120 ausrechnen. Und da hierbei für den ungünstigsten Fall p=10%=0,1 gilt, 120*0,1*(1-0,1)=10,8>9, kannst mit der Normalverteilung arbeiten, s. Wikipedia.
Wenn Du allerdings beide Gruppen als Stichproben betrachtest, müsstest Du statdessen den Chi²-Test anwenden zum Vergleich von 2 zufälligen Prozentzahlen.