- Wann ist etwas signifikant? Ist es, wenn es den den T(krit) überschreitet? Lehnt man dann die Nullhypothese ab?
Ja, genau. Signifikant bedeutet so viel wie: Die Teststatistik weicht so stark von dem Wert ab, den die H0 impliziert, dass man sich gegen die H0 entscheidet. Und der kritische Wert ist halt die Grenze, ab der die Abweichung groß genug ist.
- Gibt es immer einen Fehler 1. und 2. Art oder ist das nur zufällig?
Wenn Du eine Studie durchführst, und einen Signifikanztest rechnest, dann wirst Du Dich ja irgendwie entscheiden (entweder wirst Du bei der H0 bleiben oder sie verwerfen). Du weißt nie, ob diese Entscheidung ein Fehler war, da Du ja nicht weißt, welche Hypothese in der Population wahr ist. Wenn Du die H0 verwirfst, könnte das ein Alpha-Fehler sein (= Fehler der 1. Art: H0 ist wahr, wird aber verworfen). Wenn Du die H0 beibehältst, könnte das ein Beta-Fehler sein (= Fehler der 2. Art: H0 ist falsch, wird aber beibehalten).
Der Punkt bei Alpha- und Beta-Fehler ist, dass man vor der Durchführung der Studie abschätzen kann, wie wahrscheinlich die beiden Fehlerarten sind und natürlich geht es darum, dass die Wahrscheinlichkeit eines Alpha- oder Beta-Fehlers möglichst gering gehalten werden soll. Dies passiert beim Alpha-Fehler dadurch, dass man das Signifikanzniveau niedrig ansetzt und beim Beta-Fehler durch versuchsplanerische Maßnahmen (z.B. große Stichproben).
- Was genau besagt der Freiheitsgrad (df)? Hat das dann auch etwas mit der Signifikanz zu tun?
Ein Freiheitsgrad ist als Konzept nicht so leicht zu erklären. Grob gesagt kann mit Hilfe des Freiheitsgrads die Form der Verteilung der Teststatistik bestimmt werden.
t-Verteilungen sind eine Familie an Verteilungen, genauso Chi²-Verteilungen oder F-Verteilungen. Damit klar ist, um welche t-Verteilung genau es sich handelt, braucht man die Freiheitsgradzahl. Bei t-Verteilungen gilt z.B. je höher der df-Wert, umso schmaler ist die Verteilung und umso eher nähert sie sich der Form einer Standardnormalverteilung an.
An sich sind Freiheitsgrade die Anzahl der Werte, die bei der Berechnung einer Statistik (einer Maßzahl) frei variieren dürfen. Wikipedia kann das etwas besser erklären: https://de.wikipedia.org/wiki/Anzahl_der_Freiheitsgrade_(Statistik)
- Wie wird der p-Wert und der t-Wert ermittelt? Der p-Wert, ist doch (glaube ich) das Alpha, oder? Ist das der Bereich, wo dann die Nullhypothese abgelehnt wird? Und was genau sagt der t-Wert aus?
Der p-Wert ist eine Fläche unterhalb der Verteilung der Teststatistik, die gilt, wenn die H0 wahr ist. Irgendwo in der Verteilung wird ja deine Teststatistik deiner aktuellen Studie sein. An der Stelle, wo die Teststatistik ist, beginnt die Fläche, deren Größe der p-Wert ist. Wenn die Gesamtfläche 1 oder 100% ist, dann ist die "p-Fläche" eben zwischen 0 und 1 groß. Der p-Wert gibt folgendes an: In dem Fall, dass die H0 wahr ist, gibt es den Anteil der möglichen Teststatistik-Werte an, die noch extremer wären, als deine jetzige Testatistik. Damit ist der p-Wert ein Maß, wie extrem deine Teststatistik ist (und "extrem" bedeutet: Wie stark deine Teststatistik aus der Studie von dem Wert abweicht, den die H0 im Durchschnitt impliziert).
Wenn p = 0.04 ist, heißt das z.B.: 4% aller möglichen Werte unter der H0 wären noch extremer als der Wert, den Du in der Studie erhalten hast.
Für den p-Wert muss man wie gesagt die Größe der Fläche ab der Teststatistik hin zum Ablehnungsbereich bestimmen.
Der t-Wert wird aus den Stichprobendaten berechnet (dafür braucht man je nach Situation z.B. Stichprobenmittelwerte und Stichprobenvarianzen). Er misst die Abweichung der Teststatistik von dem Durchschnittswert unter der H0, die Einheit ist dabei Standardfehler. D.h. t = 1 heißt z.B. Deine Teststatistik liegt ein Standardfehler über dem Wert, der durch die H0 impliziert wird.
Beim t Test für unabhängige Stichproben ist der t-Wert eine standardisierte Mittelwertsdifferenz (gibt also an, wie stark sich die Mittelwerte unterscheiden, und zwar in Standardfehlern. D.h. t = 1 heißt: Die Mittelwerte unterscheiden sich um 1 Standardfehler).
t-Wert und p-Wert hängen eng miteinander zusammen. Du kannst die Signifikanz eines Tests auf zwei Arten bestimmen. Du musst nämlich einfach nur entscheiden, ob deine Teststatistik im Ablehnungsbereich ist. Um das zu entscheiden, vergleichst Du entweder deine Teststatistik mit dem kritischen Wert. Oder Du vergleichst den p-Wert mit dem Signifikanzniveau: Wenn p kleiner als das Signifikanzniveau ist, dann MUSS deine Teststatistik im Ablehnungsbereich sein. Wenn das Signifikanzniveau z.B. 0.05 ist, und dein p = 0.03, dann heißt das: Nur 3 % aller möglichen Werte wären noch extremer als deine Teststatistik. Wenn aber nur 3 % noch extremer wären, dann gehört die Teststatistik zu den extremsten 5% aller Werte, ist also damit im Ablehnungsbereich.
Damit ist auch klar. Signifikanzniveau und p-Wert sind NICHT das gleiche. P ist also NICHT gleich Alpha. Du vergleichst p mit Alpha, um zu entscheiden, ob die H0 verworfen wird oder nicht.