Signifikanz

Um zu überprüfen, ob ein statistisches Ergebnis signifikant ist, werden statistische Tests durchgeführt. Dabei werden je nach Beschaffenheit der Daten unterschiedliche Verteilungen zugrunde gelegt, bzw. unterschiedliche Tests gerechnet. Bei der Überprüfung auf Unterschiede in den Mittelwerten bietet sich beispielsweise ein z-Test oder t-Test an, für Kontingenztafeln ist der Chi²-Test geeignet.

Für einen Signifikanztest werden zunächst die Untersuchungshypothesen formuliert. Dazu wird die eigentliche Forschungsfrage als Alternativhypothese (H1), ihre gegensätzliche Behauptung als Nullhypothese H0 formuliert, z.B.:

• H0: µ1 = µ2
• H1: µ1 ≠ µ2

Die Forschungsfrage wäre in diesem Beispiel "Es gibt einen Unterschied zwischen µ1 und µ2", die zu testende Hypothese behauptet entsprechend, dass es keinen Unterschied gibt.

Von Messfehlern abgesehen, gibt es zwei mögliche Fehlerquellen in Signifikanztests: Lehnt man die Nullhypothese ab, obwohl sie richtig ist, spricht man vom "α-Fehler" oder "Fehler 1. Art". Behält man die Nullhypothese hingegen bei, obwohl diese falsch ist, handelt es sich um einen "β-Fehler" oder "Fehler 2. Art". Die Wahrscheinlichkeit für einen β-Fehler ist von den Faktoren Stichprobenumfang, Signifikanzniveau, Qualität des Signifikanztests und der Größe der Differenz der Parameter in der Grundgesamtheit abhängig. Je geringer der α-Fehler gehalten wird, desto größer ist in der Regel die Wahrscheinlichkeit für einen β-Fehler.

Die beiden übrigen Entscheidungsausgänge sind die Ablehnung der Nullhypothese, wenn diese auch tatsächlich falsch ist, und das Annehmen der Nullhypothese, wenn diese auch in der Grundgesamtheit gilt. In beiden Fällen hat man die richtige Entscheidung getroffen.

Das Signifikanzniveau ist die obere Grenze für die Irrtumswahrscheinlichkeit. Es ist frei wählbar und entspricht jenem Wert, den man für die Wahrscheinlichkeit eines α-Fehlers noch eben akzeptieren will. Häufig werden Signifikanzniveaus von 1% oder 5% verwendet. Ein Signifikanzniveau von 1% bedeutet, dass im Schnitt eine von 100 klinischen Studien, bei denen die Nullhypothese richtig ist (z.B. dass ein Medikament wirkungslos ist), zu dem Schluss kommt, sie sei falsch. Bei einem Signifikanzniveau von 5% wäre es eine von 20 Studien.

Eine wichtige Kennzahl für das Signifikanzniveau ist der p-Wert. Bei einem p-Wert von kleiner oder gleich 5 % spricht man von einem signifikanten, bei einem Wert von ≤ 1 % von einem sehr signifikanten und bei einem Wert von ≤ 0,1 % von einem hoch signifikanten Ergebnis.

Die Größe der statistischen Signifikanz verhält sich umgekehrt zum Zahlenwert des Signifikanzniveaus – ein niedriges Signifikanzniveau entspricht einer hohen Signifikanz und anders herum.

Bortz, J. & Döring, N. (2006). Forschungsmethoden und Evaluation für Human- und Sozialwissenschaftler (4. Aufl.). Springer: Heidelberg.
Diekmann, A. (2011). Empirische Sozialforschung. Grundlagen Methoden Anwendungen. Rowohlt: Hamburg.
Altobelli, C. F. (2007). Marktforschung. Methoden – Anwendungen – Praxisbeispiele. Lucius & Lucius: Stuttgart.