Marktforschung: Statistische Signifikanz
Definition
Die statistische Signifikanz gibt Aufschluss darüber, ob sich statistische Ergebnisse über die erhobene Stichprobe hinaus auf eine Grundgesamtheit generalisieren lassen. Hier kann beispielsweise danach gefragt werden, ob der Unterschied in den Mittelwerten in zwei Gruppen nur zufällig vorliegt, oder ob dieser Unterschied auch in der restlichen Population dieser beiden Gruppen aller Wahrscheinlichkeit nach auftritt. Ist ein Ergebnis signifikant bedeutet das also, dass es nicht zufällig nur in dieser Stichprobe auftritt, sondern dass man auf dieser Basis eben auch eine Aussage über die Grundgesamtheit treffen darf. Er berechnet dafür die Wahrscheinlichkeit, mit der ein empirisches Ergebnis auftreten kann, wenn die Verteilung der Population der der Nullhypothese entspricht, auch Irrtumswahrscheinlichkeit genannt.
Signifikanztests
Um zu überprüfen ob ein statistisches Ergebnis signifikant ist, wird die Interferenzstatistik angewendet. Hierzu werden je nach Beschaffenheit der Daten unterschiedliche Verteilungen zugrunde gelegt, bzw. unterschiedliche Tests gerechnet. Bei der Überprüfung auf Unterschiede in den Mittelwerten bietet sich beispielsweise ein z-Test oder t-Test an, für Kontingenztafeln ist der Chi²-Test geeignet.
Vorgehen bei Signifikanztests
Zunächst gilt es, die Untersuchungshypothesen zu formulieren. Dazu wird die eigentliche Forschungsfrage als Alternativhypothese (H1), ihre gegensätzliche Behauptung als Nullhypothese H0 formuliert. Auf das Beispiel der Mittelwertunterschiede bezogen sähe die Notation wie folgt aus:
- H0: µ1= µ2
- H1: µ1≠ µ2
Die Forschungsfrage lautet also "Es gibt einen Unterschied in den Mittelwerten", die zu testende Hypothese behauptet entsprechend, dass es keinen Unterschied gibt, die Mittelwerte in der Grundgesamtheit also gleich sind. µ steht dabei für den wahren Mittelwert in der Grundgesamtheit, der aufgrund der Unbekanntheit der Verteilung ebenfalls unbekannt ist. Anhand der Stichprobe lässt sich der Wert xˉ über das arithmetische Mittel und die geschätzte Standardabweichung s für jede der beiden Gruppen errechnen. Über diese Parameter lässt sich nun eine Aussage bezüglich des Vorliegens von Normalverteilungseigenschaften der beiden Mittelwerte treffen. Mit Hilfe der Prüfgröße z lässt sich der theoretische Wert in einer Tabelle zur Standardnormalverteilung bestimmen. Im nächsten Schritt muss das Signifikanzniveau α festgelegt werden. Die Höhe des Niveaus ist in einigen Disziplinen, die sich der Statistik bedienen, über eine Konvention auf 5% bzw. 1% festgelegt. Bei einem 5%igen Signifikanzniveau ist die Wahrscheinlichkeit, mit der ein gefundener Effekt eintritt geringer als bei einem Niveau von einem Prozent. Nun muss der Ablehnungsbereich bestimmt werden, wozu die Testrichtung von Relevanz ist. In dem vorliegenden Beispiel wird von einer ungerichteten Hypothese ausgegangen, entsprechend wird ein zweiseitiger Test gewählt. Der einseitige Test ist dann zu bevorzugen, wenn bereits eine Annahme über die Richtung des Zusammenhangs überprüft werden soll. Ist der Test zweiseitig wird der α-Wert durch 2 geteilt, um den theoretischen z-Wert bestimmen zu können. Für den einseitigen Test kann der α-Wert direkt eingesetzt werden. Das Verhältnis zwischen empirischem und dem theoretischem Wert entscheidet nun über verwerfen oder annehmen der Nullhypothese. Ist der empirische Wert größer als der theoretische, so liegt der theoretische Wert im Ablehnungsbereich, und das Ergebnis ist als signifikant einzustufen. Somit wird die Nullhypothese abgelehnt und die Alternativhypothese angenommen.
Probleme von Signifikanztests
Es gibt zwei mögliche Fehlerquellen in Signifikanztests (von Messfehlern einmal abgesehen): Lehnt man die Nullhypothese ab, obwohl sie richtig ist, spricht man vom α-Fehler. Behält man die Nullhypothese hingegen bei, obwohl diese falsch ist, handelt es sich um einen β-Fehler. Die Wahrscheinlichkeit für einen β-Fehler ist von den Faktoren Stichprobenumfang, Signifikanzniveau, Qualität des Signifikanztests und der Größe der Differenz der Parameter in der Grundgesamtheit abhängig. Je geringer der α-Fehler gehalten wird, desto größer ist in der Regel die Wahrscheinlichkeit für einen β-Fehler. Die beiden übrigen Entscheidungsausgänge sind die Ablehnung der Nullhypothese wenn diese auch tatsächlich falsch ist, und das Annehmen der Nullhypothese wenn diese auch in der Grundgesamtheit gil. In beiden Fällen hat man die richtige Entscheidung getroffen.
Quellen
Bortz, J. & Döring, N. (2006). Forschungsmethoden und Evaluation für Human- und Sozialwissenschaftler (4. Aufl.). Springer: Heidelberg.
Diekmann, A. (2011). Empirische Sozialforschung. Grundlagen Methoden Anwendungen. Rowohlt: Hamburg.
Altobelli, C. F. (2007). Marktforschung. Methoden – Anwendungen – Praxisbeispiele. Lucius & Lucius: Stuttgart.