Kriterien zur Faktorenextraktion
Zur Bestimmung der Faktorenanzahl sollten mehrere Kriterien herangezogen werden (Bühner, 2011). Die Anzahl der Faktoren hängt dabei stark vom Muster und von der Stärke der Interkorrelationen ab: Wünschenswert ist, dass sich hohe Korrelationen innerhalb von Item-Gruppen ergeben und gleichzeitig lediglich niedrige Korrelationen zwischen diesen Gruppen auftreten, sodass sich mehrere übergeordnete Komponenten extrahieren lassen (Fromm, 2008). Einerseits sollten dabei so viele Faktoren extrahiert werden, dass möglichst viel Varianz erklärt wird und andererseits sollte die Zahl der Faktoren möglichst gering sein, um eine wirkliche Datenreduktion zu erreichen (Fromm, 2008; Backhaus et al., 2011). Wichtig ist dabei insbesondere, dass sich die resultierenden Faktoren inhaltlich plausibel erklären und benennen lassen und dass die Korrelationsmatrix durch die Ladungen der Faktoren gut reproduziert wird (Bühner, 2011; Eckstein, 2006). Je weniger Faktoren extrahiert werden, desto geringer ist naturgemäß das Ausmaß an Varianzaufklärung. Dies muss aber in Maßen in Kauf genommen werden, da eine Verdichtung der Variablen ja das Ziel der Analyse darstellt. Dabei ist es vom Ziel der Untersuchung abhängig, wie stark diese beiden Aspekte – also die Anzahl der resultierenden Faktoren und die Höhe der Varianzaufklärung – gewichtet werden (Backhaus et al., 2011).
Als Möglichkeiten zur Extraktion von Faktoren und damit zur Bestimmung der Anzahl der Faktoren können verschiedene Methoden angewandt werden, die oft nicht unbedingt zu übereinstimmenden Ergebnissen führen, weshalb beispielsweise Wolff und Bacher (2011) dazu raten, „alle in Betracht kommenden Lösungen zu inspizieren und diejenige Lösung zu wählen, die am besten interpretierbar ist“ (S. 343).
11.1.2.4.1Bestimmung der Faktorenanzahl anhand theoretischer Überlegungen
Eine Möglichkeit besteht grundsätzlich darin, die Faktorenanzahl aufgrund inhaltlich-theoretischer Überlegungen selbst festzulegen, wobei in diesem Fall eine konfirmatorische Faktorenanalyse angewendet werden sollte (Bühner, 2011). Da für die vorliegenden Daten aus theoretischer Sicht die Anzahl der Faktoren nicht vorab bestimmt werden kann, wird dieses Kriterium nicht angewandt. Inhaltlich-theoretische Überlegungen werden aber im Verlauf der Überprüfung alternativer Faktorenlösungen einbezogen, um die Eignung verschiedener möglicher Lösungen, die sich anhand der im Folgenden beschriebenen Kriterien ergeben, zu bewerten.
11.1.2.4.2 Kaiser-Guttman-Kriterium (Eigenwerte größer Eins)
Ein häufig angewandtes Kriterium ist die Extraktion einer Anzahl von Faktoren, die Eigenwerte größer Eins aufweisen, was auch als Kaiser-Guttman-Kriterium bezeichnet wird.
Tabelle 99 Erklärte Gesamtvarianz vor und nach der Rotation der Faktoren (N = 47 Lerngruppen)
„Ein Eigenwert ist die Summe der quadrierten Ladungen über alle Items auf einem Faktor. Er drückt aus, wie gut ein Faktor in der Lage ist, Unterschiede in der Beantwortung aller Items zu erklären“ (Bühner, 2011, S. 321). Im Gegensatz zum Anteil an Varianzaufklärung, der „durch die Summe der quadrierten Ladungen aller Faktoren im Hinblick auf eine Variable erreicht wird“ (Backhaus et al, 2011, S. 359), beschreibt der Eigenwert denjenigen Beitrag zur Varianzaufklärung „eines Faktors im Hinblick auf die Varianz aller Variablen“ (Backhaus et al., 2011, S. 359). Ein Eigenwert größer Eins bedeutet dementsprechend, dass ein Faktor mehr Unterschiede aufklären kann als ein standardisiertes Item (Bühner, 2011). Die Extraktion eines Faktors, der weniger Varianz aufklärt als ein einzelnes Item, wäre daher nicht sinnvoll. Da nach dem Kaiser-Guttman-Kriterium alle Faktoren extrahiert werden, die Eigenwerte größer Eins aufweisen, auch wenn diese nur gering über Eins liegen, wird durch diese Methode die Anzahl von Faktoren eher überschätzt (Gorsuch, 1983; Moosbrugger & Schermelleh-Engel, 2008; Rudolf & Müller, 2004; Zwick & Velicer, 1986). Bühner (2011) empfiehlt die Anwendung dieses Kriteriums daher nur dann, „wenn eine besonders differenzierte Aufgliederung eines Merkmalsbereichs angestrebt wird und besonders reliable Messwerte vorliegen“ (S. 321). Tabelle 99 stellt das Ergebnis der Analyse der Eigenwerte dar. Unter Anwendung des KaiserGuttman-Kriteriums müssten demnach neun Faktoren extrahiert werden.
Bei insgesamt 28 einbezogenen Items würde eine Neun-Faktorenlösung allerdings bedeuten, dass – selbst bei gleichmäßiger Anzahl von Items pro Faktor – jeder Faktor nur aus drei Items bestünde, sodass hier einerseits keine wirkliche Datenreduktion erfolgen würde und zusätzlich die Aussagekraft der Faktoren nur gering wäre. Die Ergebnisse der neunfaktoriellen Lösung, die der Vollständigkeit wegen dennoch durchgeführt wurde, werden deshalb hier nicht weiter dargestellt, sondern lediglich knapp zusammengefasst. Naturgemäß ist die erklärte Gesamtvarianz bei einer Extraktion von einer hohen Faktorenanzahl mit 75.89 % relativ hoch. Allerdings bestätigte sich bei der Analyse der rotierten Komponentenmatrix die Vermutung, dass keine inhaltlich sinnvolle und hilfreiche Lösung resultiert. Drei der neun Faktoren bestehen lediglich aus zwei Items und erreichen damit nicht die Minimalanzahl an drei Items pro Faktor. Zudem laden einige Items auf mehreren Faktoren nahezu gleich hoch, sodass nicht von einer Einfachstruktur gesprochen werden kann. Außerdem kommen vereinzelt negative Faktorladungen vor, die sich inhaltlich nur schwer begründen lassen. Die restlichen sechs Faktoren lassen sich grundsätzlich inhaltlich zwar sinnvoll beschreiben, erreichen aber aufgrund der teilweise geringen Itemanzahl (drei Items pro Faktor) nicht die geforderte interne Konsistenz (Cronbachs α ≥ .70). Die Neun-Faktoren-Lösung wird daher zugunsten einer Lösung mit einer geringeren Anzahl an Faktoren verworfen.
11.1.2.4.3 Scree-Test
Auch der Scree-Test berücksichtigt die bereits erläuterten Eigenwerte, setzt den Grenzwert zur Extraktion von Faktoren aber nicht automatisch auf Eins fest, sondern analysiert den Verlauf der Eigenwerte. Dazu werden im Scree-Plot die Eigenwerte von links nach rechts absteigend sortiert grafisch veranschaulicht, sodass der Eigenwertabfall betrachtet werden kann. Meist findet sich eine Stelle, an der ein Knick entsteht, der die Faktoren mit hohen Eigenwerten von denjenigen mit nur noch marginaler Varianzaufklärung (dem sogenannten ‚Geröll') trennt. Die Anzahl der zu extrahierenden Faktoren entspricht denjenigen Punkten im Scree-Plot, die links von diesem Knick liegen (Bortz, 1999; Tabachnik & Fidell, 2004). Trotz ihrer praktischen Bewährung, wird die Subjektivität dieser Methode oft kritisiert (Backhaus et al., 2011; Bühner, 2011; Streiner, 1998; Wolff & Bacher, 2011). Problematisch ist vor allem, wenn mehr als ein Knick zu erkennen ist (Wolff & Bacher, 2011). Einige Autoren (z. B. Cattell & Vogelmann, 1977; zsf. Wolff & Bacher, 2011) empfehlen in solchen Fällen, sich für die geringere Faktorenanzahl zu entscheiden, da daraus eine stärkere Datenreduktion resultiert. Für die Wahl des zweiten/letzten Knicks spricht allerdings, dass erst dieser die Faktoren mit höherer Varianzaufklärung von den tatsächlich eher unbedeutenden Faktoren trennt, sodass bei der Wahl des ersten Knicks eventuell ein bedeutender Anteil an Varianzaufklärung verschenkt werden würde. Das Testen mehrerer möglicher Faktorenlösungen kann dabei dazu beitragen, die Gefahr der Überextraktion (Extraktion zu vieler Faktoren) oder der Unterextraktion (Extraktion zu weniger Faktoren) zu vermeiden (Wolff & Bacher, 2011).
Abbildung 18 Scree-Plot für die 28 hoch inferent erfassten Items (N = 47 Lerngruppen)
Abbildung 18 bildet den Scree-Plot ab, der den Eigenwertverlauf der 28 Items darstellt. Dabei ist an zwei Stellen eine Abflachung der Kurve zu erkennen: Der erste Knick liegt beim vierten Item, was auf eine Extraktion von drei Faktoren hindeuten würde. Allerdings gibt es beim sechsten Faktor einen weiteren Knick, nach dem sich die Kurve insgesamt der X-Achse annähert
und flacher wird. Würde man das Kriterium heranziehen, dass so viele Faktoren extrahiert werden sollen, dass die darunter liegenden Faktoren lediglich das ‚unbedeutsame Geröll' darstellen, so spräche dies für eine fünffaktorielle Lösung. Sie erscheint auch deswegen angemessener, da bereits die Korrelationsmatrix (vgl. 11.1.2.2.2) gezeigt hat, dass nicht sehr viele Items paarweise hoch miteinander korrelieren, was für eine stärkere Ausdifferenzierung der einzelnen Unterrichtsqualitätsmerkmale spricht. Andererseits würde eine dreifaktorielle Lösung eine komprimierte Datenreduktion ermöglichen. Deshalb sollen beide Lösungen – die Dreisowie die Fünf-Faktorenlösung – dargestellt und miteinander verglichen werden. Die Größe der Faktoren könnte bei beiden Lösungen passend sein. Bei einer Gleichverteilung der Items auf die Faktoren, entstünden bei der fünffaktoriellen Lösung Faktoren mit jeweils fünf bis sechs Items, bei der dreifaktoriellen Lösung enthielte jeder Faktor etwa neun Items. Hier muss deshalb geprüft werden, ob sich die Faktoren mit jeweils etwa neun Items noch sinnvoll benennen und inhaltlich beschreiben lassen. Außerdem werden Konsistenzanalysen der resultierenden Skalen berichtet, die Aufschluss darüber geben, ob die interne Konsistenz der gebildeten Faktoren ausreichend hoch ist. Im Folgenden werden beide Faktorenlösungen dargestellt, wobei in beiden Fällen iterativ problematische Items entfernt wurden, um eine logisch zu interpretierende Einfachstruktur zu erhalten.
