< Zurück   INHALT   Weiter >

11.1.2.2 Eignung der Daten für die Faktorenanalyse

Um die Eignung der Daten für die Anwendung der explorativen Hauptkomponentenanalyse zu überprüfen, werden im Folgenden zunächst die deskriptiven Statistiken für das Ratingsystem dargestellt. Im Anschluss werden die Interkorrelationen der Items betrachtet, bevor auf die Ergebnisse des Bartlett-Tests auf Sphärizität, den Kaiser-Meyer-Olkin-Test und die MSA-Werte (Measure of Sampling Adequacy) eingegangen wird.

11.1.2.2.1 Deskriptive Statistiken des hoch inferenten Ratingsystems

Als Grundlage für die Hauptkomponentenanalyse dienen die Daten des hoch inferenten Ratingsystems, das in Abschnitt 9.3.4.2 vorgestellt wurde und sich im Anhang (Abschnitt 8; S. 341) vollständig nachlesen lässt. Hier wurden 28 Items formuliert, anhand derer die Leseübungen aus 47 Unterrichtsvideos in ihrer Qualität beurteilt wurden. Wie in Abschnitt 9.3.4.2 beschrieben, wurde eines der ursprünglich 48 Videos nicht mit dem hoch inferenten Rating ausgewertet, da hier die Leseübung eine Dauer von nur 2.67 Minuten hatte und sich somit nicht sinnvoll qualitativ beurteilen ließ. Alle Items waren vierstufig aufgebaut, wobei die „1“ eine geringe, die „4“ eine hohe Ausprägung des jeweiligen Merkmals beschreibt. Alle 47 Videos wurden von zwei Raterinnen unabhängig voneinander beurteilt, sodass die Mittelwerte der beiden Raterinnen als Grundlage für die Berechnungen herangezogen werden können. [1]

In Tabelle 96 sind die deskriptiven Statistiken für die einzelnen Items dargestellt, welche aufsteigend nach ihren Mittelwerten sortiert wurden. Als zusätzliche Informationen neben Minimalund Maximalwerten, Mittelwert und Standardabweichung sind auch die Schiefe und Kurtosis der Variablen abgebildet, da diese genauere Aussagen zur Verteilung ermöglichen. Die Schiefe zeigt an, ob die Verteilung eher linkssteil/rechtsschief (Werte > Null) oder aber rechtssteil/linksschief (Werte < Null) ist (Bühner & Ziegler, 2009). Die Kurtosis zeigt an, ob die Verteilung im Vergleich zu einer Normalverteilung eher breitgipflig (Werte < Null) oder schmalgipflig (Werte > Null) ist (Bühner & Ziegler, 2009). Diese kann aber nur sinnvoll bei unimodalen Verteilungen interpretiert werden, da sie sich an deren Gipfel orientiert (Hussy, Schreier & Echterhoff, 2010). Je ähnlicher sich Variablen in ihren Verteilungen sind, desto wahrscheinlicher sind auch hohe Interkorrelationen zwischen den Items (Bühner, 2006).

Betrachtet man zunächst die Min-Max-Werte, so fällt auf, dass der Großteil der Ratingitems die vierstufige Skala ausschöpft, dass es aber vereinzelt Items gibt, in denen der niedrigste Wert („1“) nie vergeben wurde (Aktivierende Aufgaben; Vermeidung von no-task; Vorhandensein von Unterstützungsmaßnahmen bei Fragen und Problemen und Positive Fehlerkultur).

Für die beiden Items Exploration der Denkweisen der Schüler sowie Exploration des Vorwissens und vorunterrichtlicher Vorstellungen wurde hingegen die höchste Ratingstufe „4“ nie vergeben. Diese beiden Items gehören – gemeinsam mit dem Insistieren auf Erklärung und Begründung und der Individualisierung durch Feedback – auch zu den Merkmalen mit den geringsten Mittelwerten und damit zu den insgesamt schwierigsten Items. Die höchsten Werte erreichen hingegen mit Mittelwerten zwischen M = 3.12 und M = 3.36 die Items Vorhandensein von Unterstützungsmaßnahmen bei Fragen und Problemen, Selbstsicherheit von Schülerbeiträgen, Verständnisorientierte Eigeninitiative der Schüler und Positive Fehlerkultur. Auch die Schiefe und Kurtosis der einzelnen Items unterscheiden sich recht stark voneinander, was darauf hindeutet, dass deren Verteilungen sehr unterschiedlich ausfallen.

Mit dem Kolmogorov-Smirnov-Test wurden die Items zudem auf Normalverteilung geprüft, wobei sich ergab, dass alle Items von einer Normalverteilung abweichen. Die Normalverteilung ist allerdings keine Voraussetzung für die Durchführung von explorativen Faktorenanalysen (Backhaus et al., 2011; Fromm, 2008), sondern die Items sollten lediglich Intervallskalenniveau aufweisen (Fromm, 2008) bzw. zumindest annähernd intervallskaliert sein (Schermelleh-Engel et al., 2007). [2]

11.1.2.2.2 Korrelationsmatrix

Die Interkorrelationen der Items können erste Hinweise auf die Faktorenstruktur liefern. Würden hier alle Korrelationen nahe Null liegen, könnte man kaum von einer dimensionalen Struktur ausgehen (Fromm, 2008). Tabelle 97 enthält daher die Korrelationen aller 28 Items untereinander. Dabei wurde auf den Rang-Korrelationskoeffizienten nach Spearman-Rho zurückgegriffen, da die Items – wie im vorigen Abschnitt 11.1.2.2.1 gezeigt wurde – nicht normalverteilt sind. Insgesamt deutet das Muster der Interkorrelationen der einzelnen Items auf eine deutliche Ausdifferenzierung der beobachteten Unterrichtsqualität hin. So fällt zunächst auf, dass von den insgesamt 378 Korrelationskoeffizienten nur 63 Koeffizienten signifikant sind, was etwa 17 % der Gesamtanzahl an Korrelationen entspricht. Dabei sind 55 Korrelationen positiv und acht negativ, was darauf hindeutet, dass vermutlich nicht nur eine Dimension erfasst wird. 72 % der Korrelationen liegen in einem niedrigen Bereich zwischen r = -.20 und r = .20, was wiederum dafür spricht, dass eher heterogene Facetten der Unterrichtsqualität erfasst wurden. Allerdings gibt es kein einziges Item, das nicht mit zumindest einem weiteren Items signifikant korreliert.

Tabelle 97 Interkorrelationen (Spearman-Rho) der hoch inferent erfassten Items (N = 47 Lerngruppen)

Die wenigsten Zusammenhänge zu weiteren Items weist dabei das Item Vorhandensein von Unterstützungsmaßnahmen bei Fragen und Problemen auf, das lediglich mit dem Item Reduzierung der Komplexität von Lerninhalten durch Sequenzierungen signifikant positiv korreliert. Auffallend ist weiterhin das Item Lehrkraft als Mediator, welches auch lediglich mit einem weiteren Item, der Verständnisorientierten Eigeninitiative der Schüler, signifikant zusammenhängt, wobei diese Korrelation allerdings negativ ist. Auch bei den weiteren (nicht signifikanten) Korrelationen des Items Lehrkraft als Mediator fällt auf, dass es häufiger als die übrigen Items negativ mit weiteren Items zusammenhängt (16 Mal negative Korrelationen, 11 Mal positive Korrelationen).

An dieser Stelle wäre es möglich, sofort einzelne Items anhand des Korrelationsmusters und inhaltlicher Überlegungen aus den Analysen auszuschließen. Es wurde allerdings entschieden, auch diese Items zunächst beizubehalten. Alle Items, die sich in den Faktorenanalysen dann als problematisch erweisen, da sie beispielsweise ähnlich hohe Ladungen auf mehreren Faktoren aufweisen oder inhaltlich nicht zum jeweiligen Faktor passen, werden erst im Prozess iterativ entfernt, um möglichst viele Items zu erhalten.

11.1.2.2.3 Bartlett-Tests auf Sphärizität

Der Bartlett-Test auf Sphärizität prüft die Nullhypothese, dass in der Grundgesamtheit zwischen den einbezogenen Items Null-Korrelationen vorliegen. Die Minimalvoraussetzung für eine sinnvolle Anwendung einer Faktorenanalyse ist, dass zwischen mindestens zwei der Variablen auch in der Grundgesamtheit Zusammenhänge bestehen. Für die vorliegenden Daten wird der Bartlett-Test auf Sphärizität mit einem Chi-Quadrat-Wert von 696.946 bei 378 Freiheitsgraden signifikant (p = .00). Damit kann die Null-Hypothese verworfen werden und die Daten eignen sich grundlegend für die Faktorenanalyse (Backhaus et al., 2011; Fromm, 2008; Bühner, 2011). Allerdings muss berücksichtigt werden, dass der Bartlett-Test eigentlich normalverteilte Daten voraussetzt (Backhaus et al, 2011), weshalb die Ergebnisse nur vorsichtig interpretiert werden dürfen.

11.1.2.2.4 Kaiser-Meyer-Olkin-Test

Der Kaiser-Meyer-Olkin-Test basiert auf den partiellen Korrelationen zwischen den einzelnen Itempaaren. Die bivariaten Korrelationen werden dabei also um den Einfluss weiterer Variablen bereinigt. Eine gute Eignung der Daten für die Faktorenanalyse liegt dann vor, wenn die partiellen Korrelationen möglichst gering sind, was sich durch ein hohes KMO-Maß ausdrückt. Der KMO-Wert kann grundsätzlich zwischen Null und Eins liegen (Fromm, 2008). Der Wert wird umso kleiner, je eher die einzelnen Items einen spezifischen Varianzanteil enthalten, den sie nicht mit weiteren Items teilen. Der KMO-Wert sollte dabei mindestens .50 erreichen, um eine Faktorenanalyse durchzuführen (Backhaus et al., 2006; Bühner, 2011; Kaiser, 1974). Bezieht man alle 28 Items mit ein, liegt der KMO-Wert für die vorliegenden Daten zunächst nur bei .45, was knapp unter dem geforderten Mindestwert von .50 liegt. Allerdings weist Bühner (2011) darauf hin, dass die Wahrscheinlichkeit, niedrige KMO-Werte zu erhalten, natürlich umso höher ist, je weniger homogen das erfasste Konstrukt konzeptualisiert wurde und je geringer die einzelnen Items dementsprechend miteinander korrelieren. Die vorliegenden 28 Items wurden einem sehr heterogenen und breiten Verständnis von kognitiver Aktivierung folgend entwickelt und auch die Korrelationsmatrix (vgl. 11.1.2.2.2) zeigte bereits, dass zwar zwischen Itemgruppen Zusammenhänge bestehen, dass es aber auch Items gibt, die nur mit wenigen anderen Items korrelieren. Auch eine eingeschränkte Varianz einiger Items kann sich negativ auf den KMO-Wert auswirken. Im folgenden Verlauf (vgl. 11.1.3) werden daher die KMO-Werte für Analysen unter Ausschluss einiger problematischer Items erneut berichtet.

11.1.2.2.5 MSA-Koeffizienten (Measure of Sampling Adequacy)

Tabelle 98 Anti-Image-Korrelationen unter Einbezug aller 28 Items (N = 47 Lerngruppen)

Items

Maß der Stichprobeneignung

01) Aktivierende Aufgaben

0.33

02) Exploration des Vorwissens und vorunterrichtlicher Vorstellungen

0.40

03) Unterstützung kognitiver Selbstständigkeit

0.48

04) Aktivitäten zur Herstellung aufgabenbezogener Motivation

0.52

05) Vorhandensein von Unterstützungsmaßnahmen bei Fragen und Problemen

0.25

06) Prozessuale statt inhaltliche Hilfe

0.51

07) Reduzierung der Komplexität von Lerninhalten durch Sequenzierungen

0.62

08) Fokussierungshilfen und Hervorhebungen

0.40

09) Spezifität der Reaktionen auf Schülerbeiträge

0.45

10) Exploration der Denkweisen der Schüler

0.65

11) Insistieren auf Erklärung und Begründung

0.51

12) Lehrkraft als Mediator

0.40

13) Sachlich-konstruktiver Umgang mit Schülerfehlern

0.51

14) Entspannte Lernatmosphäre

0.50

15) Selbstsicherheit von Schülerbeiträgen

0.55

16) Verständnisorientierte Eigeninitiative der Schüler

0.41

17) Positive Fehlerkultur

0.30

18) Wahlmöglichkeiten

0.47

19) Qualität differenzierender Maßnahmen

0.52

20) Pacing

0.55

21) Individualisierung durch Aufgabenund Fragestellungen

0.50

22) Individualisierung durch Strategieanregungen

0.47

23) Individualisierung durch Hilfestellungen

0.34

24) Individualisierung durch Feedback

0.57

25) Effektives Classroom Management

0.49

26) Vermeidung von no-task

0.41

27) Beteiligungsniveau der Schüler

0.47

28) Hinführung einzelner Schüler zu on-task-Verhalten

0.27

Anti-Image-Korrelationen < .50 werden in grauer Schrift angezeigt.

Die wenigsten Zusammenhänge zu weiteren Items weist dabei das Item Vorhandensein von Unterstützungsmaßnahmen bei Fragen und Problemen auf, das lediglich mit dem Item Reduzierung der Komplexität von Lerninhalten durch Sequenzierungen signifikant positiv korreliert. Auffallend ist weiterhin das Item Lehrkraft als Mediator, welches auch lediglich mit einem weiteren Item, der Verständnisorientierten Eigeninitiative der Schüler, signifikant zusammenhängt, wobei diese Korrelation allerdings negativ ist. Auch bei den weiteren (nicht signifikanten) Korrelationen des Items Lehrkraft als Mediator fällt auf, dass es häufiger als die übrigen Items negativ mit weiteren Items zusammenhängt (16 Mal negative Korrelationen, 11 Mal positive Korrelationen).

An dieser Stelle wäre es möglich, sofort einzelne Items anhand des Korrelationsmusters und inhaltlicher Überlegungen aus den Analysen auszuschließen. Es wurde allerdings entschieden, auch diese Items zunächst beizubehalten. Alle Items, die sich in den Faktorenanalysen dann als problematisch erweisen, da sie beispielsweise ähnlich hohe Ladungen auf mehreren Faktoren aufweisen oder inhaltlich nicht zum jeweiligen Faktor passen, werden erst im Prozess iterativ entfernt, um möglichst viele Items zu erhalten

  • [1] Zur Reliabilität der hoch inferenten beurteilten Qualitätsaspekte vgl. Abschnitt 9.3
  • [2] Inwieweit tatsächlich davon ausgegangen werden kann, dass durch Unterrichtsbeobachtungen hoch inferent erfasste Merkmale Intervallund nicht lediglich Ordinalskalenniveau aufweisen, kann angezweifelt werden. Bisher wurde noch nicht überprüft, inwiefern bei hoch inferenten Beobachtungsitems zur Unterrichtsqualität wirklich eine Gleichabständigkeit zwischen den einzelnen Ratingstufen vorausgesetzt werden kann. Dennoch wird im Rahmen dieser Arbeit von der Annahme einer Quasi-Intervallskalierung ausgegangen, um die Analysen durchführen zu können. Würde man diese Annahme nicht setzen, wäre es zudem nicht möglich, Maße wie den Mittelwert zu berechnen, die aber wichtige Informationen liefern. Die Problematik der Entscheidung zwischen einem Ordinalund einem Intervallskalenniveau thematisiert beispielsweise Fromm (2008).
 
< Zurück   INHALT   Weiter >