< Zurück   INHALT   Weiter >

11.4.2. Diskussion des methodischen Vorgehens

Die Ergebnisse der dritten Studie müssen immer vor dem Hintergrund interpretiert werden, dass es sich um eine relativ kleine Stichprobe von N = 47 videografierten Leseübungen handelt, anhand derer die Faktorenstruktur ermittelt wurde. Backhaus und Kollegen (2011) empfehlen beispielsweise die Anwendung einer Faktorenanalyse dann, wenn die Fallzahl mindestens der dreifachen Variablenanzahl entspricht und mindestens größer als 50 ist. Im Rahmen von Videoanalysen, welche naturgemäß meist geringere Stichprobengrößen aufweisen als beispielsweise fragebogenoder testbasierte Analysen, ist dies aber nur sehr schwer zu erreichen. Aufgrund der theoretischen Konzeptualisierung der Merkmale kognitiv aktivierender Leseübungen als ein sehr breites und heterogenes Konstrukt, das viele verschiedene Teilbereiche umfasst, wäre eine Beschränkung auf eine Anzahl von etwa 15 Items (was einem Drittel der Fallzahl entsprochen hätte) inhaltlich nicht begründbar gewesen. Daher wurde trotz der methodischen Einschränkungen eine Faktorenanalyse durchgeführt, wenngleich die Einschränkungen bei der Interpretation der Ergebnisse immer vor dem Hintergrund dieser Gegebenheiten betrachtet werden sollten. Insbesondere die stabile Schätzung der Ladungsmuster muss beim Vorliegen kleiner Stichproben angezweifelt werden (Moosbrugger & Hartig, 2003). Daher wäre es wünschenswert, die entwickelten Beobachtungssysteme auf andere Video-Stichproben anzuwenden, um deren Brauchbarkeit zu testen, sowie die Generalisierbarkeit der Ergebnisse zu überprüfen. Anhand einer größeren Stichprobe wäre es dann gegebenenfalls auch möglich, vorab vermutete Faktorenstrukturen (z. B. die dreivs. die fünffaktorielle Lösung) konfirmatorisch miteinander zu vergleichen und nicht lediglich inhaltlich, sondern auch anhand der Güte der jeweiligen Modelle zu entscheiden, welche Lösung die empirische Struktur der Daten am besten abbildet.

Neben der Größe der Stichprobe muss außerdem berücksichtigt werden, dass aufgrund der besonderen Zusammensetzung mit Schülern sowie Lehrpersonen aus BIP-Kreativitätsgrundschulen (vgl. Kapitel 8) nicht von einer repräsentativen Stichprobe auszugehen ist. Ob in den untersuchten Merkmalen der Unterrichtsgestaltung und -qualität Unterschiede zwischen den untersuchten Lehrpersonen an den privaten BIP-Schulen und den staatlichen Schulen bestehen, wurde noch nicht näher analysiert. Um zu überprüfen, ob allein durch diese Stichprobenzusammensetzung eine systematische Verzerrung der Ergebnisse vorliegen könnte, wurde für einen ersten Eindruck anhand einer multivariaten Varianzanalyse berechnet, ob die hoch inferent erfassten Items und die daraus extrahierten Komponenten in BIP-Schulen und staatlichen Schulen unterschiedlich ausgeprägt sind. Von den insgesamt 28 Items zeigt sich hier aber nur bei einem Item (Prozessuale statt inhaltliche Hilfe) ein signifikanter Unterschied. Dieser ist zugunsten der BIP-Schulen ausgeprägt. Für alle übrigen Items und auch für die übergeordneten Komponenten lassen sich keinerlei Unterschiede aufzeigen. Dieses erste Ergebnis, das in weiteren Analysen auch noch anhand der niedrig inferenten Kodierungen überprüft werden sollte (vgl. 12.2), kann zumindest als erster Hinweis darauf gedeutet werden, dass in den hier einbezogenen BIP-Schulen kein grundsätzlich anderer Unterricht stattfindet als in den analysierten staatlichen Schulen. Dabei muss allerdings berücksichtigt werden, dass auch die staatlichen Schulen eventuell eine positive Selektion darstellen und nicht repräsentativ für die deutschen Grundschulen im Gesamten sind, da auch der durchschnittliche sozioökonomische Status der hier einbezogenen staatlichen Klassen über dem deutschen Durchschnitt liegt (vgl. Lipowsky et al., 2013a, b).

Wie im Abschnitt 11.1.2.2 beschrieben, sind die einbezogenen Daten nur bedingt für die Faktorenanalyse geeignet. Bereits die Korrelationsmatrix (vgl. 11.1.2.2.2) deutet darauf hin, dass die 28 Items sehr heterogene Aspekte kognitiver Aktivierung erfassen, sodass viele Items nicht oder teilweise auch negativ miteinander korrelieren. Eventuell hängen die teilweise geringen Korrelationen auch damit zusammen, dass die hoch inferent erfassten Items keine Normalverteilungen aufweisen und auch insgesamt sehr unterschiedliche Verteilungen sowie mittlere Ausprägungen haben. Dies erschwert das Zustandekommen höherer Korrelationen. Die heterogene Anlage der Itemsammlung war zwar von Beginn an so geplant, um neben Merkmalen kognitiver Aktivierung im engeren Sinn auch die Rahmenbedingungen kognitiv anregenden Unterrichts erfassen zu können, allerdings mussten dadurch methodische Einschränkungen für die Berechnung der Faktorenanalyse in Kauf genommen werden. Dabei wurde das Ziel verfolgt, möglichst viele Items beibehalten zu können, insofern deren Ausschluss nicht inhaltlich gut begründbar war. Dass der KMO-Wert und auch einzelne MSA-Werte lediglich in einem mäßigen bis akzeptablen Bereich liegen, lässt sich daher auch mit der heterogenen Zusammensetzung der Items erklären (Backhaus et al., 2011; Bühner, 2006). Auch dass die Items keine Normalverteilungen aufweisen und dass ein Intervallskalenniveau lediglich angenommen, aber nicht belegt werden kann, ist für die Faktorenanalyse nicht optimal. Aufgrund dieser Einschränkungen sollten die Ergebnisse mit Sorgfalt interpretiert werden. Dass aber aus den verschiedenen getesteten Faktorlösungen grundsätzlich inhaltlich ähnliche Komponenten resultieren, die sich vor allem in ihrer Größe und dem Auflösungsgrad unterscheiden, deutet aber auf die Stabilität der Zusammenhangsmuster hin.

Die Durchführung einer orthogonalen Rotation, welche die Unabhängigkeit der Faktoren postuliert, steht in einem gewissen Widerspruch zum nachträglich gefundenen Ergebnis, dass die Überprüfung der Zusammenhänge zwischen den Summenwerten für die einzelnen Komponenten einen Zusammenhang zwischen den beiden Komponenten „Anregung von Denkprozessen“ und „Konstruktive Lernunterstützung“ ergab. Da bei insgesamt fünf extrahierten Komponenten jedoch lediglich zwei mit einer mäßigen Korrelation von r = .33 zusammenhängen, muss diese vorab getroffene Annahme nicht grundsätzlich in Frage gestellt werden.

Bei der Faktorenanalyse müssen das Ziel der Datenreduktion und das Ziel der „Generierung eines Ordnungssystems, welches eine sinnvolle begriffliche Interpretation gestattet“ (KrolakSchwerdt & Spinath, 2010, S. 591) gegeneinander abgewogen werden. Die gefundene fünffaktorielle Struktur erscheint grundsätzlich plausibel und bietet – gerade im Vergleich zur ebenfalls vorgestellten dreifaktoriellen Lösung – den Vorteil einer ausreichenden Ausdifferenzierung der einzelnen Aspekte der Unterrichtsqualität, sodass inhaltlich plausible, gut interpretierbare Faktoren entstanden sind, die – wie in Abschnitt 11.1.4 gezeigt wurde – auch Überschneidungen zu bisherigen Ergebnissen der Unterrichtsforschung aufweisen. Etwas problematisch erscheint vor allem die Heterogenität der ersten extrahierten Komponente „Schaffen einer lernförderlichen Umgebung“, welche sowohl Aspekte eines zügigen Vorangehens, einer effektiven Klassenführung und einer entspannten Lernatmosphäre enthält. Dass sich inhaltlich gut erklären lässt, warum Aspekte des Klimas und der Klassenführung im Unterricht oft miteinander einhergehen, wurde bereits in Abschnitt 11.1.3.2.1 erläutert. Dennoch macht die Heterogenität des Faktors eventuell dessen Verwendung für weitere Analysen schwierig. Bereits anhand der Zusammenhänge zur Sichtstruktur als auch bei den Zusammenhängen zu weiteren niedrig inferent erfassten Aspekten der Unterrichtsgestaltung zeigte sich, dass mit dieser Komponente nur wenige konsistente Zusammenhänge zu weiteren Kodierungen feststellbar sind. Eventuell hätten hier mehr Items zu beiden Bereichen formuliert werden müssen, sodass sich diese in der Faktorenanalyse getrennt hätten. Da mit den Items aber lediglich Rahmenbedingungen eines kognitiv anregenden Unterrichtsangebots erfasst werden sollten, wurde der Schwerpunkt im Rahmen der Arbeit nicht auf eine stärkere Ausdifferenzierung dieser Unterrichtsqualitätsmerkmale gelegt. Die gefundenen Komponenten lassen sich inhaltlich gut interpretieren und auch die Validierung anhand der niedrig inferent erfassten Merkmale der Unterrichtsgestaltung zeigt, dass sich plausible Zusammenhänge der Komponenten zu niedrig inferent erfassten Aspekten der Unterrichtsgestaltung ergeben. Allerdings kann nicht ausgeschlossen werden, dass neben tatsächlichen inhaltlichen Zusammenhängen auch methodische Aspekte für das Zustandekommen höherer Korrelationen zwischen einigen Items geführt haben. So ist auffällig, dass drei der vier Items, die sich zur Komponente „Anregung von Denkprozessen“ zusammenschließen, zu den insgesamt schwierigsten Items, also jenen mit der geringsten mittleren Ausprägung innerhalb der untersuchten Stichprobe, gehören (Insistieren auf Erklärung und Begründung, Exploration der Denkweisen der Schüler sowie Exploration des Vorwissens und vorunterrichtlicher Vorstellungen).

Hier könnte also in gewisser Weise ein Schwierigkeitsartefakt vorliegen, das heißt, dass die Items nicht aufgrund tatsächlicher inhaltlicher Zusammengehörigkeit auf einem Faktor laden, sondern lediglich aufgrund ähnlicher Itemschwierigkeiten. (Schermelleh-Engel et al., 2007; Wolff & Bacher, 2011). Andererseits ist es durchaus konform mit dem bisherigen Theorieund Forschungsstand, dass Merkmale kognitiver Aktivierung im engeren Sinn in videobasierten Untersuchungen keine hohen Werte aufweisen (vgl. 3.3.1).

Grundsätzlich muss noch einmal darauf hingewiesen werden, dass die hier gefundene Faktorenstruktur mehr als die kognitive Aktivierung im engeren Sinn abbildet. Aufgrund der Auswahl der Items – insbesondere durch den Einbezug von Items, die Aspekte der Klassenführung, der Lernatmosphäre und der Differenzierung enthalten – wurden sowohl Aspekte kognitiver Aktivierung im engeren Sinn als auch Rahmenbedingungen für die Gestaltung eines kognitiv aktivierenden Unterrichts erfasst. Für die Begründungen, warum davon ausgegangen wird, dass auch die Rahmenbedingungen bedeutsam für die Gewährleistung eines möglichst hohen Ausmaßes an aktiver Lernzeit sind, wird noch einmal auf Abschnitt 6.2.1 verwiesen. In der Faktorenanalyse ließen sich die Merkmale kognitiver Aktivierung im engeren Sinn gut von den Rahmenbedingungen abgrenzen und korrelieren auch nicht untereinander. Da hier lediglich lineare Zusammenhänge geprüft wurden, könnte es interessant sein, zu prüfen, ob die Rahmenbedingungen tatsächlich in gewisser Weise Voraussetzungen für die Merkmale kognitiver Aktivierung im engeren Sinn darstellen. Vorstellbar wäre hier beispielsweise, dass ein gewisse Mindestausprägung der Rahmenbedingungen gegeben sein muss, damit ein kognitiv aktivierender Unterricht realisiert werden kann.

Wie bereits mehrfach erwähnt zielen die hier entwickelten Beobachtungssysteme vorwiegend auf die Beschreibung und Beurteilung des Unterrichtsangebots durch die Lehrperson. Hierbei kann kritisiert werden, dass daraus nicht unbedingt geschlussfolgert werden kann, dass die Lernenden auch tatsächlich kognitiv aktiviert werden, da beispielsweise gerade die aktive Lernzeit – also ob Schülerinnen und Schüler gerade onoder off-task-sind – nur schwer von außen beobachtbar ist (vgl. 6.2.1). Der Fokus liegt also auf der Beobachtung des Angebots der Lehrperson, wohingegen weitgehend unbeachtet bleibt inwiefern die Lernenden dieses Angebot auch nutzen und tatsächlich kognitiv aktiviert werden (vgl. 2.1). Einige der Beobachtungssysteme erfassen aber zumindest Aspekte der Nutzungsseite. So enthält zum einen das hoch inferente Rating einzelne Items, die auf die Schülerinnen und Schüler fokussieren (Selbstsicherheit von Schülerbeiträgen; Verständnisorientierte Eigeninitiative der Schüler; Beteiligungsniveau der Schüler) und auch einige niedrig inferente Kodierungen lassen Rückschlüsse auf das Schülerverhalten zu: So wurde beispielsweise kodiert, ob die Schülerinnen und Schüler die Lehrperson eigenständig um Hilfe bitten und individuelle Lehrer-Schüler-Interaktionen initiieren. Auch die Kodierungen zum Feedback geben Aufschluss über Schülerverhalten und Schüleräußerungen, da für jedes Feedback das vorausgehende Schülerverhalten mitkodiert wurde. Hier könnte es interessant sein, die Zusammenhänge des Unterrichtsangebots durch die Lehrperson mit diesen direkt in der Unterrichtsstunde beobachteten Aspekten der Nutzung auf Schülerseite in Verbindung zu bringen, um erste Hinweise darauf zu erhalten, inwiefern das Angebot der Lehrperson tatsächlich beobachtbare Aspekte kognitiver Aktivierung zu erfassen vermag. Insgesamt muss jedoch kritisch angemerkt werden, dass es sehr schwierig ist, die tatsächliche kognitive Aktivierung der Lernenden beobachtungsbasiert zu erfassen. Eventuell müssten hierzu eher Befragungen, Interviews, Leistungsproben oder Methoden des lauten Denkens eingesetzt werden. Für die weitere Forschung wäre es natürlich interessant, hier noch Wege zu finden, die Perspektive der Schülerinnen und Schüler noch stärker einzubeziehen. Damit dies auch bei jüngeren Kindern aber auch mit einer möglichst hohen Validität gelingt, scheint noch Entwicklungsbedarf zu bestehen. So konnten Fauth und Kollegen (2014b) in der in Abschnitt 7.1 vorgestellten Studie des IGEL-Projekts beispielsweise zeigen, dass die von Beobachterinnen eingeschätzte kognitive Aktivierung eine höhere prädiktive Kraft bei der Vorhersage des Lernerfolgs hat als diejenige der Schülerinnen und Schüler. Insofern ist es insgesamt fraglich, ob nicht gerade für den Anfangsunterricht der Grundschule die Beobachtung des Angebots durch die Lehrperson die zielführendere Methode ist. Wenn sich im Anschluss dann zeigt, dass dieses Angebot tatsächlich Effekte auf die Entwicklung der Schülerleistungen oder affektiv-motivationale Aspekte ausübt, kann daraus dann im Grunde auch geschlussfolgert werden, dass das Angebot entscheidende Lernprozesse in Gang gesetzt und gefördert hat – und damit zur kognitiven Aktivierung beigetragen hat.

Im Rahmen dieser Arbeit wurde zur Überprüfung der Strukturen und Zusammenhänge der Aspekte kognitiv aktivierender Leseübungen ein variablenzentrierter Ansatz verfolgt, um eine erste Strukturierung der Daten zu ermöglichen. Zusätzlich könnte es aber interessant sein, Typen oder Muster kognitiv aktivierenden Leseunterrichts anhand eines personenzentrierten Vorgehens herauszuarbeiten (vgl. 12.2).

Betrachtet man die Ergebnisse, so stellt sich die Frage, wie fachspezifisch die hier konzeptualisierten Merkmale der Unterrichtsqualität tatsächlich sind. Viele der Items wurden Studien aus dem mathematisch-naturwissenschaftlichen Bereich entnommen und lediglich an die Bedingungen des hier videografierten Unterrichts im Leseunterricht des ersten Schuljahres angepasst. Dies hat sowohl Vorals auch Nachteile. Der wichtigste Vorteil besteht darin, dass die Ergebnisse leicht Anschluss an die allgemeine Unterrichtsforschung finden, da die dort untersuchten Konstrukte direkt aufgenommen und nur an die Gegebenheiten des Leseunterrichts angepasst wurden. Kritisiert werden könnte allerdings, dass gerade das hoch inferente Ratingsystem zu wenige deutschoder leseunterrichtsspezifische Qualitätsmerkmale enthält. Wie fachspezifisch das Unterrichtsqualitätsmerkmal kognitive Aktivierung tatsächlich ist, müsste noch weiter untersucht werden. Im Rahmen der PERLE-Studie bietet es sich beispielsweise an, verschiedene Maße für die kognitive Aktivierung in den untersuchten Fächern Deutsch, Kunst und Mathematik zu vergleichen. Sowohl für die Bildrezeption im Kunstunterricht (Schmidt, 2014) als auch für den Mathematikunterricht (Lauterbach, Gabriel & Lipowsky, 2013) wurden hoch inferente Systeme zur Erfassung kognitiver Aktivierung entwickelt.

Da sich gezeigt hat, dass einige Qualitätsmerkmale – insbesondere die Aspekte kognitiver Aktivierung im engeren Sinn – positiv mit der Dauer des beobachteten Unterrichtsausschnitts zusammenhängen (vgl. 11.2.3.1), wäre es im Nachhinein gegebenenfalls sinnvoll gewesen, diejenigen Videos mit einer sehr kurzen Dauer der Leseübung aus bestimmten Analysen auszuschließen. Beispielsweise könnte sich die Faktorenstruktur der hoch inferent erfassten Merkmale noch einmal verändern, wenn nur diejenigen Videos einbezogen werden würden, die eine Dauer von mindestens 10 oder 15 Minuten aufweisen. Dies hätte allerdings die ohnehin geringe Stichprobengröße noch weiter reduziert. Außerdem konnten diese systematischen Zusammenhänge zwischen Unterrichtszeit und einzelnen Qualitätsmerkmalen überhaupt nur untersucht werden, da die Dauer in den einzelnen Videos stark variiert. Bei der Planung weiterer videobasierter Studien könnte dieses Ergebnis – je nach Forschungsinteresse – allerdings bereits in der Planung der Anlage der Studie und der eventuellen Vorgaben an die Lehrpersonen berücksichtigt werden.

Zu den Zusammenhangsanalysen muss allgemein angemerkt werden, dass diese hier ausschließlich anhand einfacher, linearer Korrelationen überprüft wurden. Ob komplexere, auch nicht-lineare Zusammenhangsmuster vorliegen, kann daher anhand der hier berichteten Analysen nicht beantwortet werden. Interessant könnte es hier beispielsweise sein, Schwellenwerte zu bestimmen, die bei bestimmten niedrig inferent erfassten Aspekten der Unterrichtsgestaltung erreicht werden müssen, damit eine hohe Qualitätsausprägung erreicht werden kann. Denkbar wären aber auch beispielsweise umgekehrt U-förmige oder asymptotische Zusammenhänge, die anzeigen, dass bis zu einem gewissen Grad ein „Mehr“ einer bestimmten Verhaltensweise mit einer höheren Qualitätseinschätzung einhergeht, dass dies nach Erreichen eines Plateaus aber wieder abnimmt oder konstant bleibt. Auch das Testen solch komplexerer Zusammenhänge würde aber eine größere Stichprobe erfordern.

Insgesamt können die Ergebnisse also als erste Hinweise auf Strukturen und Zusammenhänge der einzelnen Merkmale kognitiv aktivierenden Leseunterrichts interpretiert werden, die aber aufgrund der beschriebenen methodischen Einschränkungen möglichst noch anhand weiterer Stichproben überprüft werden sollten.

 
< Zurück   INHALT   Weiter >