< Zurück   INHALT   Weiter >

9.3.3.1 Aufgabenstellungen

Mit Hilfe dieser Kategoriensysteme wurde jede im Unterricht vorkommende Aufgabenstellung während der Leseübung identifiziert und durch mehrere Kategoriensysteme klassifiziert, wobei neben dem beobachtbaren Verhalten der Lehrperson im Unterricht auch die verwendeten Arbeitsblätter analysiert wurden. Die Kodierung erfolgte im Event-Sampling-Verfahren mit niedrig bis mittel inferenten Kategoriensystemen.

9.3.3.1.1 Darstellung der Kategoriensysteme

Als Aufgaben wurden zunächst alle Arbeitsaufträge, Aufgabenstellungen oder Arbeitsanweisungen identifiziert, zu deren Bearbeitung die Lehrperson die gesamte Lerngruppe oder einzelne Schülerinnen und Schüler verbal, nonverbal oder schriftlich auffordert. Anschließend kamen neben den in Abschnitt 9.3.3 beschriebenen allgemeinen Beobachtungssystemen (zur Übungsphase, zum Sender und den Adressaten der Aufgabenstellungen) zwei Kategoriensysteme zur Bündelung von Einzelaufgaben, 13 Kategoriensysteme zur weiterführenden Kategorisierung der Hauptaufgaben sowie zwei Kategoriensysteme zur weiteren Kategorisierung der Teilaufgaben zum Einsatz (vgl. Tabelle 10). Durch die Kodierung der Aufgabenkomplexe werden inhaltlich zusammengehörige Einzelaufgaben zu größeren inhaltlich zusammengehörigen Einheiten gruppiert. Die Einteilung in Hauptund Teilaufgaben ist die Grundlage für die Anwendung der weiteren Kategoriensysteme. Ergänzungen/Weiterführungen zu den Hauptaufgaben werden bei der Kodierung der Hauptaufgaben mit berücksichtigt und daher nicht eigenständig weiter kodiert.

Die einzelnen Kategorien werden bei der Darstellung der deskriptiven Ergebnisse in Studie 2 anhand von Beispielen erläutert. Erläuterungen zu den einzelnen Kategoriensystemen sowie die Definition der einzelnen Kategorien können im Manual (vgl. Anhang: Abschnitt 2; S. 13) nachgelesen werden.

Tabelle 10 Kategoriensysteme – Aufgabenstellungen

Tabelle 10 Kategoriensysteme – Aufgabenstellungen (Fortsetzung)

9.3.3.1.2 Vorgehen bei der Kodierung und Beobachterübereinstimmung/Reliabilität

Die Identifikation und Kategorisierung der Aufgabenstellungen wurde in zwei Auswertungsschritten vorgenommen, wobei die Identifikation der Aufgabenstellungen von drei geschulten Kodiererinnen, deren weiterführende Kategorisierung von zwei Kodiererinnen durchgeführt wurde. Bei der Identifikation der Aufgabenstellungen wurden die Übereinstimmungen anhand von insgesamt sechs Videos zu drei Zeitpunkten überprüft. Bei der Kategorisierung der Aufgaben wurden anhand von insgesamt zehn Videos zu fünf Zeitpunkten die Übereinstimmungen geprüft. Es wird jeweils die niedrigste vorkommende Übereinstimmung mit der Master-Kodierung dargestellt. Tabelle 11 enthält zunächst die Übereinstimmungen für die nominalskalierten Kategoriensysteme (prozentuale Übereinstimmung und Cohens Kappa). Zum Teil sind diese Kategoriensysteme zwar auch bereits ordinalskaliert (z. B. Kognitive Komplexität oder Offenheit der Lösung, da es sich aber dennoch um niedrig inferente Kodierungen auf Basis einer klaren Definition der einzelnen Kategorien handelt, werden auch dafür die prozentuale Übereinstimmung und Cohens Kappa als die strengeren Maße berichtet.

In Tabelle 12 sind die Reliabilitäten für die ordinalskalierten Kategoriensysteme anhand des relativen und absoluten Generalisierbarkeitskoeffizienten sowie der Varianzkomponenten (vgl. 9.2.3.2.3) dargestellt. Die in Abschnitt 9.2.3.2 beschriebenen Mindestwerte für die Übereinstimmung/Reliabilität wurden für alle Kategoriensysteme erreicht. Zwischen der MasterKodierung und der Kodierung der Raterin 2 fällt in den Kategorien Präzisionsgrad und Verständlichkeit allerdings auf, dass die unsystematische Fehlervariation mit über 25 % relativ hoch ist.

Tabelle 11 Übereinstimmungen zwischen Master-Kodierung und trainierten Beobachterinnen bei der Kodierung der Aufgabenstellungen – nominalskalierte Kategoriensysteme

15Für die Berechnung der Übereinstimmung bei der Identifikation der Aufgabenstellungen konnte Cohens Kappa nicht berechnet werden, da erst durch den Prozess der Identifikation die zu vergleichenden Fälle erzeugt werden. Es handelt sich hierbei im eigentlichen Sinn nicht um ein Kategorien-, sondern um ein Zeichenbzw. Indexsystem (z. b. Faßnacht, 1995; Pauli, 2012a). Daher wird hier nur die prozentuale Übereinstimmung angegeben.

NIdentifikation = 6 Videos

NKategorisierung = 10 Videos mit insgesamt 371 Aufgabenstellungen (32 Haupt-, 310 Ergänzungsund 29 Teilaufgaben)

Tabelle 12 Reliabilität zwischen Master-Rating und trainierten Beobachterinnen bei der Kodierung der Hauptaufgaben – ordinalskalierte Kategoriensysteme

 
< Zurück   INHALT   Weiter >