Methodische Herausforderungen bei der Videoanalyse
Neben den Vorteilen, die im vorherigen Abschnitt beschrieben wurden, stehen immer wieder bestimmte Aspekte von Videoanalysen in der Kritik, die im Folgenden thematisiert werden. Zunächst werden dabei die Aspekte der Vergleichbarkeit, Selektivität und Repräsentativität von Videoaufnahmen besprochen, bevor auf die Wahl der geeigneten Beobachtungsmethode eingegangen wird.
Vergleichbarkeit, Selektivität und Repräsentativität von Videoaufnahmen
Ein Hauptkritikpunkt an Videoanalysen betrifft die Frage, inwiefern die normale Unterrichtssituation durch die Videografie verfälscht wird (z. B. Clausen, 2002; Krammer, 2009; Petko et al., 2003; Stigler, 1998; Stigler et al., 2000; Ulewicz & Beatty, 2001). So ist „eine Unabhängigkeit des Datenerhebungsprozesses von der zu beobachtenden Situation […] in der Praxis kaum einzulösen“ (Böhm-Kasper & Weishaupt, 2008, S. 111) und es ist von reaktiven Effekten auszugehen, die man zwar zu reduzieren versuchen, aber nicht vollständig vermeiden kann (Friedrichs, 1990). Clausen (2002) beschreibt die Gefahr, dass dadurch „nicht typisches Lehrverhalten, sondern ‚maximales' Lehrverhalten an den Tag gelegt wird und der Lehrer aus der Stunde eine Vorzeigestunde macht, die positiv von seiner üblichen Unterrichtspraxis abweicht“ (S. 49). Auch im Rahmen der TIMS-Studie wird diese Interpretation vertreten:
„Videotaped lessons probably are best interpreted as a slightly idealized version of what the teacher typically does in the classroom” (Hiebert et al., 2003, S. 7). Andererseits wird argumentiert, dass Lehrpersonen ihre Routinen nicht kurzfristig verändern können (Helmke, 2009; Klieme et al., 2001; Kunter, 2005; Stigler et al., 1999; Waldis et al., 2006). In Einzelfällen könnte es außerdem auch möglich sein, dass die Anwesenheit der Kamera negative Effekte hat, indem sie die Beteiligten ablenkt oder nervös macht, weshalb die Situation möglichst genau erklärt werden sollte und Eingewöhnungsphasen hilfreich sind (Clausen, 2002). Eine Möglichkeit, die Repräsentativität der Stunden gegenüber dem normalen Unterricht zumindest abschätzen zu können, stellen nachträgliche Befragungen der Lehrpersonen dar, wie es im Rahmen vieler Videostudien realisiert wird. Meist sind die Abweichungen zwischen dem alltäglichem Unterricht und der videografierten Stunde laut Selbsteinschätzung der Lehrpersonen nur gering (z. B. Helmke, 2009; Heyne, 2014; Hiebert et al., 2003; Janík, Miková, Najjvar & Najvarová, 2006; Petko et al., 2003; Reusser & Pauli, 2003).
Oft diskutiert wird auch die starke Selektivität von Aufnahmen (Brophy, 2009; Clausen, 2002; Helmke et al., 2003; Klieme, Pauli & Reusser, 2009; Praetorius, 2014; Shavelson & Dempsey-Atwood, 1976; Stigler et al., 1999), da häufig nur eine oder wenige Unterrichtsstunden videografiert werden, die möglichst Schlüsse über den alltäglichen Unterricht zulassen sollen:
Das Unterrichtsverhalten von Lehrer und Schülern in einem bestimmten Fach weist eine natürliche Variabilität auf […], die durch Beobachtung aufgrund einer mehr oder weniger großen Verhaltensstichprobe nur begrenzt abgebildet werden kann. (Clausen, 2002, S. 48; in Anlehnung an Bem & Allen, 1974; Cronbach, Gleser, Nanda & Rajaratnam, 1972).
Insbesondere die betroffenen Lehrpersonen selbst empfinden beispielsweise die bei der Schulinspektion beobachteten 20 Minuten Unterricht oft als nicht ausreichend für eine faire Beurteilung (z. B. Sommer, 2011). Perels und Zahn (2013) können aber zeigen, dass bereits die Beobachtung eines zwanzigminütigen Ausschnitts zu ähnlichen Aussagen führt wie die eines 45-minütigen Abschnitts. In der Forschung wird daher zum Teil das sogenannte Thin Slicing oder ein Three-Minute Classroom Walkthrough eingesetzt, das heißt, es werden nur sehr kurze Verhaltensstichproben von oft weniger als fünf Minuten gezogen, woraufhin die Beobachtenden sich einen Eindruck bilden (z. B. Ambady, 2010; Ambady & Rosenthal, 1993; Downey, Steffy, Poston & English, 2010; zsf. Perels & Zahn, 2013). Strong, Gargani und Hacifazlioglu (2011) zeigen beispielsweise, dass Experten aus dem Bildungsbereich in ihrer Beurteilung von Lehrpersonen als überoder unterdurchschnittlich in vielen Dimensionen bereits anhand einer zweiminütigen Beobachtung hoch übereinstimmen, wobei nicht klar ist, ob die dabei noch vorliegenden Unterschiede auf die Person des Beobachtenden oder die Unterrichtsdauer zurückgehen. Allerdings sind diese Einschätzungen zwar hoch übereinstimmend, aber nicht kriteriumsvalide, das heißt die Schülerinnen und Schüler der als effektiv eingeschätzten Lehrpersonen erzielen nicht unbedingt tatsächlich die besseren Leistungen.
Insgesamt bestätigen einige Studien die Variabilität von Unterrichtsmerkmalen über die Zeit (z. B. Calkins, Borich, Pascone, Kluge & Marston, 1977; Hill, Charalambous & Kraft, 2012). Insbesondere für das Konstrukt der kognitiven Aktivierung weist Praetorius (2014; vgl. auch Praetorius, Pauli, Reusser, Rakoczy & Klieme, 2014) anhand von Reanalysen zur Pythagoras-Videostudie darauf hin, dass zu dessen Messung längere Beobachtungszeiträume erforderlich sind. Die kognitive Aktivierung wurde hier hoch inferent mit den drei Items Exploration der Denkweisen von Schülern, Zum Denken herausfordernde Probleme und Rezeptives Lernverständnis der Lehrperson erfasst. Auf Basis der Analysen kommt Praetorius (2014) zu dem Schluss, dass die kognitive Aktivierung über verschiedene Stunden (mit unterschiedlichen inhaltlichen Vorgaben) nur wenig stabil ist, sodass neun Unterrichtsstunden pro Lehrperson nötig wären, um die kognitive Aktivierung mit einer Reliabilität von mindestens .70 erfassen zu können. Die einbezogenen Items spiegeln allerdings ein sehr enges Verständnis von kognitiver Aktivierung wider, sodass auch diskutiert wird, inwiefern sie zur Beurteilung kognitiver Aktivierung generell geeignet sind oder ob sie besonders gut für die Beurteilung von Einführungsstunden und weniger gut für Übungsphasen geeignet sind.
Vor dem Hintergrund der Vergleichbarkeit unterschiedlicher Videoaufnahmen plädiert Pauli (2008) dafür, insbesondere für fachdidaktische Analysen den Unterrichtsinhalt in gewisser Weise inhaltlich zu standardisieren, um Vergleiche zu ermöglichen. Neben inhaltlichen Vorgaben an die Lehrpersonen stellt auch bereits die Art der Kameraführung und der Tonaufnahme eine erste Vorstrukturierung der Daten dar, die auch die weiteren Auswertungen beeinflussen kann (Krammer, 2009; Petko et al., 2003; Seidel & Prenzel, 2003b; Waldis et al., 2006). Ein standardisiertes Vorgehen ist somit notwendig, um zumindest die erhobenen Daten innerhalb einer Studie gut miteinander vergleichen zu können (Dalehefte, 2006; Hiebert et al., 2003; Krammer, 2009; Seidel, Dalehefte & Meyer, 2005).
