Qualitative Gütekriterien und ihre Umsetzung

Für die vorliegende Studie wurden allgemeine Gütekriterien qualitativer Forschung, aber auch spezifisch inhaltsanalytische Gütekriterien als relevant erachtet, die während des gesamten Forschungsprozesses beachtet und sukzessive umgesetzt wurden. Dies wird im Folgenden dargestellt. Für das vorliegende Projekt werden die folgenden qualitativen Gütekriterien in Anlehung an Lamnek (2008 S. 146ff.) als besonders wichtig anerkannt, die im Folgenden erläutert werden.

(1) „Verfahrensdokumentation“

(2) „Argumentative Interpretationsabsicherung“

(3) „Regelgeleitetheit“

Zu (1): Die „Verfahrensdokumentation“ wird durch genaue Darstellung des methodischen Vorgehens und dessen intersubjektive Nachvollziehbarkeit gewährleistet (vgl. ebd., S. 146). Dieses Gütekriterium wurde in der vorliegenden qualitativen Studie umgesetzt, indem der Forschungsprozess im Ablaufmodell der qualitativen Inhaltsanalyse offengelegt und erläutert wurde (vgl. Kapitel 5.3.2) sowie die Analysekategorien und Muster aller Erhebungsinstrumente (Kurzfragebogen, Leitfaden) im Anhang zur Verfügung gestellt werden (vgl. Kapitel 10). So sind die Analyse und Interpretation nachvollziehbar. Die Interviewtranskripte können bei der Autorin angefragt werden.

Zu (2) und (3): Die „argumentative Interpretationsabsicherung“ (ebd., S. 147) wurde innerhalb des Projekts gewährleistet, indem die Analyse der Interviewtranskripte regelgeleitet durch die qualitative Inhaltsanalyse erfolgte und Beispiele aus den Interviews in die Analyse eingebracht wurden. Gleichzeitig stellt die Methode der qualitativen Inhaltsanalyse auch die Berücksichtigung des Gütekriteriums der

„Regelgeleitetheit“ (ebd., S. 147) sicher. Das Verfahren und die einzelnen Schritte der Analyse erfolgten systematisch und sind im Ablaufmodell nachprüfbar dargelegt (vgl. Kapitel 5.3.2). Durch die Durchführung einer Intercodierung mit zwei externen Codierern wurde gezeigt, dass das theoriegleitet entwickelte Kategoriensystem auch von weiteren Personen angewendet werden kann. Dies ist für die Nachvollziehbarkeit der Studie unabdingbar und erfüllt gleichzeitig auch das Kriterium der „Transparenz“, welches u. a. nach Lamnek für qualitative Forschung als essenziell angesehen wird: „Transparenz ist wichtiger als Objektivität, d. h., der Forschungsprozess ist zum Zweck der Nachvollziehbarkeit offenzulegen“ (ebd., S. 175).

Über die allgemeinen Gütekriterien qualitativer Forschung hinaus lassen sich für die qualitative Inhaltsanalyse nach Krippendorff (1980) spezifische inhaltsanalytische Gütekriterien explizieren (vgl. Mayring 2010, S. 119). Abgeleitet von einer „Validität im engeren Sinne“ werden

• die materialorientierten Kategorien „semantische Gültigkeit“ und

„Stichprobengültigkeit“,

• die ergebnisorientierten Kategorien „korrelative Gültigkeit“ und

„Vorhersagegültigkeit“ sowie

• die prozessorientierte Kategorie „Konstruktgültigkeit“ vorgeschlagen (vgl. ebd.).

Darüber hinaus leitet Krippendorff aus dem klassischen testtheoretischen Gütekriterium der Reliabilität für die Inhaltsanalyse die Kategorien

„Stabilität“, „Reproduzierbarkeit“ und „Exaktheit“ ab (vgl. ebd.).

Zur Umsetzung der semantischen Gültigkeit verweist Mayring (2010, S. 119) in Anlehung an Krippendorff (1980) auf sogenannte

„Checks“, mithilfe derer die Textstellen und das Analyseinstrument überprüft werden können. Vorgeschlagen wird die Überprüfung der ausgewählten und kategorisierten Textstellen auf Homogenität und Zuordnungsrichtigkeit sowie die Rekonstruktion von Beispielen und Problemfällen. Diese Checks wurden in der Überprüfung sowie durch weitere Kontrollen bei der Überprüfung der Codierung vor der Eingabe in MAXQDA flankiert. Die Stichprobengültigkeit wurde im qualitativen Stichprobenplan und seiner Umsetzung beachtet, wobei anzumerken ist, dass eine „exakte Stichprobenziehung“ (Mayring 2010, S. 119) bei qualitativen Verfahren anders zu bewerten und umzusetzen ist als bei einer quantitativen Stichprobenziehung (vgl. für den qualitativen Stichprobenplan Kapitel 5.2.2).

Da es sich bei der Erhebung von Lehrervorstellungen im Bereich der ökonomischen Bildung um ein exploratives Vorhaben handelt, konnten die Ergebnisse einerseits mit methodisch ähnlichen Studien zu teachers' beliefs anderer Fächer sowie andererseits mit den inhaltlich näheren Studien zu Lehrervorstellungen in den Sozialwissenschaften verglichen bzw. mögliche Ergebnisse vorab prognostiziert werden. Hierzu waren vor allem die Ergebnisse Vanfossens (2000 relevant, da dies diejenige Vergleichsstudie mit der größten Nähe zum vorliegenden Forschungsvorhaben ist (vgl. Kapitel 4.7) – trotz ihrer verschiedenen kulturellen und anderen Unterschiede (u. a. im Sample). Soweit eine sinnvolle Prognose vorab bzw. ein Vergleich der Ergebnisse möglich und zielführend war, beispielsweise zur Systematisierung der teachers' beliefs, wurde auch auf Studien anderer Fächer zurückgegriffen. Dies erfolgte zur Umsetzung der korrelativen Gültigkeit (Mayring 2010, S. 119).

Die Vorhersagegültigkeit konnte aufgrund des explorativen Charakters des vorliegenden Materials nur eingeschränkt umgesetzt werden, da in Anlehnung an Mayring (vgl. 2010, S. 120) die Vorhersagegültigkeit nur anwendbar ist, wenn aus dem untersuchten Material sinnvoll Vorhersagen zu treffen sind. Da jedoch kaum vergleichbare Studien vorlagen, konnten kaum Vorhersagen zu möglichen Ergebnissen prognostiziert werden. Lediglich die Studie Vanfossens (2000 und einige andere Studien zu teachers' beliefs in den Sozialwissenschaften konnten eingeschränkt zu einer Vorhersage herangezogen werden. Diese Voraussetzungen gelten auch für die Konstruktvalidität, wobei zumindest aus der Erhebung und Analyse von Schülervorstellungen in der ökonomischen Bildung einige Erfahrungen in die vorliegende Erhebung und Analyse von Lehrervorstellungen einfließen konnten (vgl. Friebel et al. 2013, 2014).

Ebenso wie die „Checks“ zur Gewährleistung der semantischen Gültigkeit wurde auch das Gütekriterium Stabilität in der Kontrollphase durch Überprüfung und die dadurch teilweise Wiederholung der Analyse umgesetzt. Dies ist auch dem Ablaufplan der qualitativen Inhaltsanalyse zu entnehmen (vgl. Kapitel 5.3.2). Reproduzierbarkeit wurde durch die Codierung zweier externer Codiererinnen und Codierer gewährleistet. Hierzu codierten beide jeweils zwei Interviews mithilfe der Selektionskriterien und der entsprechenden Kategoriedefinitionen – somit etwa ein Viertel des erhobenen Interviematerials. Mit dieser Vorgehensweise wurde überprüft, inwiefern die in der Analyse gesetzten Kategorien reproduzierbar bzw. die Selektionskriterien und deren Definitionen intersubjektiv anwendbar sind (vgl Kapitel 5.3.3).

Da der Forschungsansatz der vorliegenden Arbeit ein qualitativer ist, wurde das Kriterium der Exaktheit im Sinne einer exakten, regelgeleiteten Vorgehensweise verstanden. So wurde im Intercoderprozess zwar eine Intercoder-Übereinstimmung mithilfe des Programms MAXQDA für die intercodierten Interviews berechnet, diese Berechnung soll jedoch nur eine Orientierung geben und wird nicht als einziges Erfolgskriterium des Intercoderprozesses angesehen (vgl Kapitel 5.3.3). Dies begründet sich damit, dass der Intercoderprozess qualitativ genutzt werden sollte, um zum einen die Intersubjektivität der Analyseinstrumente zu überprüfen und zum anderen die eigenen Codierungen vor dem Hintergrund möglicher abweichender Codierungen zu reflektieren. Ziel des Prozesses war deshalb neben der Überprüfung vor allem eine Präzisierung, Weiterentwicklung und Reflexion der eigenen Codierung. Eine solche Vorgehensweise steht in der Tradition qualitativer Forschung und kann als eine in einem solchen Forschungsprozess übliche Vorgehensweise angesehen werden (vgl. MAXQDA 2011, S. 111).

Gültigkeit bzw. Validität stellt sowohl in der quantitativen als auch in der qualitativen Forschung ein wesentliches Gütekriterium dar (vgl. Lamnek 2008, S. 150): „Bei Validierung geht es um Vertrauenswürdigkeit, Glaubwürdigkeit, Verlässlichkeit und Bestätigbarkeit“ (ebd., S. 161). Validität lässt sich im qualitativen Forschungsprozess durch verschiedene Maßnahmen erreichen. Berücksichtigt wurden in diesem Forschungsvorhaben das „Peer Debriefing“, „Member Checks“ und das „Auditing“ (ebd., S. 161). Das „Peer Debriefing“ wird durch die Diskussion und den Austausch mit dem Betreuer, den Kolleginnen und Kollegen am Institut, u. a. im Forschungsund Doktorandenkolloquium, die Teilnahme an einem regelmäßigen externen fachübergreifenden Austausch und die Präsentation und Diskussion der Arbeit bei der Summer School 2012 der DgfE ^[1], die Nachwuchstagungen der DeGÖB (u. a. Vortrag 2012), die Teilnahme am 12. Workshop zur Qualitativen Inhaltsanayse (2013) bei Prof. Mayring (Universität Klagenfurt) und dem Doktorandenkolloqium Empirische Bildungsforschung (Universität Graz 2013) gewährleistet. Dabei wurde stets darauf geachtet, sowohl domänenspezifisches inhaltliches Feedback zu bekommen als auch solches von fachaffinen und fachfremden Wissenschaftlerinnen und Wissenschaftlern zu berücksichtigen. Darüber hinaus wurde hinsichtlich der Methode der qualitativen Inhaltsanalyse ein Austausch mit anderen Wissenschaftlerinnen und Wissenschaftlern angestrebt, die ebenfalls mit der qualitativen Inhaltsanalyse arbeiten (Member Checks). Der gesamte Forschungsprozess wurde fortlaufend reflektiert und auf die Erfüllung der Gütekriterien überprüft, während und auch nach Abschluss des Projektes (Auditing).

Auf eine „kommunikative Validierung“ (vgl. u. a. Mayring 2010, S. 120) wurde begründet verzichtet. Da Vorstellungen nicht unmittelbar bewusst sind (vgl. u. a. Kagan 1990, S. 420; Leuchter 2009, S. 20; Müller 2009, S. 4), eine identitätsstiftende Funktion haben (vgl. u. a. Leuchter 2009, S. 20; Reusser et al. 2010, S. 480) und im Interview bei der Erhebung von Lehrervorstellungen auch Erwartungseffekte zum Tragen kommen, erscheint eine kommunikative Validierung bei diesem Forschungsvorhaben problematisch. Es ist davon auszugehen, dass den Lehrpersonen ihre eigenen Vorstellungen nicht uneingeschränkt bewusst sind und sie diese möglicherweise anders interpretieren, als dies in der wissenschaftlichen Analyse der Fall ist. Auch wenn die Erhebung der Studie ebenfalls eine Interpretation der Vorstellungen darstellt, ist diese jedoch im Vergleich zu einer Selbstinterpretation regelgeleitet und nachprüfbar. Begründen lässt sich diese Vorgehensweise damit, dass das qualitative Interview als Methode bereits so angelegt ist, dass es den Untersuchungspersonen die Explikation ihrer Sicht der Welt ermöglicht. Die Voraussetzungen hierfür sind im Rahmen des Interviews geeigneter als in einer teilnehmenden Beobachtung oder der Gruppendiskussion als anderen qualitativen Methoden. Eine erneute zweite Explikation mittels einer kommunikativen Validierung ist daher aus den genannten Gründen nicht sinnvoll, da die Vorstellungen, die von den Befragten geäußert werden können bzw. expliziert werden wollen, bereits dezidiert Gegenstand des Interviews sind. Eine Versicherung, inwieweit die Vorstellungen der Befragten aus deren Perspektive richtig verstanden wurden, ist aufgrund der spezifischen Merkmale von Vorstellungen problematisch und erzeugt mit großer Wahrscheinlichkeit weitere Verzerrungseffekte. Demgegenüber ist es zur Validierung der Codierungen in der qualitativen Inhaltsanalyse, in der sich der wissenschaftliche Verstehensprozess methodisch manifestiert, ertragreicher, diese durch eine ausführliche Intercodierung mit verschiedenen Codiererinnen und Codierern zu überprüfen (vgl. Kapitel 5.3.3). Wichtiger als eine nachträgliche kommunikative Validierung ist es, den Lehrpersonen in den Interviews genügend Raum zu Äußerungen zu geben und durch Nachfragen sicherzustellen, dass die Lehrpersonen diesen nutzen konnten.

Zusätzlich zu den inhaltlichen Gütekriterien wurde die Studie nach RdErl. d. MK vom 05.12.2005 – 24-81402-VORIS 22410 zu Umfragen und Erhebungen an Schulen in Niedersachsen durch die Niedersächsische Landesschulbehörde am 27.08.2013 formal genehmigt. Die Teilnahme an der Studie erfolgte freiwillig und alle teilnehmenden Lehrpersonen haben ihr Einverständnis zur Verarbeitung und Speicherung ihrer Daten in einer Einverständniserklärung dokumentiert.

• [1] DGfE: Deutsche Gesellschaft für Erziehungswissenschaften