Interdisziplinäres Netzwerk zu Methodologie und
Anwendungsfeldern methodenintegrativer Forschung
Videos ausgewählter Beiträge sind hier verfügbar.
Vom 5. bis 7. Februar 2020 fand an der Helmut-Schmidt-Universität Hamburg das fünfte Arbeitstreffen des Netzwerks MMMR statt. Das Oberthema des Workshops lautete Gütekriterien und Best-Practice-Standards für Mixed Methods und Multimethod Research. Diesmal durfte das Netzwerk Kathleen Collins (University of Arkansas) und Martyn Hammersley (Open University UK) als internationale Gastwissenschaftler*innen begrüßen.
Eröffnet wurde die Veranstaltung durch Keynote-Vorträge von Kathleen Collins, Martyn Hammersley und Judith Schoonenboom (Universität Wien). In ihrem Vortrag Enhancing Quality Criteria Design: A Multifaceted Approach gab Kathleen Collins einen Überblick über ihre Arbeiten zum Konzept des “validity design”. Diese Konzeption geht davon aus, dass eine Formulierung allgemeiner Gütekriterien im Feld von MMMR-Designs von begrenztem Nutzen ist, und dass stattdessen die Beurteilung und Sicherung der Qualität methodenintegrativer Forschung stärker an das Forschungsdesign jeweiliger Studien angepasst werden muss. In diesem Zusammenhang hob Collins zunächst hervor, dass es im MMMR-Diskurs der vergangenen Jahre eine Perspektivverschiebung von einem Fokus auf „Mixing“ (d.h. einer Verknüpfung prinzipiell eigenständiger Forschungsmethoden) hin zu einem Fokus auf „Integration“ (d.h. einer stärker synthetisierenden bzw. hybridisierenden Methodenkombination) gegeben habe, die auch auf der Ebene der Gütekriterien eine stärker integrative Perspektive nötig mache. Als allgemeiner Titel für eine solche kontextgebundene, flexible Adaption von Qualitätskriterien wurde der Begriff der „Legitimation“ (Onwuegbuzie & Johnson) vorgeschlagen. Ein solcher Ansatz bringt dabei viele methodische Herausforderungen mit sich, da er u.a. eine intensive und potentiell konfliktträchtige Kommunikation in Forschungsteams mit sehr heterogenen methodologischen Orientierungen nötig macht. Hierbei betonte Collins ein selbstreflexives Streben nach „philosophical clarity“, das heißt nach Klarheit der philosophischen Grundannahmen von Forscher*innen, als grundlegende Voraussetzung. Neben einer solchen Verständigung über die abstrakten theoretischen Grundlagen der Forschungspraxis, müsse zudem aber auch eine größtmögliche Transparenz bzgl. der angewandten empirischen Erhebungs- und Analyseverfahren sowie deren Voraussetzungen und Zielen gewährleistet sein, um eine intersubjektiv nachvollziehbare Beurteilung der Qualität von methodenintegrativer Forschung zu ermöglichen.
Martyn Hammersley näherte sich in seiner Präsentation mit dem Titel Are there Assessment Criteria for Qualitative Research? der Thematik der Gütekriterien zunächst von der Seite qualitativer Forschungsmethoden her. Auch Hammersley machte hierbei zunächst auf die Vielfalt möglicher Zielsetzungen von (qualitativer) Sozialforschung aufmerksam, sowie auf die ebenso vielfältigen Kontexte, in denen eine Bewertung von Sozialwissenschaft vorgenommen wird. Vor dem Hintergrund der vergleichsweise kontroversen Diskussion zu Gütekriterien in qualitativer Forschung schlug Hammersley eine konzeptionelle Differenzierung nach Standards bzw. Dimensionen der Bewertung (Welche Merkmale von Forschung werden als relevant für deren Evaluation gewählt?), Maßstäben bzw. Richtwerten (Ab wann gilt Forschung hinsichtlich eines bestimmten Merkmals als „gut“ oder „schlecht“?), und Indikatoren vor (Anhand welcher Beobachtungen wird entschieden, ob jeweilige Maßstäbe erreicht wurden?). Hammersley arbeitete sich weiterhin kritisch am Ideal einer „Transparenz“ von Gütekriterien ab: Entgegen dieser populären Vorstellung, sei die praktische Anwendung von Gütekriterien in qualitativer sowie quantitativer Forschung in aller Regel nicht „transparent“ im Sinne einer quasi-deterministischen Ableitung von Bewertungsergebnissen aus objektiv gegebenen Merkmalen. Vielmehr handele es sich in der Beurteilung von Forschungsqualität oftmals um eine stark kontextspezifische und interpretationsabhängige Anwendung von Kriterien – gemäß dem Wittgensteinschen Grundsatz, dass es „self-applying criteria“, also Regeln, die ihre eigene Anwendung regeln, nicht geben könne. Daraus folgt allerdings nicht, dass Bewertungsmaßstäbe verzichtbar oder willkürlich wären, sondern vielmehr, dass diese die Rahmenbedingungen für einen (selbst-)kritischen Dialog über die Informativität und Zuverlässigkeit von Forschung bieten, ohne aber unmittelbar „transparente“ Kriterien bereitzustellen. Im Zusammenhang methodenintegrativer Designs, d.h. bei der gemeinsamen Bewertung qualitativer und quantitativer Forschung, kommt der Unterscheidung zwischen „Standards“ und „Indikatoren“ besondere Bedeutung zu. Während Hammersley für eine allgemeine Geltung derselben Standards über alle Methodentraditionen hinweg argumentiert – letztendlich gehe es immer um die Wahrheit sowie um die normative Relevanz von Forschungsergebnissen –, kann die Auswahl relevanter Indikatoren und Maßstäbe je nach Methode variieren. Letztere richten sich dabei grundlegend nach den jeweiligen argumentativen Zielsetzungen bzw. Geltungsansprüchen einer Studie, die von einer detaillierten Deskription bis zu generalisierbaren Kausalerklärungen reichen können.
Unter der Überschrift Developing and Integrating Claims as a Quality Criterion for Mixed Methods Research präsentierte Judith Schoonenboom (Universität Wien) ein Modell der Bewertung von Forschungsprozessen, in dessen Zentrum das Konzept der „Meta-Inferenzen“ steht. Dabei verortet Schoonenboom dieses Konzept nicht, wie vielfach üblich, allein in der finalen, synthetisierenden Ergebnisinterpretation eines MMR-Projektes. Als Meta-Inferenz wird vielmehr ein Prozess gemeint, der mit der Formulierung von Forschungsfrage und -Design bereits beginnt und in dem Thesen und Geltungsansprüche („Claims“) sich fortlaufend weiterentwickeln. Dieser Entwicklungsprozess vollzieht sich typischerweise in einer Abfolge von anfänglicher These, widersprüchlichen Ergebnissen, der Analyse von Subgruppen oder ähnlicher Ansätze zur Aufklärung der Inkonsistenzen, sowie einer anschließenden Anpassung & Erweiterung der Ausgangsthese. So könne beispielsweise eine standardisierte Evaluation eines Entwicklungshilfeinstrumentes zeigen, dass dieses nicht zu den erwarteten Entwicklungsprozessen führt, während ergänzende qualitative Daten zur Entwicklung von Erklärungshypothesen herangezogen werden, die schlussendlich in eine integrierte Interpretation beider empirischer Materialquellen münden. Für die Bewertung der Qualität von MMR-Designs folgt daraus, dass weniger die Bestätigung bzw. Widerlegung einer anfänglichen These ausschlaggebend ist, sondern vielmehr die Konsistenz und Nachvollziehbarkeit des Entwicklungsprozesses der jeweiligen Thesen und Geltungsansprüche, sowie das Ausmaß, in dem dabei verschiedene Analyseperspektiven und Datenquellen berücksichtigt werden.
Der Nachmittag des ersten Workshoptages wurde anschließend mit zwei Diskussionsbeiträgen von Udo Kelle und Felix Knappertsbusch eröffnet, die ebenfalls spezifische Teilaspekte des Themas Gütekriterien beleuchteten. Udo Kelle argumentierte in seinem Papier zu Quality Criteria in Mixed Methods Research zunächst, die Grundidee jeglicher methodenintegrativen Forschung sei die Annahme, dass unterschiedliche Forschungsmethoden mit je spezifischen Stärken und Schwächen einhergingen. Ausgehend davon ließe sich nach Möglichkeiten einer produktiven Kombination von Methoden mit „non-overlapping weaknesses“ und „complementary strengths“ fragen (Brewer & Hunter). Grundlage jeglichen MMR-Designs seien somit „Fehlertheorien“, die spezifische Stärken und Schwächen beschreiben. Gerade solche Fehlertheorien seien aber in der MMR-Literatur bislang kaum ausgearbeitet, was auch zu Unsicherheit hinsichtlich der Frage nach Gütekriterien für methodenintegrative Forschung führe. Dabei lieferten die ursprünglich im Rahmen standardisierter Methoden entwickelten „klassischen“ Gütekriterien (externe und interne Validität, Reliabilität, Objektivität) grundsätzlich einen adäquaten Rahmen zur Bewertung auch von nicht- bzw. teilstandardisierter empirischer Forschung. Anstelle jedoch in einen produktiven Dialog über die jeweils methodenspezifische Anwendung dieser allgemeinen Kriterien einzutreten, teile sich die sozialwissenschaftliche Forschungslandschaft nach wie vor häufig in separate Lager, innerhalb derer jeweils individuelle Schwerpunktsetzungen und Terminologien verwendet werden. Dies sei aus methodologischer Sicht bedauerlich, weil dadurch häufig Gelegenheiten für eine kritische Anerkennung der Schwachstellen des jeweils eigenen Ansatzes ausgeblendet würden. So unterschätzten quantitative Forscher*innen typischerweise Probleme der Validität bzw. vermischten diese mit Fragen der Reliabilität. Qualitative Forscher*innen übergingen hingegen häufig die Objektivitätsprobleme interpretativer Analyseverfahren sowie Fragen der externen Validität bei Forschung mit kleinen Fallzahlen. An die Stelle von Selbstkritik trete in der methodologischen Diskussion auf beiden Seiten häufig eine „tit-for-tat“-Strategie, mit der Kritik am eigenen Ansatz unter Verweis auf die Schwächen des jeweils anderen abgewehrt werde. Als wichtiger Orientierungspunkt bei der Überwindung solch verzerrter Debatten könne eine fallibilistische Grundhaltung (die Annahme der prinzipiellen Fehlbarkeit allen Wissens) und ein wissenschaftlicher Ethos der radikalen selbstkritischen Reflexion von Geltungsansprüchen und Fehlerquellen sein.
In seinem Papier Can there be a Methodology of Discovery in Social Research? konzentrierte sich Felix Knappertsbusch auf die Frage nach der Methodisierbarkeit wissenschaftlicher Entdeckungen. Die Entwicklung neuer, innovativer Forschungsperspektiven jenseits etablierter Methodentraditionen wird vielfach als eine Hauptfunktion von MMMR dargestellt. Jedoch bringt die Formulierung von Regeln und Kriterien für „gute“ Erkenntnis bzw. von Methoden zu deren Herstellung erhebliche methodologische und epistemologische Probleme mit sich. Dies, so argumentierte Knappertsbusch, liegt nicht zuletzt an der paradoxen Struktur des Konzepts wissenschaftlicher Erkenntnis: Es impliziert zugleich, dass neue Entdeckungen über bereits existierendes Wissen hinausweisen, d.h. nicht aus diesem ableitbar sind, und, dass diese (empirisch) begründet sind, d.h. dass es sich bei neuen Entdeckungen bereits um gesichertes und anschlussfähiges Wissen handelt. Übertragen auf das Problem einer „Methode der Entdeckung“ (Abbott) bedeutet diese „Paradoxie der Erkenntnis“, dass jedes methodisch kontrollierte Verfahren wissenschaftlicher Entdeckung genau dann scheitert, wenn es Erfolg hat: Wäre neues Wissen tatsächlich methodisch kontrolliert produzierbar, wäre es keine Erkenntnis mehr, da aus der Methode seiner Herstellung bereits ableitbar. Knappertsbusch diskutierte daraufhin diverse Ansätze zur Modellierung dieser Paradoxie, u.a. in der wissenschaftstheoretischen Diskussion zu „Gedankenexperimenten“ sowie in der kritischen Theorie der Frankfurter Schule. Eine Gemeinsamkeit der in diesen verschiedenen Kontexten vorgeschlagenen Theorie- und Analysemodelle liegt in deren „heuristischem“ Charakter, der Methodisierbarkeit mit Kreativität vereinen soll. Heuristische Methoden, wie etwa das Denken in „konzeptuellen Metaphern“ (Lakoff/Johnson) oder „Konstellationen“ und „Modellen“ (Adorno), haben in der Methodologie empirischer Sozialforschung bislang wenig Aufmerksamkeit erfahren – was nicht zuletzt als Folge der Ausklammerung des „Entdeckungszusammenhangs“ aus der Wissenschaftstheorie in den einflussreichen Arbeiten des kritischen Rationalismus gewertet werden kann. Dies gilt auch, so Knappertsbusch, für das Feld von MMMR. Als zentralen Ansatzpunkt für eine solche Ausarbeitung diskutierte Knappertsbusch die metaphorisch-evozierende sowie konstellative Verfahrensweise, die vielen heuristischen „Methoden der Entdeckung“ gemeinsam ist, und die mit dem konstellativen Charakter einer Verknüpfung und Integration empirischer Forschungsmethoden viele Gemeinsamkeiten aufweist.
Den Abschluss des ersten Workshoptages bildete die Besprechung und weitere Planung laufender und zukünftiger Netzwerkprojekte. Hierzu zählte zunächst die weitere Gestaltung eines kürzlich u.a. von Mitgliedern des Netzwerks gegründeten Arbeitskreises “Mixed Methods” in der Deutschen Gesellschaft für Soziologie, der an die Sektionen „Methoden der empirischen Sozialforschung“ sowie „Methoden der qualitativen Sozialforschung“ angegliedert ist und auf dem DGS-Kongress 2020 erstmalig mit der Ko-Organisation eines Konferenzpanels aktiv wird. Weiterhin wurde die thematische und organisatorische Gestaltung einer zum Ende des Netzwerk-Förderzeitraums im Sommer 2020 geplanten Sammelpublikation diskutiert.
Der zweite Workshoptag war der Diskussion von Titeln aus der in Vorbereitung befindlichen Lehrbuchreihe „Methodenintegrative Sozialforschung“ gewidmet, die im VS-Verlag unter der Herausgeberschaft von Andrea Hense, Susanne Vogl und Felix Knappertsbusch erscheinen wird. Von den insgesamt vier bereits konkret geplanten Reihenpublikationen wurden zwei vorgestellt und ausführlich diskutiert: Judith Schoonenboom präsentierte Ihr Konzept für eine Einführung zu „Mixed Methods and Multi-Method Research Design“. Der Band entwickelt eine Perspektive auf Forschungsdesign, die sich von den weit verbreiteten Design-Typologien bewusst abgrenzt, und stattdessen den emergenten, iterativen Prozesscharakter von MMMR-Studien betont. Leila Akremi und Andrea Hense legten ihre Konzeption eines Bandes zu „Mixed-Methods-Sampling“ vor. Die Gliederung dieses ebenfalls stark an forschungspraktischer Relevanz orientierten Bandes folgt drei Kernthemen: der Rekonstruktion und Abgrenzung von Populationen und Fällen, den zentralen Techniken für Fallauswahl und Feldzugang, sowie den Möglichkeiten und Voraussetzungen unterschiedlicher fallvergleichender Designs und Generalisierungsziele.
Letzte Änderung: 5. März 2020