Czytaj książkę: «Marktforschung»

2.1 Formulierung und Beurteilung des Marktforschungsproblems
2.1.1 Marketing-Entscheidung und Marktforschungsproblem

Der Wissensstand der Entscheider kann im Hinblick auf das Entscheidungsproblem beträchtlich variieren. Seine Bandbreite reicht vom bloßen Gefühl einer möglichen Bedrohung bis hin zu ganz konkreten Vorstellungen hinsichtlich der zur Verfügung stehenden Handlungsalternativen, den in Frage kommenden Umweltsituationen und den Konsequenzen der Alternativen. Die an das Marketing-Entscheidungsproblem anknüpfende Formulierung des Marktforschungsproblems, d. h. die Fixierung der Marktforschungsziele und die Angabe der gewünschten Informationen, ist mit der wichtigste Arbeitsschritt im gesamten Forschungsprozess. Fehler, die hier gemacht werden, lassen sich auch nicht durch eine noch so gewissenhaft betriebene Datenerhebung und -auswertung beheben.

Häufig ist jedoch festzustellen, dass trotz vager Vorstellungen hinsichtlich der zu lösenden Entscheidungen voreilig aufwendige Marktforschungsprojekte in die Wege geleitet werden. Dabei besteht die Gefahr, dass irrelevante Forschungsziele anvisiert und unbrauchbare Informationen geliefert werden.

2.1.2 Entdeckung und Präzisierung des Marketing-Entscheidungsproblems

Lange Zeit wurde die Entdeckung von Marketing-Entscheidungsproblemen lediglich als Kontrollproblem verstanden, denn Veränderungen in der Unternehmensumwelt schlagen sich früher oder später in routinemäßig erfassten Daten des Rechnungswesens und der Absatzstatistik nieder.

Diese Denkhaltung birgt zwei Gefahren: Zum einen verkürzt sich durch die recht späte Problementdeckung die verbleibende Reaktionszeit zur Abwehr einer sich anbahnenden Krise. Zum anderen werden auf diesem Wege oft nur Bedrohungen für das Unternehmen erkannt. Günstige Marktgegebenheiten, deren Ausnutzung zu einer höheren Zielerreichung als vorgesehen führen können, werden auf diese Weise kaum erfasst.

Man denke etwa an Online-Händler wie z. B. Amazon, Baur, Otto oder Zalando, die nicht erst dann aktiv werden, wenn Besuchshäufigkeiten oder Bestellvolumina zurückgehen. Stattdessen sind sie permanent mittels branchenübergreifendem Technologie- und Marktscouting, Wettbewerbsanalysen sowie Musterkennung auf der Suche nach Alternativen zur Verbesserung ihres Angebots. Die so entwickelten Alternativen werden dann mittels Kundenbefragungen und -beobachtungen sowie Online- Experimenten in mehrstufigen Prüf- und Auswahlprozessen präzisiert, ausgewählt und implementiert (siehe z. B. Baier und Rese 2020b für eine beispielhafte Umsetzung bei Zalando). Abbildung 6 (in Anlehnung an Baier et al. 2019, S. 63) visualiert diese Entdeckung und Präzisierung von Marketing-Entscheidungsproblemen sowie deren Überführung in Marktforschungsaktivitäten in einem mehrstufigen (hier: siebenstufigen) sog. Site Engineering-Prozess am Beispiel des Baur-Versands in Burgkunstadt, eines Teils der Otto-Gruppe. In der Abbildung sind Marktforschungsaktivitäten zur Abgrenzung grau hinterlegt.

Abb. 6: Entdeckung und Präzisierung von Marketing-Entscheidungsproblemen

Auch bei Herstellern der Konsum- und Industriegüterindustrie sind derartige iterative Entdeckungs- und Präzisierungs- sowie Prüf- und Auswahlprozesse weit verbreitet und werden dort etwa im Rahmen der Neuproduktentwicklung als Stage-Gate-Prozesse, neuerdings auch als Agile Stage-Gate-Prozesse genutzt (Cooper 1990; Cooper und Sommer 2016): Ausgangspunkt ist die systematische Suche nach möglichst vielen erfolgversprechenden neuen Produkt- und/oder Vermarktungsalternativen. Deren iterative Konkretisierung, Prüfung und Auswahl wird dann iterativ durch Marktforschungsaktivitäten unterstützt (siehe z. B. Ulrich et al. 2020 für einen umfassenden Überblick).

Wie bereits angedeutet, kommen im Zusammenhang mit der Konkretisierung von Alternativen neben traditionellen Ansätzen zur Markt- und Absatzprognose auch Instrumente der Frühaufklärung zum Einsatz, die in der Marktforschungsliteratur schon länger diskutiert werden (vgl. Ansoff 1976, Müller-Merbach 1977, Kühn und Walliser 1978, Hahn und Krystek 1979, Rieser 1980; Böhler 1983, Ulrich et al. 2020, S. 35-54). Sie sollten im Idealfall schon auf mögliche Alternativen hinweisen (z. B. Einführung von Sprachassistenten im Kundendialog oder nicht, Alternativen für ein neues Produkt oder eine neue Vermarktungsstrategie), da der Entscheidungsträger aufgrund seines geringen Informationsstandes oft nicht in der Lage ist, die Entscheidungsaufgabe selbst zu konkretisieren. Die Marktforschung hat deshalb die Aufgabe, durch explorative Forschung mittels Sekundärforschung und/oder Expertengesprächen die Hintergründe aufzudecken bzw. Hinweise für die Abwehr der Bedrohung oder für die Chancennutzung zu liefern.

Hilfreich ist in dieser Situation heute aber vor allem auch die Analyse der umfassend vorliegenden internen Datenbestände (z. B. Kundenbeschreibungen, Kaufhistorien, Clickstreams, Kommentare und Beschwerden) mittels immer ausgereifterer Verfahren der Datenanalyse ( Kap. 3 und 7) sowie Auswertungen weiterer, vor allem über das Internet zugänglicher Informationen (u. a. branchenübergreifende Studien, Vergleiche, Berichte, Nachrichten, Patente und andere Veröffentlichungen, Kundenbewertungen des eigenen Angebots und des Angebots der Konkurrenz in sozialen Netzwerken oder in Online-Shops). Man spricht heute angesichts der vielfach datengetriebenen Möglichkeiten, so eine Aufklärung umzusetzen, je nach Schwerpunkt auch von »Data Mining«, »Knowledge Discovery in Databases«, »Marketing Analytics« oder auch »Marketing Intelligence« (siehe z. B. Wedel und Kannan 2016 für einen einführenden Überblick sowie Kap. 6 und 7). Aufgabe ist es jedenfalls oft, das Marketing-Entscheidungsproblem hinsichtlich möglicher Alternativen zu konkretisieren und daraus ein (Markt-)Forschungsziel und einen Informationsbedarf abzuleiten.

2.1.3 Formulierung des Marktforschungsproblems

Das Marktforschungsproblem ist hinreichend formuliert, wenn das Forschungsziel und der Informationsbedarf nach »Art, Qualität und Ausmaß« (Hammann und Erichson 2006, S. 53 ff.) festgelegt sind. Oft handelt es sich dabei um eine bloße Wiederholung des Marketing-Entscheidungsproblems. Besteht z. B. das Entscheidungsproblem in der Wahl zwischen zwei Neuproduktvorschlägen, so lautet das Marktforschungsproblem »Bewertung alternativer Neuproduktvorschläge«. Nicht selten liegen aber komplexere Entscheidungsprobleme vor. Wurde z. B. innerhalb der Problementdeckung und -präzisierung festgestellt, dass das alte Produkt sich in der Degenerationsphase seines Lebenszyklus befindet, so können mehrere Forschungsziele und umfangreiche Informationsbedürfnisse in die Formulierung des Marktforschungsproblems aufgenommen werden.

Die Liste der Forschungsziele beginnt z. B. mit dem Ziel, Marktnischen aufzuspüren, deren Aufnahmefähigkeit festzustellen sowie Anregungen für die Produktgestaltung zu liefern, und endet damit, dass Neuproduktalternativen sowie Werbekampagnen und verschiedene Preishöhen zu bewerten sind.

Die soeben skizzierte Aufgabe, dass am Anfang eines Marktforschungsprozesses eine präzise Formulierung des Marketing-Entscheidungs- und des Marktforschungsproblems zu erstellen sei, wird in der Wissenschaftstheorie unter dem Begriff der Hypothesenformulierung diskutiert. Da die dort aufgestellten Prinzipien zur Hypothesenformulierung von höchster Bedeutung für die Definition von Marktforschungsproblemen sind, ist in aller Kürze darauf einzugehen.

Hypothesen lassen sich gewissermaßen als Forschungsziele betrachten, die in die Form einer Behauptung gekleidet sind. Ein typisches Beispiel sind »Wenn-Dann-Aussagen« der Art »Wenn das Werbebudget um 10 % erhöht wird, dann steigt im gleichen Zeitraum der Marktanteil um 1 %«.

Die Wissenschaftstheorie stellt nun inhaltliche und formale Anforderungen an die Hypothesenformulierung und -überprüfung, die sicherstellen sollen, dass die aufgestellten Behauptungen in intersubjektiv befriedigender Weise nachgeprüft werden können. Was die Hypotheseninhalte anbelangt, so trifft man immer wieder die Forderung, dass »Wenn-Dann-Aussagen« aufzustellen sind, da nur hierdurch die Erklärung, Prognose und damit die Unterstützung von Entscheidungen möglich ist. Letztlich wird also die Formulierung und Überprüfung von Hypothesen über Ursache-Wirkungsverhältnisse gefordert. Zwischen diesen Forderungen der Wissenschaftstheorie und der Realität der Forschungspraxis klafft jedoch eine erhebliche Lücke:

Die verfügbaren Mittel, die Beschaffenheit der Daten und die technische Ausstattung des Forschers erlauben nicht immer die Aufstellung und experimentelle Überprüfung von Kausalhypothesen. Oftmals sind diese Behauptungen nur durch deskriptive Designs, d. h. durch die statistische Analyse von korrelativen Beziehungen überprüfbar. Daneben interessieren in der Marktforschungspraxis nicht nur Beziehungen zwischen Merkmalen. Recht häufig werden auch »deskriptive Hypothesen« formuliert, die sich auf die Ausprägungen eines einzelnen oder auch mehrerer Merkmale beziehen. Dies ist z. B. der Fall, wenn es um die Beschreibung von Markttatbeständen geht, etwa wenn die demographischen, sozioökonomischen und psychologischen Merkmalsausprägungen von Käufern zu erheben sind, oder wenn die Höhe des Marktvolumens ermittelt werden soll.

Noch weiter vom wissenschaftstheoretischen Forschungsideal des kritischen Rationalismus entfernt befindet man sich, wenn das Entscheidungsproblem nur sehr vage bekannt ist. Hier dient die explorative Forschung ja erst dem Zweck der Hypothesenfindung. Was vom wissenschaftstheoretischen Forschungsideal für die Formulierung des Marktforschungsproblems übrig bleibt, ist somit die Forderung, dass nach Abschluss der explorativen Phase von deskriptiven oder kausalen Hypothesen auszugehen ist. Denn unpräzise oder fehlende Hypothesen verhindern nicht nur die angemessene statistische Überprüfung der Ergebnisse, sie ermöglichen zugleich jedwede Manipulation durch den Forscher. Dies ist insbesondere der Fall, wenn zuerst alle möglichen Analysen durchgeführt werden, bis man halbwegs »plausible« und »signifikante« Ergebnisse gefunden hat. Für diese Ergebnisse werden dann nur noch die bereits »bestätigten« Hypothesen gesucht. Diese Vorgehensweise wird in der Forschung als HARKing bezeichnet (hypothesizing after results are known). Dabei führen vor allem das Cherry- Picking (die gezielte Auswahl von Datensätzen und Messinstrumenten, die besonders vielversprechend für die Bestätigung einer Hypothese erscheinen) und das Question Trolling (die Suche in den Daten nach Konstrukten, Messinstrumenten und Zusammenhängen, aus denen sich bestätigbare und möglicherweise publizierbare Hypothesen ableiten lassen) zu besonders starken Verzerrungen der Glaubwürdigkeit von Forschungsergebnissen (Murphy und Aguinis 2019).

Sind das Marktforschungsproblem und die damit einhergehenden Hypothesen formuliert, so ist nun zu entscheiden, ob und in welchem Umfang der festgestellte Informationsbedarf durch die Marktforschung zu befriedigen ist.

2.1.4 Bewertung und Auswahl von Marktforschungsprojekten

Marktforschungsprojekte, die nicht ausschließlich auf bereits vorliegende Daten zurückgreifen können, verursachen hohe Kosten. Es liegt daher nahe, Projektanträge einer formalen Bewertung zu unterziehen, bei denen Wert und Kosten der Marktforschung einander gegenübergestellt werden. Während die Kosten der Informationsbeschaffung relativ einfach zu berechnen sind, lässt sich der Wert der durch Marktforschung zu liefernden Informationen nur durch eine Reihe restriktiver Annahmen abschätzen.

Eine Möglichkeit zur Bestimmung des Informationswertes von Marktforschungsprojekten bietet die nach dem englischen Pfarrer Thomas Bayes benannte Bayes-Analyse, deren Verbreitung in der wirtschaftswissenschaftlichen Fachwelt vor allem auf Schlaifer (1959) und speziell im Marketing auf Green und Frank (1966) zurückgeht (vgl. u. a. Green und Tull 1988, Decker und Wagner 2002, Hammann und Erichson 2006).

Um den Informationswert mit Hilfe der Bayes-Analyse abschätzen zu können, werden hohe Anforderungen an die Formulierung des Marketing-Entscheidungsproblems gestellt: Es müssen die in Frage kommenden Handlungsalternativen, die Umweltsituationen und deren Eintrittswahrscheinlichkeiten sowie die in Geld bewerteten Ergebnisse der Handlungsalternativen bei verschiedenen Umweltsituationen angegeben werden. Ohne Durchführung eines Marktforschungsprojekts wird jene Handlungsalternative gewählt, die den höchsten Erwartungswert von risikoneutralen Entscheidern aufweist (Laux et al. 2018, S. 341-389). Wird zur Verbesserung des Informationsstandes ein Marktforschungsprojekt erwogen, so kann mit Hilfe des Bayes-Ansatzes der Erwartungswertzuwachs ermittelt werden, den die zusätzlichen Informationen erbringen. Ist dieser Wert der Informationen höher als die Kosten ihrer Beschaffung, so lohnt sich die Realisierung des Marktforschungsvorhabens. Auf die Darstellung des Formelapparates wird hier verzichtet und stattdessen auf die hierzu bereits zitierte Literatur verwiesen.

Praktisch scheitert die Anwendung der Bayes-Analyse häufig daran, dass die Entscheider nicht in der Lage oder nicht bereit sind, Handlungsalternativen, Umweltsituationen, Konsequenzen und Wahrscheinlichkeiten zu schätzen. Des Weiteren ist das Instrumentarium nur für eine ganz bestimmte Klasse von Marktforschungsproblemen anwendbar; sollen z. B. Informationen über Zielgruppen oder Kontrollinformationen eingeholt werden, so entfällt diese Möglichkeit der Informationsbewertung. Letztlich ist das Konzept der Bayes-Analyse mit seiner Erwartungswertberechnung bei wohldefinierten Entscheidungsproblemen zu restriktiv. Tatsächlich liefern die zu beschaffenden Marktforschungsinformationen zumeist auch Hinweise auf neue Handlungsalternativen und bislang noch nicht berücksichtigte Umweltsituationen; damit verändert sich jedoch die ursprüngliche Definition des Entscheidungsproblems (vgl. zu diesen Problemen Uebele 1981 oder Decker und Wagner 2002).

Somit beschränkt sich der Wert des Bayes-Ansatzes hauptsächlich darauf, dass er Entscheider und Marktforscher zwingt, sich systematischere und logisch weniger widersprüchliche Gedanken über das zu lösende Marketing-Entscheidungsproblem und das geplante Marktforschungsprojekt zu machen als sie es üblicherweise gewohnt sind. In diesem Sinne ist u.U. die Anwendung der Bayes-Analyse bei Entscheidungen mit weitreichenden Konsequenzen zu empfehlen. Wenn nun wie in den meisten Fällen der Informationswert von Marktforschungsprojekten nicht in Geldeinheiten bewertet werden kann, so sind Ersatzkriterien heranzuziehen. Hierzu bieten sich Checklisten an, die sich aus wichtigen Bewertungskriterien zusammensetzen, wie

• der Klarheit der Marketing-Problemformulierung,

• der Wichtigkeit des Marketing-Problems,

• der Formulierung der Forschungsziele und des Informationsbedarfs,

• dem Forschungsdesign,

• den Erhebungsmethoden,

• den Auswertungsmethoden,

• den Kosten und der Zeitdauer sowie

• der Wichtigkeit der Informationen für das Unternehmen.

Diese Kriterien können entweder auf einer von »sehr gut« bis »sehr schlecht« reichenden Skala eingestuft werden, oder man zieht Punktbewertungsmodelle heran, bei denen für jedes Kriterium ein Punktwert vergeben wird. Der Gesamtpunktwert ergibt sich dann durch Addition der Einzelpunktwerte, wobei zuvor auch noch eine Gewichtung der einzelnen Kriterien vorgenommen werden kann.

2.2 Wahl des Forschungsdesigns

Jedes Forschungsvorhaben ist durch die Forschungsziele und die herangezogenen Untersuchungsmethoden charakterisiert. Trotz der großen Vielfalt lassen sich drei typische Forschungsansätze unterscheiden:

• die explorative Forschung,

• die deskriptive Forschung sowie

• die experimentelle bzw. quasi-experimentelle Forschung.

2.2.1 Explorative Forschung

Die explorative Forschung wird bei geringem Kenntnisstand zur Gewinnung zusätzlicher Einsichten zum Forschungsproblem herangezogen. Im Wesentlichen werden mit ihr folgende Forschungsziele angestrebt:

• Präzisierung von Marketing-Entscheidungs- und Marktforschungsproblemen (Hypothesenfindung),

• Prioritätensetzung für die Projektauswahl sowie

• Anhaltspunkte für die Projektabwicklung.

Obwohl in dieser »vorwissenschaftlichen Erkundungsphase« ein hohes Maß an Flexibilität und Kreativität der Marktforscher erforderlich ist, haben sich die Sekundärforschung, die Expertenbefragung und die qualitativen Marktforschungsmethoden für die explorative Marktforschung bewährt. Auf die heutige Bedeutung datengetriebener Forschung wurde bereits hin- und auf die entsprechenden zusätzlichen Ausführungen in Kapitel 3 und 7 verwiesen.

2.2.1.1 Sekundärforschung

Hilfreich ist zunächst die Sichtung bereits vorliegender Forschungsergebnisse zu früheren ähnlichen Problemfeldern sowie die Auswertung von internen und externen Datenquellen (Außendienstberichte, Datenbanken, Statistiken etc.).

Das Literaturstudium sowie die Analyse bereits vorliegender interner und externer Daten sollten stets den ersten Untersuchungsschritt eines Forschungsvorhabens bilden. Hierdurch lassen sich schnell und mit geringen Kosten zusätzliche Einsichten hinsichtlich der Ursachen des Problems, der in Frage kommenden Handlungsalternativen und für die weitere Projektgestaltung gewinnen.

Mitunter ist auch die Analyse einzelner Fälle hilfreich. Hierzu zählt z. B. die Sichtung von Berichten über sehr erfolgreiche Marketing-Aktionen in der Praxis, oder, was noch aufschlussreicher sein kann, das Studium aufsehenerregender Misserfolge.

Hinweise lassen sich zudem im eigenen Unternehmen durch Vergleich von erfolgreichen und weniger erfolgreichen Marketing-Maßnahmen in der Vergangenheit erarbeiten.

2.2.1.2 Expertenbefragung

Bei bedeutenden Forschungsvorhaben oder relativ neuartigen Problemstellungen genügt die Sichtung vorhandenen Materials nicht. Wertvolle Anregungen lassen sich dann durch die Expertenbefragung gewinnen. Als Auskunftspersonen kommen Mitglieder des Unternehmens, Vertreter des Handels und auch Personen in Frage, die selbst auf demselben oder einem verwandten Gebiet forschen. Bei der Auswahl sollte darauf geachtet werden, dass eine eventuell bestehende Meinungsvielfalt hinreichend erfasst wird. Unter Umständen sind auch »Außenseiter« zu befragen, deren Ansichten nicht in das etablierte Weltbild passen, da gerade hierdurch neue Einsichten gewonnen werden können. Als Befragungsstrategie empfiehlt sich das unstrukturierte persönliche (»Tiefen-«)Interview, weil dabei die Auskunftspersonen auf Gesichtspunkte eingehen können, die der Forscher nicht von vorneherein in Erwägung gezogen hatte.

Tiefeninterviews gehören zu den Schlüsselmethoden der qualitativen Marktforschung (Belk et al. 2013, S. 31), auf deren Bedeutung in Rahmen von explorativen Forschungsdesigns im folgenden Abschnitt vertieft eingegangen wird.

2.2.1.3 Qualitative Forschung

Unter qualitativer Marktforschung werden solche Methoden zusammengefasst, die nicht auf quantitativ-numerischen Daten, sondern auf detailreichen und kontextualisierten visuellen und verbalen Aufzeichnungen beruhen. Dabei ist zu beachten, dass die häufig verwendete Bezeichnung als »verstehende« Forschungsmethode im Gegensatz zur quantitativen Methodik irreführend ist: Beide Formen der Marktforschung streben an, Daten zu verstehen und dadurch zu Informationen zu machen. Dies geschieht, indem Ursachen, Wirkungen, Zusammenhänge und Kontextfaktoren entschlüsselt werden. Die Unterschiede beziehen sich vielmehr vor allem darauf, dass die Daten in der qualitativen Marktforschung nicht numerisch kodiert werden, um sie auszuwerten. Ein weiteres Missverständnis ist, dass die qualitative Forschung wegen der fehlenden Standardisierung beispielsweise in Tiefeninterviews mit einem »anything goes« in der Datenerhebung und Datenauswertung einherginge: Im Gegenteil ist eine hohe Transparenz erforderlich, um alle Schritte bei der Datenerhebung (z. B. durch Einbeziehung des Interviewleitfadens in den Ergebnisbericht) und der Kategorisierung bei der Auswertung zu dokumentieren (für ein Beispiel vgl. Geiger et al. 2018). Eine detaillierte Übersicht über weitere Unterschiede zwischen qualitativer und quantitativer Marktforschung werden in Abbildung 7 (Belk et al. 2013, S. 3; Teddlie und Tashakkori 2009, S. 86) aufgeführt.

Qualitative Methoden können in der Marktforschung Zusammenhänge erschließen, bei denen die Befunde nur unter Berücksichtigung des Kontext interpretiert werden können, wie zum Beispiel zum Verständnis und zur Nutzung von Smart Voice Interaction Technologies in privaten Haushalten (Foehr und Germelmann 2020). Sie sind geeignet, Einflussfaktoren zu identifizieren, über die die Konsumenten anhand standardisierter Fragebögen keine Auskunft geben können oder möchten (Gröppel-Klein und Königstorfer 2009).

Oft bietet es sich in Marktforschungsprojekten an, qualitative und quantitative Methoden zu verbinden und mit Mixed Method-Designs zu arbeiten ( Kap. 2.2.4).

Abb. 7: Unterschiede zwischen qualitativen und quantitativen Forschungsansätzen

Qualitative ForschungQuantitative Forschung

Mixed Method-Designs verbinden qualitative und quantitative Methoden gleichgewichtig oder mit dem Schwerpunkt auf einer der beiden Methodentypen, um durch die Verbindung zu umfassenderen Einsichten zu kommen. So wurden bei einer Untersuchung von Fußballfans zunächst in einer qualitativen Studie das Gefühl der Verbundenheit als eine von individuellen Emotionen zu unterscheidenden sozialen Emotion als Erlebniskomponente bei Besuchen von Sportveranstaltungen identifiziert, bevor in einer quantitativen Studie der Einfluss dieser sozialen Emotion auf die langfristige Bindung von Fans mit den entsprechenden Ticketverkäufen für Sportevents untersucht wurde (Stieler und Germelmann 2016).

Für die qualitative Forschung ist die Einbindung der gewählten Methode in eine Forschungstradition wichtig. So legt eine konstruktivistische Weltsicht, bei der die Welt als sozial konstruiert wird, Methoden zur Analyse von Interaktionen in natürlichen sozialen Settings nahe, während eine feministisch-strukturalistische Sicht auf die Welt zum Beispiel eher zur Wahl von Methoden führt, die die Narrative benachteiligter Gruppen aufdeckt, da diese Perspektiven nicht hinreichend in den dominanten Mehrheitsdiskursen abgebildet werden (Durdella 2017, S. 91 f.).

Abbildung 8 gibt einen Überblick über häufig genutzte Methoden in der qualitativen Marktforschung, die in mehreren Forschungstraditionen (insbesondere kritischer Realismus und Konstruktivismus) Eingang gefunden haben. Mit zunehmender Digitalisierung ist hier vor allem auf die Netnographie (Kozinets 2019) zu verweisen, die es ermöglicht, Erkenntnisse durch Mitglieder, Themen, Sprache, Rituale, Normen und Prozesse von sozialen Netzwerken oder Onlinegruppen zu sammeln.

TiefeninterviewFokusgruppeBeobachtungNetnographie

Abb. 8: Häufig genutzte Methoden der qualitativen Marktforschung

TiefeninterviewFokusgruppeBeobachtungNetnographie

Die Gütekriterien der qualitativen Marktforschung unterscheiden sich von den Kriterien Reliabilität, Validität und Objektivität der quantitativen Marktforschung ( Kap. 4.3). Sie umfassen neben Kriterien zur Durchführung der Methoden und zur Darstellung der Ergebnisse auch Kriterien, die sich auf die Wahl der Fragestellung oder die Wirkung bei den Zielgruppen der Marktforschung beziehen.

Häufig werden hier die »Big Tent Criteria for Qualitative Quality « herangezogen (Tracy 2010). Diese acht Kriterien wurden nach der Forderung benannt, die qualitative Forschung mit ihren sehr unterschiedlichen paradigmatischen und methodischen Problemzugängen müsste – bildlich gesprochen – ihr »gemeinsames Zelt« vergrößern und durch gemeinsame methodische Qualitätskriterien den Dialog zwischen den Paradigmen verbessern. Diese acht gemeinsamen Qualitätskriterien sind im Einzelnen (Tracy 2010):

1. Worthy topic: Der Untersuchungsgegenstand ist bedeutsam, aktuell und interessant.

2. Rich Rigor: Die qualitative Studie nutzt umfassende, geeignete, angemessene und komplexe Konstrukte, Daten, Stichproben, Kontexte und Analyseprozesse.

3. Sincerity: Die qualitative Studie ist durch Selbstreflexion der Forscherinnen und Forscher und durch Transparenz der Methoden und der Herausforderungen bei der Studie gekennzeichnet.

4. Credibility: Es werden »thick descriptions« zur Beschreibung der Daten genutzt, die detailliert Auskunft z. B. über den Kontextbezug oder über sonst stillschweigend vorausgesetzte Wissenselemente geben (»showing rather than telling«).

5. Resonance: Die Befunde bewegen die Zielgruppe der Forschung z. B. durch umsetzbare Befunde und Handlungsanleitungen.

6. Significant Contribution: Die Forschung leistet einen bedeutsamen Beitrag im Hinblick auf Konzepte und Theorien, Praxis, Methoden, Moral oder Heuristiken.

7. Ethical: Die Forscherinnen und Forscher berücksichtigen die Ethik im Hinblick auf Personen und Prozesse, Situationen und Kulturen, Beziehungen und das Verlassen des Felds nach Abschluss der Forschungsarbeiten.

8. Meaningful Coherence: Die Studie erreicht das vorgegebene Ziel, nutzt zieladäquate Methoden, und verbindet sinnstiftend Literatur und Theorien, Forschungsfragen, Befunde und ihre Interpretationen.

2.2.2 Deskriptive Forschung

Die Forschungsziele deskriptiver Studien lassen sich in drei Kategorien einteilen:

• Beschreibung von Markttatbeständen und Ermittlung der Häufigkeit ihres Auftretens (z. B. »Wie viele Konsumentinnen und Konsumenten kaufen Handelsmarken, wie viele Herstellermarken?«),

• Ermittlung des Zusammenhangs zwischen Merkmalen (z. B. »Führt eine Preissenkung zu einem höheren Marktanteil?«),

• Prognosen (z. B. »Wie hoch wird der Neuwagenkauf nächstes Jahr sein?«).

Obwohl hier eine beträchtliche Vielfalt an Forschungszielen auftritt, haben die hierdurch charakterisierten deskriptiven Forschungsvorhaben einiges gemeinsam: Sie gehen von einem genau festgelegten Forschungsziel und den zu beschaffenden Informationen aus. Dies unterscheidet sie von explorativen Vorhaben. Im Gegensatz zu diesen wird demnach auch nicht große Flexibilität bei der Vorgehensweise, sondern hohe Genauigkeit der Ergebnisse gefordert. Bei deskriptiver Forschung wird daher ein sehr detaillierter Marktforschungsplan erstellt, so dass bei einem gegebenen Budget Ergebnisse erzielt werden, die einen möglichst niedrigen »Gesamtfehler« aufweisen (zum Gesamtfehler Kap. 5.3.5).

Auch die Methoden der Informationsbeschaffung unterscheiden sich teilweise von jenen der explorativen Forschung: Im Vordergrund steht die standardisierte Befragung bzw. Beobachtung möglichst repräsentativer Teilerhebungen aus der Grundgesamtheit. Daneben kommt noch die systematische (statistische) Analyse von Sekundärdaten, insbesondere von Paneldaten, in Betracht.

Je nachdem, ob diese Daten zu verschiedenen Zeitpunkten wiederholt erhoben werden oder ob sie nur zu einem bestimmten Zeitpunkt erfasst werden, unterscheidet man zwei verschiedene deskriptive Forschungsanordnungen, nämlich (vgl. hierzu z. B. Iacobucci und Churchill 2018, S. 81-88)

• die Querschnittanalyse (»Cross-sectional analysis«) und

• die Längsschnittanalyse (»Longitudinal analysis«).

2.2.2.1 Querschnittanalyse

Querschnittanalysen stellen den Hauptteil aller deskriptiven Forschungsprojekte bzw. der Marktforschung überhaupt dar. Es handelt sich hierbei um Daten, die sich nur auf einen bestimmten Zeitpunkt beziehen. Zumeist wird dabei nur ein Teil der interessierenden Grundgesamtheit befragt oder beobachtet. Querschnittanalysen sind daher besonders nützlich, wenn es um die Beschreibung von Markttatbeständen geht (z. B. Zielgruppenbeschreibungen).

2.2.2.2 Längsschnittanalyse

Bei Längsschnittanalysen werden demgegenüber die Daten zu verschiedenen Zeitpunkten wiederholt erhoben. Hierdurch lassen sich Marktveränderungen verfolgen. Dabei kann es sich um den Markenwechsel von Verbrauchern, um Einstellungsänderungen, um die Entwicklung von Bekanntheitsgrad, Slogankenntnis, Absatzmengen, Distributionskennziffern, Marktanteilen usw. handeln. Darüber hinaus können diese Veränderungen in Beziehung zu Änderungen der Marketing-Instrumente oder zu Änderungen des Konkurrenzverhaltens, der gesamtwirtschaftlichen Situation usw. gesetzt werden.

Eine besonders gut geeignete Forschungsanordnung für Längsschnittanalysen ist das Panel. Hierbei wird dieselbe Stichprobe von Konsumenten (bzw. Handelsgeschäften) wiederholt in regelmäßigen Zeitabständen bezüglich des gleichen Untersuchungsgegenstandes befragt oder beobachtet ( Kap. 3.2.1).

Deskriptive Forschungsanordnungen, insbesondere in Form der Längsschnittanalyse, erlauben neben der Kontrolle von Marktveränderungen und der Prognose auch schon eine vorsichtige Abschätzung des Einflusses, den Marketing-Maßnahmen auf abhängige Merkmale wie Absatzmenge oder Marktanteil haben. Allerdings sind auf Korrelationsanalysen aufbauende Schlüsse über Ursache-Wirkungsverhältnisse nur mit äußerster Vorsicht zu behandeln, da eine Vielzahl von nicht beachteten Faktoren auf das abhängige Merkmal eingewirkt haben können. Jedoch lassen sich bestimmte Forschungsanordnungen im Rahmen von Panels verwirklichen, die aufgrund der Kontrolle möglicher Störfaktoren schon als »quasi-experimentelle« Designs bezeichnet werden können.

2.2.3 Experimentelle und quasi-experimentelle Forschung

Ziel experimenteller und quasi-experimenteller Forschungspläne ist die Aufdeckung von Ursache-Wirkungsverhältnissen. Von der explorativen Forschung unterscheiden sie sich durch das Vorliegen ganz präziser Forschungsziele (Hypothesen), von deskriptiven Forschungsvorhaben, die ebenfalls Zusammenhänge überprüfen wollen, durch die Kontrolle von störenden Einflussfaktoren. Synonym zum Begriff des Experiments wird in der Praxis auch von »kontrolliertem Test« gesprochen.

2.2.3.1 Experimentbegriff

Ein Experiment dient der Überprüfung einer Kausalhypothese, wobei ein oder mehrere unabhängige(s) Merkmal(n) durch den Experimentator – bei gleichzeitiger Kontrolle aller anderen Einflussfaktoren – variiert werden, um die Wirkung der unabhängigen auf das/die abhängige(n) Merkmal(e) messen zu können (Zimmermann 1972; Koschate-Fischer und Schandelmeier 2014; Iacobucci und Churchill 2018; Spilski et al. 2018).

Ein Experiment ist damit durch folgende Merkmale gekennzeichnet:

1. Es liegt eine Kausalhypothese vor. Diese besteht im einfachsten Fall in der Behauptung, dass ein Merkmal ein anderes Merkmal beeinflusst. Ein Beispiel ist die Behauptung, dass eine 5 %-ige Erhöhung des Werbebudgets zu einer 25 %-igen Umsatzsteigerung führt.

2. Es wird der Einfluss eines oder mehrerer unabhängiger Merkmale (z. B. unterschiedliche Preise, Verpackungsentwürfe, Werbeanzeigen) auf ein oder mehrere abhängige Merkmale (Zahl der Verkäufe, Erinnerungswirkung, Einstellung) überprüft.

3. Der Experimentator variiert die unabhängigen Merkmale (Experimentfaktoren) und kontrolliert zugleich alle übrigen »Störfaktoren« (z. B. Konkurrenzeinflüsse, Aktionen des Handels), die ebenfalls einen Einfluss auf die abhängigen Merkmale ausüben können.

Die nachfolgende Diskussion der verschiedenen »Experimentanordnungen« wird zeigen, dass sich diese im Ausmaß der Kontrolle von Störfaktoren unterscheiden. Dabei wird festzustellen sein, dass in Literatur und Praxis häufig von »Experimenten« gesprochen wird, die nach der hier vertretenen strengen Definition keine sind, weil es bei ihnen an den entsprechenden Kontrollvorkehrungen fehlt. An dieser Stelle ist nochmals zu betonen, dass das Experiment hier als eine besondere Form der Forschungsplanung betrachtet wird, die sich von der explorativen und deskriptiven Forschung durch die Kontrolle der Experimentstimuli und der Störfaktoren unterscheidet. Als Techniken der Datenerhebung kommen auch bei dieser Form der Forschungsplanung die Befragung oder die Beobachtung in Betracht. Die häufig vorzufindende Einteilung der Erhebungstechniken in Befragung, Beobachtung und Experiment geht daher an der Natur der Sache vorbei.

2.2.3.2 Marketing-Maßnahmen als Experimentstimuli

Experimente unterscheiden sich nach der Art und Anzahl der als Experimentstimuli eingesetzten Marketing-Maßnahmen.

Produktpolitische Maßnahmen

Im Rahmen der Produktpolitik unterscheidet man Partialtests, bei denen nur einzelne Komponenten des Produkts (z. B. Verpackung, Markenname, Geschmack, Geruch, Farbe, Gebrauchsanweisung etc.) überprüft werden und Volltests, bei denen das gesamte Produkt durch die Experimentteilnehmer beurteilt werden muss.

Produkttests lassen sich in allen Phasen des Produktentwicklungsprozesses einsetzen. Dies beginnt zumeist mit der experimentellen Überprüfung von nur verbal und bildlich umschriebenen Produktalternativen im Rahmen sog. Konzepttests. Im weiteren Verlauf werden bereits realisierte Produktkomponenten (Geschmack von Nahrungsmitteln, Verständlichkeit von Gebrauchsanweisungen, Akzeptanz von Markennamen, Ausgestaltung von Pkw-Innenräumen etc.) einem Test unterzogen.

Ist das Produkt einführungsreif, so kann es einem Einzel- oder einem Vergleichstest (neben den relevanten Konkurrenzprodukten) unterzogen werden.

Kommunikationspolitische Maßnahmen

In der Werbeerfolgsprognose können einzelne Bestandteile eines Werbemittels (unterschiedliche Anordnungen von Bild und Text, Wirkung von Jingles, alternative Slogans etc.) und auch das gesamte Werbekonzept (Anzeigen, Audio- und Videospots, Plakate, Webbanner) experimentell überprüft werden. Letztlich können auch die ökonomischen Wirkungen (Absatz, Umsatz, Marktanteil) alternativer Streupläne und Werbebudgets abgeschätzt werden.

Preispolitische Maßnahmen

In der Preispolitik können einzelne Entscheidungstatbestände (alternative Preise, runde versus gebrochene Preise, Maßnahmen der Preispolitik) untersucht werden. Des Weiteren lassen sich ganze Preissysteme (Maßnahmen der Preisdifferenzierung, der Preisbündelung, Rabattsysteme) testen.

Distributionspolitische Maßnahmen

Das Spektrum distributionspolitischer Experimente reicht von der Wahl verschiedener Betriebsformen im Absatzweg, über die Fragen der Zusammenstellung der Waren-Category, bis hin zur Optimierung des Regalplatzes, der Überprüfung von Point of Sale-Maßnahmen, der Besuchshäufigkeit von Außendienstmitarbeitern und zur Wirkungsmessung verschiedener Distributionsformen (z. B. E-Commerce gegenüber dem traditionellen Vertrieb im Einzelhandel).

Überprüfung des Marketing-Mix

Selbstverständlich können die hier erwähnten Marketing-Instrumente auch als Marketing-Mix in verschiedenen Phasen des Planungsprozesses in ihrer Gesamtwirkung analysiert werden (sei es als Konzepttest oder zur Überprüfung des Marketing-Mix vor der Markteinführung).

2.2.3.3 Experimentelle Versuchspläne

Im Folgenden werden nun vier wichtige Experimentdesigns vorgestellt, die in der Literatur häufig auch als »echte«, »formale« oder auch »vollständige« Experimentdesigns bezeichnet werden, um sie von Versuchsplänen zu unterscheiden, die die Bedingungen eines Experiments nicht erfüllen (vgl. auch Iacobucci und Churchill 2018, S. 101 ff.).

Im Folgenden wird die Notation sowie die Einteilung von Experimentdesigns von Campbell und Stanley (1966) aufgegriffen, da sie sich in der internationalen Marktforschungsliteratur durchgesetzt hat:

Die horizontale Anordnung der Symbole von links nach rechts zeigt die zeitliche Abfolge an. Symbole in einer Zeile beziehen sich jeweils auf eine Gruppe.

2.2.3.3.1 Vorher-Nachher-Messung mit Kontrollgruppe

Die Vorher-Nachher-Messung mit Kontrollgruppe wird oft als das klassische Experimentdesign bezeichnet. Bei diesem Design wird neben der Experimentgruppe (EG) eine Kontrollgruppe (KG) eingeführt, die der Experimentgruppe möglichst gleicht.

Nun wird nur die Experimentgruppe dem experimentellen Stimulus (z. B. der neuen Verpackung) ausgesetzt, die Kontrollgruppe aber nicht (dies ist auch so zu verstehen, dass der »Kontrollgruppe« die alte Verpackung präsentiert wird). Der Versuchsplan hat damit folgendes Aussehen:

Die Logik des klassischen Experimentdesigns wird durch folgenden Gesichtspunkt bestimmt (vgl. hierzu Zimmermann 1972, S. 58 ff.): Wenn man auch nicht die Einflüsse von Störgrößen im Einzelnen genau quantifizieren oder gar verhindern kann, so schlagen sie sich gleichermaßen in der Experiment- und in der Kontrollgruppe nieder. Die Differenz M₂ − M₁ enthält daher den Einfluss des Experimentierfaktors X und die Einflüsse der teils bekannten, teils unbekannten Störgrößen, die hier mit A, B, C, …, Z bezeichnet werden sollen. Das heißt bei Annahme einer additiven Verknüpfung der Einflüsse gilt:

In der Kontrollgruppe werden jedoch nur die Störeinflüsse wirksam:

Die Wirkung des Experimentfaktors X kann dann einfach dadurch ermittelt werden, dass man die Differenz der Kontrollgruppe von der Differenz der Experimentgruppe abzieht:

Ein Beispiel soll die bisherigen Ausführungen erläutern: Um den Einfluss einer 10 %-igen Preissenkung auf den Marktanteil eines Fruchtsaftgetränks festzustellen, wird in einer Experimentgruppe von 10 Lebensmittelgeschäften die Marke zum niedrigeren Preis (X) und in 10 weiteren Lebensmittelgeschäften (der Kontrollgruppe) weiterhin zum alten Preis angeboten. Vor Durchführung des Experiments werden in der Experiment- und in der Kontrollgruppe die im letzten Monat erzielten Marktanteile des Fruchtsaftgetränks ermittelt (M₁ und M₃). Nach Durchführung des einmonatigen Experiments werden wiederum Marktanteile erfasst (M₂ und M₄). In der Zwischenzeit haben jedoch mehrere Störfaktoren gewirkt: Durch Distributionsschwierigkeiten war die Konkurrenzmarke B eine Zeitlang nicht lieferbar. Konkurrent C versuchte, seinen Absatz durch verstärkte Werbung und Verkaufsförderung zu beleben und für Konkurrenzmarke D wurde eine nationale Preisaktion gestartet. Da jedoch alle Störungen sowohl auf die Experiment- als auch auf die Kontrollgruppe gleichermaßen einwirkten, lässt sich die durch die Preissenkung hervorgerufene Änderung des Marktanteils durch die Differenzbildung herausrechnen. Die Messungen der Marktanteile in den Monaten vor (M₁ und M₃) und nach erfasst (M₂ und M₄) der Preissenkung um 10 % (X) ergeben:

Experimentwirkung:

Da Störgrößen in der Kontrollgruppe zu einem Marktanteilsrückgang von 2,5 % geführt haben und anzunehmen ist, dass hiervon auch die Experimentgruppe betroffen wurde, ist die Wirkung der Preissenkung auf den Marktanteil letztlich 5,5 %.

Die Heranziehung einer Kontrollgruppe reicht jedoch noch nicht aus, um eine unverzerrte Ermittlung der Experimentwirkung zu gewährleisten. Voraussetzung ist zusätzlich, dass Experiment- und Kontrollgruppe sich strukturell nicht unterscheiden. Im obigen Beispiel wäre dies jedoch der Fall, wenn in der Experimentgruppe nur kleine Fachgeschäfte vertreten sind, die für ihren Service, aber auch für ihre etwas höheren Preise bekannt sind. Befinden sich demgegenüber in der Kontrollgruppe mehrere Supermärkte, so sind die Gruppen nicht vergleichbar, und das ermittelte Experimentergebnis ist verzerrt.

Um solche Verzerrungen auszuschließen, wird im Experiment soweit wie möglich das Zufallsprinzip (auch Randomisierung genannt) angewandt. Dies bedeutet:

• alle Testeinheiten (Personen, Geschäfts-, Verkaufsbezirke usw.) sind nach dem Zufallsprinzip auszuwählen,

• die Testeinheiten sind nach dem Zufallsprinzip auf die Gruppen zu verteilen,

• schließlich ist nach dem Zufallsprinzip zu bestimmen, welche Gruppe(n) dem Experimentstimulus auszusetzen sind und welche als Kontrollgruppe(n) dienen (vgl. Kerlinger 1973, S. 323).

Durch die Randomisierung wird bewirkt, dass sich Experiment- und Kontrollgruppe in allen relevanten Merkmalen bis auf zufällige Abweichungen gleichen. Die obige Notation ging bisher jedoch von einer deterministischen Betrachtung aus. Im konkreten Fall liefert die beobachtete Differenz (M₂ − M₁) − (M₄ − M₃) nur einen Schätzwert für die tatsächliche Experimentwirkung X, der noch mit einem Zufallsfehler behaftet ist (nach Hammann und Erichson 2006, S. 187):

Es genügt daher nicht, das Experimentergebnis nur im Wege der Differenzermittlung festzustellen. Zusätzlich ergibt sich die Notwendigkeit, durch statistische Tests zu überprüfen, ob das Experimentergebnis signifikant ist oder nicht. Zu diesem Zweck stehen verschiedene statistische Verfahren wie der t-Test für die Differenz zweier Mittelwerte oder die Varianzanalyse zur Verfügung.

Jedoch lässt sich die Frage stellen, warum bei randomisierter Gruppenbildung überhaupt eine Vorher-Messung stattfindet, da die Zufallsauswahl ja bis auf den Zufallsfehler gewährleisten soll, dass sich M₁ und M₃ nicht unterscheiden. Es würde daher genügen, die Differenz M₂ − M₄ zu bilden, um eine von Störfaktoren bereinigte Experimentwirkung zu schätzen.

Die Vorher-Messung hat jedoch einige Vorteile: Durch sie lässt sich zunächst einmal die erfolgte Stichprobenbildung überprüfen, indem festgestellt wird, ob die Experiment- und die Kontrollgruppe hinsichtlich der abhängigen Merkmale tatsächlich gleich sind. Liegen noch Unterschiede vor, so lässt sich die Experimentwirkung trotz unterschiedlicher Ausgangspositionen exakt ermitteln. Mitunter ist eine Vorher-Messung auch erforderlich, um festzustellen, ob überhaupt noch eine Experimentwirkung auftreten kann. Soll z. B. die Erinnerungswirkung einer neu konzipierten Werbemaßnahme geprüft werden und ist nahezu allen Versuchs- und Kontrollpersonen der Markenname ohnehin schon bekannt, so kann auch die vorgesehene Experimentwirkung nicht mehr auftreten. In diesem Fall ist entweder dafür zu sorgen, dass sich in den Gruppen Personen befinden, bei denen noch eine Experimentwirkung im Sinne des zu erhebenden Erfolgskriteriums stattfinden kann oder es ist ein anderes Wirkungskriterium zu suchen.

Allerdings kann, gerade bei Personen als Testeinheiten, durch die Vorher-Messung eine Sensibilisierung der Versuchspersonen ausgelöst werden, durch die die Experimentergebnisse verzerrt werden (sog. Testeffekt). Wenn durch dieses Design z. B. die Wirkung eines neuen Werbespots für Shampoo überprüft werden soll, so veranlassen die dem Stimulus vorhergehenden Fragen zur Markenkenntnis oder zur Einstellung gegenüber Shampoomarken oder auch zu Kaufabsichten die Aufmerksamkeit der Auskunftspersonen gegenüber Werbeanzeigen für Shampoo. Die hinterher gemessene Wirkung des Werbespots ist daher verzerrt, d. h. zu hoch. In diesen Fällen sollte besser ein anderes Experimentdesign wie die Nachher-Messung mit Kontrollgruppe gewählt werden.

2.2.3.3.2 Nachher-Messung mit Kontrollgruppe

Dieses Design ist anwendbar, wenn die Randomisierungsbedingung in der Weise erfüllt ist, dass vor Beginn des Experiments EG und KG den gleichen Messwert beim abhängigen Merkmal aufweisen. Da dann die Vergleichbarkeit der Gruppen gewährleistet ist, ergibt sich die Experimentwirkung als Differenz zwischen und Das Design hat demnach mehrere Vorteile: Der Verzicht auf die Vorher-Messung verringert die Kosten und vermeidet den Testeffekt. Allerdings gilt dies nur, wenn die Gruppen aufgrund der Randomisierung wirklich völlig vergleichbar sind. Handelt es sich um ausreichend große Stichproben und um eine sorgfältige Zufallsauswahl, so kann davon ausgegangen werden. Andernfalls ist eher eine Vorher-Messung anzuraten.

2.2.3.3.3 Solomon-Vier-Gruppen-Design

Diese Versuchsanordnung entsteht durch Kombination der beiden vorher genannten Versuchspläne. Durch sie kann der Testeffekt ausgeschaltet werden, da die dritte und vierte Gruppe nicht einer Vorher-Messung unterzogen werden. Zugleich bietet die Vorher-Messung bei den Gruppen 1 und 2 die Möglichkeit, das Ausmaß eines etwaigen Testeffektes zu ermitteln.

Bei diesem Experimentdesign stellt sich nun die Frage, wie die Experimentwirkung gemessen werden soll. Der einfachste Weg besteht darin, dass man annimmt, dass sowohl die zweite Experiment- als auch die zweite Kontrollgruppe im Durchschnitt die gleichen Werte aufweisen wie die jeweiligen Gruppen mit Vormessung. Daher wird als fiktive Vormessung für EG₁ und KG₂ der Mittelwert aus M₁ und M₃ herangezogen, d. h (M₁ + M₃)/2. Damit folgt:

Die Experimentwirkung wird dann analog zur Vorher-Nachher-Messung mit einer Kontrollgruppe berechnet, d. h.

Da EG₁ und EG₂ keiner Vorher-Messung unterzogen wurden, entfällt der Testeffekt. Genau dieser Effekt kann im Solomon-Vier-Gruppendesign ebenfalls gemessen werden, indem einfach die beiden Experimentgruppen verglichen werden. Ein möglicher Testeffekt kann sich nur in EG₁, nicht jedoch in EG₂ niedergeschlagen haben. Der Testeffekt ergibt sich wie folgt:

Obwohl das Solomon-Vier-Gruppendesign dem Ideal eines kontrollierten Experiments recht nahekommt, verbietet sein hoher Aufwand zumeist die Anwendung in der Marktforschung.

2.2.3.3.4 Randomisiertes faktorielles Design

Die bisher skizzierten Versuchsanordnungen gingen von einem Experimentfaktor aus, der in zwei Ausprägungen (Stufen) vorlag (z. B. alte und neue Packungsvariante). Eine erste Erweiterung lässt sich dadurch erzielen, dass mehr als zwei Stufen eines Experimentfaktors gleichzeitig überprüft werden. Das »einfaktorielle Design« hat dann z. B. bei drei Stufen folgendes Aussehen:

Da hier eventuelle Störfaktoren auf alle Gruppen wirken, benötigt man keine zusätzliche Kontrollgruppe, denn die Differenzbildung lässt auch hier diese Einflüsse wegfallen!

Für viele Fragestellungen in der experimentellen Marktforschung ist auch diese Vorgehensweise noch zu restriktiv. So kann beispielsweise die Frage auftreten, welcher von mehreren Werbeslogans unter gleichzeitiger Berücksichtigung von mehreren Packungsalternativen am besten ist. Es interessiert hierbei die Werbeslogan-Packungs-Kombination, die insgesamt gegenüber anderen Kombinationen am besten abschneidet. Bei zwei- und mehrfaktoriellen Designs werden somit zwei oder mehr Experimentierfaktoren zugleich variiert, wobei jeder Experimentierfaktor in mehreren Ausprägungen vorliegen kann.

Ein einfaches Beispiel soll den Aufbau eines zweifaktoriellen Designs verdeutlichen, wobei von zwei verschiedenen Packungen X₁ und X₂ sowie zwei verschiedenen Werbeslogans Y₁ und Y₂ ausgegangen wird. Man spricht daher auch von einem 2 × 2-faktoriellen Design ( Abb. 9).

Abb. 9: Aufbau eines zweifaktoriellen Designs

Hierbei handelt es sich um vier Gruppen, die jeweils durch die Stimuluskombinationen X₁Y₁, X₁Y₂, X₂Y₁ und X₂Y₂ präsentiert werden. Da auch hier die Störgrößen bei allen vier Gruppen zugleich auftreten, erübrigt sich eine Kontrollgruppe. Voraussetzung ist aber, dass die Gruppen nach dem Zufallsprinzip gebildet wurden. Ein Vorteil des zweifaktoriellen Designs liegt darin, dass Interaktionseffekte erfasst werden können: Angenommen, ein faktorielles Experiment zur Überprüfung zweier Packungsalternativen und zweier Werbeslogans habe folgende Kaufabsichtsnennungen (in %) erbracht ( Abb. 10).

Abb. 10: Zahlenbeispiel für ein zweifaktorielles Design

Die Wirkungsdifferenz der Packungsalternativen kann aus jeder der beiden Spaltendifferenzen ersehen werden, nämlich 52% − 50% = 2% oder 47% − 45% = 2%. Ebenso verhält es sich mit der Wirkungsdifferenz der Werbeslogans, denn die Zeilendifferenzen 50% − 45% = 5% oder 52% − 47% = 5% sind gleich. Als beste Kombination erweist sich X₂Y₁, mit 52 %. Man bezeichnet diese Differenzen von 2 % bzw. 5 % als Haupteffekte.

Anders im folgenden Beispiel ( Abb. 11).

Abb. 11: Alternatives Zahlenbeispiel für ein zweifaktorielles Design

Slogan 1 führt mit Packung 1 zu einer um 5 % höheren Wirkung als Slogan 2; mit Packung 2 beträgt der Unterschied zwischen Slogan 1 und 2 jedoch nur noch 1 %. Umgekehrt hängt die Reaktion auf die Packungen vom jeweiligen Slogan ab: Mit Slogan l ist die Experimentwirkung der Packung 2 um 2 % höher als die der Packung 1; mit Slogan 2 beträgt die entsprechende Differenz der Packungen jedoch 6 %. Zwischen den Packungsalternativen und den verschiedenen Werbeslogans bestehen somit Interaktions- oder Wechselwirkungseffekte, d. h. die Wirkung einer Packung ist abhängig vom jeweiligen Slogan und umgekehrt. Eine isolierte Betrachtung nur der Packungen oder nur der Slogans in zwei Experimenten würde daher nicht ohne weiteres den Schluss zulassen, welche Kombination wirklich die beste ist.

Werden zweifaktorielle Designs bei r Stufen des ersten und s Stufen des zweiten Faktors angewandt, so liegt ein r × s-faktorielles Design vor. Des Weiteren können auch drei oder mehr Experimentierfaktoren mit mehreren Stufen herangezogen werden. Hier zeigen sich jedoch die Grenzen dieser Versuchsanordnung: Mit zunehmender Anzahl der Experimentierfaktoren und ihrer Ausprägungen steigt die Gruppenanzahl rasch an. Es bereitet dann erhebliche Schwierigkeiten, eine gleiche Gruppenbesetzung bei gleichzeitiger Anwendung des Zufallsprinzips zu gewährleisten. Zudem sind häufig einige Kombinationen nicht von Interesse (z. B. exklusive Packung bei niedrigem Preis). In diesen Fällen ist zu überprüfen, ob die Anwendung anderer Designs (sog. unvollständiger Designs mit verringerter Anzahl der getesteten Kombinationen) sinnvoller ist.

2.2.3.4 Quasi-experimentelle Versuchspläne

Die bisherigen Versuchspläne waren dadurch gekennzeichnet, dass der Experimentator die Experimentfaktoren variierte, Kontrollgruppen einsetzte und die Gruppen nach dem Zufallsprinzip bildete. Häufig sind derartige weitreichende Kontrollen in der Marktforschung jedoch nicht möglich. Nach Campbell/Stanley (1966, S. 210 ff.) werden Versuchsanordnungen, für die eine oder mehrere der nachfolgend genannten Bedingungen zutreffen, als Quasi-Experimente bezeichnet (vgl. auch Kerlinger 1973, S. 314 f., Zimmermann 1972, S. 120, Iacobucci und Churchill 2018, S. 104 ff.):

• Es besteht keine Kontrolle über den Experimentfaktor;

• die Testeinheiten können nicht nach dem Zufallsprinzip ausgewählt bzw. auf die Gruppen verteilt werden;

• die experimentelle Behandlung kann nicht per Zufallsprinzip den Gruppen zugewiesen werden;

• es gibt keine Kontrollgruppe.

Quasi-Experimente weichen demnach nur graduell von echten Experimenten im Hinblick auf das Ausmaß der Kontrolle ab. Dabei ist es eine Frage der Konvention, wie weitreichend derartige Kompromisse sein dürfen, um noch von einem Quasi-Experiment sprechen zu können. Auf keinen Fall zählen Versuchsanordnungen dazu, in denen praktisch keinerlei Kontrolle ausgeübt wurde. Insbesondere wird nicht der von Behrens (1966, S. 71 ff.) eingeführten Terminologie gefolgt, wonach auch für die Kontrolle von Störfaktoren völlig ungeeignete Versuchsanordnungen, wie etwa die einmalige Messung bei einer Experimentgruppe als »Experimente« bezeichnet werden.

Im Folgenden werden nur einige typische quasi-experimentelle Designs skizziert (zur Weiterführung vgl. Campbell und Stanley 1966, Zimmermann 1972, S. 119 ff. und S. 130 ff.).

Zunächst sind die quasi-experimentellen Varianten »echter« Experimente zu erwähnen. Hierunter fallen die »Vorher-Nachher-Messung mit Kontrollgruppe«, die »Nachher-Messung mit Kontrollgruppe«, das »Solomon-Vier-Gruppen-Design« und die »faktoriellen Designs«, wenn im Unterschied zu den »echten« Experimentanordnungen auf die Randomisierung verzichtet werden musste. Insbesondere bei Marktexperimenten tritt dieser Fall häufig auf, wenn z. B. die Wirkung einer Preisänderung oder einer Verkaufsförderungsmaßnahme in einem Absatzgebiet getestet wird und ein anderes Absatzgebiet als Kontrollgruppe fungiert. Die Vergleichbarkeit der Gruppen kann dann dadurch angestrebt werden, dass man Gebiete auswählt, die im Hinblick auf die Bevölkerungsmerkmale, die Handelsstruktur, das Konkurrenzangebot etc. weitgehend identisch sind (Matching). Ein weiteres Beispiel stellen Laborexperimente mit sehr kleinen Personenzahlen dar. Da Zufallsauswahlen hier nicht mehr die Vergleichbarkeit der Gruppen gewährleisten können, ist ebenfalls das Matching anzuwenden.

Allerdings kann man dennoch nicht sicher sein, dass alle Störgrößen ausgeschlossen wurden. Beispiele bei Marktexperimenten sind regional unterschiedliche Reaktionen auf den Experimentstimulus, unterschiedliche Konkurrenz- und Handelsaktivitäten usw. (zu den Möglichkeiten des Gruppenvergleichs bei fehlender Randomisierung vgl. Anderson et al. 1980, S. 69 ff. und S. 261 ff., zu Labor- und Marktexperimenten vgl. den folgenden Abschnitt).

Bei der Vorher-Nachher-Messung mit unterschiedlichen Gruppen findet zwar eine Randomisierung der Gruppen statt, doch erfolgen die Messungen bei zwei verschiedenen Gruppen.

Die Experimentwirkung wird als Differenz der Vorher-Nachher-Messung der zwei verschiedenen Gruppen berechnet:

Diese Versuchsanordnung bietet sich bei Marktexperimenten an, in denen keine vergleichbare Region als Kontrollgruppe herangezogen werden kann. Bevor der Experimentfaktor eingesetzt wird (z. B. eine Werbekampagne), wird eine repräsentative Stichprobe gezogen und das abhängige Merkmal (z. B. Bekanntheitsgrad einer Marke) gemessen (M₁). Nach dem Einsatz des Experimentfaktors erfolgt bei einer erneuten Stichprobe eine zweite Messung (M₂).

Der Vorteil besteht bei dieser Anordnung in der Vermeidung des Testeffekts. Die Zuverlässigkeit dieses Designs hängt einerseits von der Vergleichbarkeit der Gruppen ab. Zudem können zwischenzeitlich mehrere Störfaktoren wirksam gewesen sein, die nicht kontrolliert wurden, da vorher und nachher keine parallelen Kontrollmessungen erfolgten.

Die quasi-experimentelle Anordnung des Zeitreihendesigns entspricht im Prinzip der Zeitreihenanalyse, wobei im Unterschied zu dieser zusätzlich ein experimenteller Stimulus eingeführt wird:

Die Messungen M₁ bis M₈ sind Beobachtungswerte der interessierenden abhängigen Merkmale (z. B. Absatzmengen), die in gleichbleibenden Abständen erhoben werden (z. B. durch Panels). Ausgangspunkt dieses Designs ist die Überlegung, dass sich alle Einflüsse auf die Abhängige in einem charakteristischen Muster der Zeitreihe niederschlagen. Die Wirkung der experimentellen Behandlung kann dann gewissermaßen als »Strukturbruch« der Zeitreihe erkannt werden. Bleibt er aus, so hat der Experimentfaktor keine Wirkung gehabt.

Eine typische Anwendung des Zeitreihendesigns liegt vor, wenn Marketing-Maßnahmen auf einem regionalen Testmarkt überprüft werden und die erforderlichen Daten aus Panelunterlagen entnommen werden.

Der quasi-experimentelle Charakter des Designs ergibt sich daraus, dass es normalerweise an der Zufallszuweisung der Testeinheiten zur experimentellen Behandlung und an der Kontrolle der im Zeitablauf wirkenden Störeinflüsse anhand einer Kontrollgruppe fehlt (soll ein vergleichbares Testgebiet als Kontrollgruppe herangezogen werden, so kann die Gruppenvergleichbarkeit durch das Matching einiger wichtiger Merkmale überprüft werden).

Störeinflüsse und Experimentwirkung versucht man nun durch das Instrumentarium der Zeitreihenanalyse zu separieren (z. B. durch Trendextrapolation, Regressionsanalyse oder Spektralanalyse). Hierzu ist in Abbildung 12 (nach Campbell und Stanley 1966, S. 38) ein einfaches Beispiel dargestellt.

Der Verlauf bei Fall l zeigt eindeutig eine längerfristige Wirkung des Experimentierfaktors an, während bei Fall 2 nur eine kurzfristige Wirkung vorliegt. Da bei Fall 3 die Erhöhung des Marktanteils mit einer Verzögerung auftritt, ist man nicht sicher, ob dies auf eine zeitverzögerte Wirkung des Experimentfaktors oder auf einen anderen Faktor zurückzuführen ist. Die Fälle 4, 5 und 6 zeigen nach dem Einsatz des Experimentfaktors die gleichen Verlaufsmuster wie zuvor. Es muss daher angenommen werden, dass keine Experimentwirkung gegeben ist.

Die größte Schwäche des Designs besteht in der mangelhaften Kontrolle von Störungen, die im Zeitablauf eintreten können (gesamtwirtschaftliche Einflüsse,

Abb. 12: Panelergebnisse in sechs Fällen im Rahmen eines Zeitreihendesigns

Konkurrenzmaßnahmen usw.). Allerdings kann der Experimentator die Situation auf dem Testmarkt verfolgen und eventuell auftretende Störungen registrieren. Es ist jedoch recht schwierig, ihren Einfluss auf das Experimentergebnis zu quantifizieren.

Die wiederholte Datenerhebung im Rahmen von Panels veranlasste einige Fachvertreter, das Panel als eigenständige Experimentanordnung zu betrachten. Dieser Auffassung wird hier nicht gefolgt. Zwar handelt es sich beim Panel ebenfalls um ein Forschungsdesign (vgl. Mayntz et al. 1978, S. 148), doch erfüllt die wiederholte Messung von Tatbeständen nicht per se die Anforderungen an ein (Quasi-)Experiment. Vielmehr muss der Experimentator, der ein Experiment beabsichtigt, in dessen Rahmen er sich des Panels bedienen möchte, erst selbst durch ein entsprechendes Experimentdesign sicherstellen, dass er zu möglichst unverzerrten Schätzwerten der Experimentwirkung gelangt. Dies wäre z. B. ganz sicher nicht der Fall, wenn er im vorherigen Beispiel nur die Panelmesswerte

EG: M₄ X M₅

verwenden würde. Es käme dann in den Fällen 2, 3, 4, 5 und 6 zu völlig falschen Schlussfolgerungen hinsichtlich der Experimentwirkung. Panelmesswerte können allerdings in quasi-experimentellen Designs Verwendung finden, nämlich in Zeitreihendesigns mit und ohne Kontrollgruppe. Bei Heranziehung einer Kontrollgruppe ist wegen der fehlenden Randomisierung außerdem auf eine weitgehende Übereinstimmung der Gruppen in wichtigen Merkmalen zu achten (Betriebsformen des Handels, Größe der Handelsbetriebe etc.). Alles in allem hängt es somit von den Kontrollvorkehrungen des Experimentators ab, inwieweit die Forschungsanordnung des Panels auf »experimentelles Niveau« gehoben wird. So entspricht z. B. der Minimarkttest GfK- BehaviorScan diesen Anforderungen.

In der Mehrzahl der Fälle werden Panels jedoch nur für deskriptive Forschungszwecke genutzt, sei es zur Beschreibung des Marktes, für deskriptive Analysen von Zusammenhängen oder für deskriptive Prognosen, zumal im entsprechenden Zeitabschnitt überhaupt keine »Experimentfaktoren« variiert wurden.

Abschließend werden aus der Vielzahl weiterer quasiexperimenteller Designs, die die Praxis für ihre Bedürfnisse entwickelt hat, lediglich einige skizziert (zur Einführung vgl. Zimmermann 1972, S. 158 ff., Cook und Campbell 1979, S. 210 ff.).

Das Block- Design ist ein quasi-experimentelles Design, das rein äußerlich dem zweifaktoriellen Design gleicht. Allerdings wird neben dem Experimentierfaktor als zweiter Faktor ein externes Kriterium herangezogen, um die Experimenteinheiten in homogene Gruppen (»Blöcke«) einzuteilen. Möchte man z. B. die Wirkung von drei Preisalternativen überprüfen, so bietet es sich an, Einzelhandelsgeschäfte nach dem Umsatz in verschiedene Klassen einzuteilen, um innerhalb eines jeden der so gebildeten Blöcke die drei Preisalternativen zu testen. Gegenüber der Zufallsanordnung mit Experiment- und Kontrollgruppe bzw. mit mehreren Experimentgruppen bei einfaktoriellem Design hat diese Vorgehensweise den Vorteil, dass die vom »Blockfaktor« ausgehende starke Streuung aus den Experimentergebnissen herausgehalten wird.

Die bisherigen Versuchsanordnungen bei zwei- und mehrfaktoriellen Designs gingen davon aus, dass jeder Faktorstufenkombination jeweils eine Zufallsstichprobe zugewiesen wurde. Dies führt sehr rasch zu einer erheblichen Anzahl von Experimentgruppen. Zudem interessieren nicht alle Kombinationen. Aus diesem Grunde bieten sich unvollständige mehrfaktorielle Designs an, bei denen nur jene Kombinationen untersucht werden, die für den Experimentator von Belang sind. In Frage kommen hierfür hierarchische Versuchspläne. wobei jede Stufe eines Experimentfaktors nur mit ganz bestimmten Stufen eines zweiten Experimentfaktors kombiniert wird (z. B. Packungsalternative A mit den Preishöhen l und 2, Packungsalternative B mit den Preishöhen 3 und 4). Darüber hinaus ist auf Varianten unvollständiger Designs wie das Lateinische Quadrat und das Griechisch-Lateinische Quadrat zu verweisen. Sie ermöglichen die gleichzeitige Überprüfung von drei bzw. vier Experimentfaktoren bei erheblicher Reduktion der Versuchsgruppen gegenüber vollständigen faktoriellen Designs, wenn keine Interaktionseffekte gegeben sind.

2.2.3.5 Die Berücksichtigung von Drittvariablen und Erhebungskontext in Experimentaldesigns

Die dargestellten Überlegungen zu den Experimentaldesigns beruhen zunächst auf der vereinfachenden Annahme, dass allein unabhängige, im Experiment manipulierte Variable einen direkten Effekt auf die abhängige Variable ausübt. In der Praxis der Marktforschung ebenso wie in der betriebswirtschaftlichen Forschung müssen jedoch oft weitere Variablen für die Erklärung bzw. Einordnung der kausalen Zusammenhänge berücksichtigt werden, da sie einen zusätzlichen Einfluss ausüben. Man spricht hier allgemein von Drittvariablen (third variables), da sie als dritte Variable zu der unabhängigen und der abhängigen Variable hinzutreten und eine, beide, oder den Zusammenhang zwischen beiden Variablen beeinflussen. Zu unterscheiden sind vier wesentliche Typen von Drittvariablen (MacKinnon et al. 2012, S. 2):

• Kovariate: Eine Drittvariable, die weder mit der unabhängigen Variable korreliert, noch einen direkten Einfluss auf deren Zusammenhang mit der abhängigen Variable hat, sondern bei ihrer Berücksichtigung zusätzliche Aufklärung der Streuung der abhängigen Variable leistet (zum Beispiel das Verfügbare Haushaltseinkommen für den Zusammenhang zwischen einer produktpolitischen Maßnahme und der Zahlungsbereitschaft).

• Konfundierende Variable: Eine konfundierende Variable (kurz »confound«) ist eine Variable, die nicht mit erhoben wurde, die aber den Zusammenhang zwischen abhängiger und unabhängiger Variable stark beeinflusst (Beispiel: In einer Studie zur Displaygestaltung für Sommermode im Modehandel und ihren Einfluss auf den Absatz wird das Wetter nicht berücksichtigt, so dass nicht beachtet wird, dass sich Sommermode bei gutem Wetter unabhängig von der Displaygestaltung besser verkauft).

• Moderator: Als Moderatoren werden Drittvariablen bezeichnet, die die Richtung und/oder die Stärke des Zusammenhangs zwischen der unabhängigen und der abhängigen Variable beeinflusst (zum Beispiel die Information über die Absicht hinter einer ungewöhnlichen Werbetaktik für ihre Wirkung auf die Einstellung zur werbenden Marke).

• Mediator: Eine Drittvariable wird als Mediator bezeichnet, wenn sie kausal durch die unabhängige Variable beeinflusst wird, und dieser Mediator dann einen kausalen Einfluss auf die abhängige Variable ausübt (so wirkt beispielweise eine Werbemaßnahme meist über den Mediator »Einstellung zur Werbung« auf die Einstellung zur Marke).

Drittvariablen müssen sorgfältig kontrolliert (konfundierende Variablen) bzw. in das Experimentaldesign integriert werden, damit die kausalen Beziehungen, die das Experiment prüfen soll, nicht verzerrt werden. Bei der Prüfung auf mögliche konfundierende Variablen können Vortests (auch als Pretests bezeichnet, bei denen es sich um vorab durchgeführte Studien handelt, die nicht mit den Pretests in Pretest-Posttest-Designs verwechselt werden dürfen) durchgeführt oder Messinstrumente in der Hauptstudie eingesetzt werden. Vortests bieten im Gegensatz zur Confound-Kontrolle erst in der Hauptstudie die Chance, die konfundierenden Einflüsse für die Hauptstudie auszuschließen, und zugleich vorab zu prüfen, ob die experimentelle Manipulation stark genug ausgefallen ist (Perdue und Summers 1986; Vargas et al. 2017). Einen hervorragenden vertiefenden Überblick über Fragestellungen zur praktischen Durchführung von Experimenten und der Behandlung von Drittvariablen bietet der Beitrag von Spilski et al. (2018). Zur empirischen Prüfung der Einflüsse von Kovariaten, Moderatoren und Mediatoren in Experimenten wird in jüngere Zeit vielfach das Makro PROCESS für SPSS, SAS und R verwendet (https://www.processmacro.org/index.html), zu dem auch eine umfassende statistische Einführung existiert (Hayes 2018).

Neben den Drittvariablen muss bei der Gestaltung von Experimenten in der Marktforschung auch der Erhebungskontext berücksichtigt werden. In der Werbeforschung ist beispielsweise nach wie vor die direkte, offen als Teil des Experiments erkennbare Exposition der Probanden mit den Werbestimuli (Forced Exposure) das dominante Paradigma (McQuarrie 1998). Eine solche Vorgehensweise kann sicherstellen, dass sich die Probandinnen und Probanden tatsächlich mit dem Stimulus auseinandersetzen. Forced Exposure führt aber auch dazu, dass die in der Praxis wichtige Werbevermeidung ausgeschlossen wird, und es besteht die Gefahr eines durch die Experimentalsituation künstlich erhöhten situativen Involvements, und damit einer Verzerrung der Ergebnisse z. B. zur Erinnerung an das Werbematerial oder zur kognitiven Auseinandersetzung mit den Stimuli und ihrem Kontext (Germelmann et al. 2020). Germelmann und Gröppel-Klein (2009) schlagen daher für Werbemarktforschung eine systematische Prüfung gemäß Abbildung 13 vor (Germelmann und Gröppel-Klein 2009, S. 248).

Abb. 13: Kriterien zur Wahl von Forced exposure (F.e.), F.e. mit Realitätsfaktoren oder quasi-biotischer Exposure in Experimentaldesigns

So kann vorab festgestellt werden, ob für ein Experiment z. B. durch Verschleierung des eigentlichen Experimentalziels ein realistischerer Kontext geschaffen werden kann, oder ob durch die Präsentation der Werbestimuli in einer natürlichen Umgebung und ohne offenkundige Experimentalsituation die negativen Effekte von Forced Exposure vermieden werden müssen. Gerade im Hinblick auf die Einbettung in eine natürliche Umgebung sind Online- Experimente im Vorteil, da hier beispielsweise in einem Online-Shop verschiedene Kommunikationsmaßnahmen getestet werden können, ohne dass die Experimentalsituation offenbar wird.

2.2.3.6 Markt-, Labor- und Online-Experimente

In Hinblick auf das experimentelle Umfeld lassen sich Markt-, Labor- und Online-Experimente unterscheiden. Marktexperimente werden in einem »natürlichen« Umfeld durchgeführt (z. B. in Geschäften des Einzelhandels, in einer Stadt oder einem Nielsen-Gebiet), während das Laborexperiment eher in einem »künstlichen« Umfeld (z. B. einem gut erreichbaren Befragungsraum mit Einkaufsmöglichkeit in den Fußgängerzonen großer Städte) stattfindet, das genau die Bedingungen aufweist, die der Experimentator möchte. Inzwischen setzen sich allerdings immer mehr die Online-Experimente durch, bei denen die Datenerhebung vom Labor fast vollständig ins Internet verlagert wird. In der Marktforschungspraxis sind folgende Varianten von Marktexperimenten verbreitet:

• der regionale Testmarkt,

• der lokale Testmarkt bzw. Minimarkttest sowie

• der Store-Test (auch: »Ladentest« oder »Kontrollierter Markttest«).

Beim regionalen Testmarkt werden Marketing-Maßnahmen in einem größeren Marktgebiet (z. B. Bundesland oder Nielsen-Gebiet) erprobt. Ziel ist es zumeist, die Reaktionen von Handel, Endabnehmern, mitunter auch von Konkurrenten, auf die Neueinführung von Produkten und die damit einhergehenden Marketing-Maßnahmen zu ermitteln. Um eine zuverlässige Hochrechnung der Testmarktergebnisse zu ermöglichen, sollten die folgenden Bedingungen erfüllt sein (vgl. auch Berekoven et al. 2009, S. 405 ff.):

1. Repräsentativitätsbedingungen

• Die Bevölkerungsstruktur sollte im Hinblick auf Demographie, Einkommens-, Berufs- und Sozialstruktur sowie hinsichtlich des Konsumverhaltens nicht zu sehr vom Bundesdurchschnitt abweichen.

• Es sollte keine atypische Wirtschaftsstruktur vorliegen.

• Gleiche Konkurrenzsituation wie im Gesamtmarkt.

• Gleiche Handelsstruktur wie im Gesamtmarkt.

• Gleiche Mediensituation wie im Gesamtmarkt.

2. Abgrenzbarkeit des Testgebiets

• Testmarkt und Einzugsgebiet des Handels sollten weitgehend übereinstimmen.

• Verhinderung von Medienausstrahlungen von Nachbargebieten und in diese.

3. Das Testgebiet sollte bisher eine normale Entwicklung in dieser Produktklasse aufweisen (z. B. kein »Nachholbedarf«).

4. Das Testgebiet sollte nicht überstrapaziert worden sein (wie z. B. Berlin).

5. Es sollten geeignete Erhebungsinstrumente (z. B. Panel) im Testmarkt zur Verfügung stehen.

Natürlich lassen sich diese Forderungen im Einzelfall nicht alle erfüllen; sie sind daher eher als Orientierungspunkte zu verstehen, um bei Nichteinhaltung Anhaltspunkte für mögliche Verzerrungen zu haben. Regionale Testmärkte erlauben die Anwendung quasi-experimenteller Versuchsanordnungen, sei es nach dem Muster der Vorher-Nachher-Messung bei verschiedenen Stichproben aus demselben Testgebiet oder durch Anwendung des Zeitreihendesigns.

Beim lokalen Testmarkt dient eine kleinere Stadt oder einzelne Stadtgebiete als Testgebiet. Besonders bekannt zur Durchführung derartiger Minimarkttests ist in Deutschland vor allem das Testmarkt-System GfK BehaviorScan der GfK (Högl et al. 2016). Dieses ermöglicht es Herstellern von Gütern des täglichen Bedarfs vor einer bundesweiten Einführung Marketing-Maßnahmen (neue oder veränderte Produkte, Verpackung, Markierung, Preis, Verkaufsförderung, Fernseh-, Printwerbung) quasi-experimentell zu überprüfen. Als einziges in Deutschland angebotenes Testmarkt-System bietet es die Einbeziehung von Fernsehwerbung in den Test (Targetable TV) an. Abbildung 14 zeigt den Aufbau des GfK BehaviorScan sowie die überprüfbaren Marketing-Instrumente (GfK 2002, S. 5; Högl et al. 2016, S. 293).

Abb. 14: Aufbau des GfK BehaviorScan sowie überprüfbare Marketing-Instrumente

Basis des GfK BehaviorScan bildet ein nach Soziodemographie und Verbrauchsverhalten weitgehend repräsentatives Panel von 3.400 Haushalten in Haßloch (Rheinland-Pfalz), die über das Kabelfernsehen durch die GfK individuell selektiert und angesteuert werden können. Die Panelhaushalte können spezielle Testwerbung empfangen, die in das normale Werbefernsehen bei allen wichtigen Sendeanstalten eingespeist wird. Sie sind mit einer Identifikationskarte ausgestattet, die bei jedem Einkauf in den am Ort unter Vertrag genommenen Einzelhandelsgeschäften (sechs Märkte in Haßloch und einer in der näheren Umgebung) vorgelegt werden soll. Da die Geschäfte mit Scannerkassen ausgerüstet sind, können der individuelle Einkauf des Haushalts und die Abverkäufe der einzelnen Geschäfte per Scanning erfasst werden (sog. Single-Source-Ansatz, d. h. eine Kombination aus Haushalts- und Handelspanel).

GfK BehaviorScan stellt somit eine sehr weit gediehene Form eines Quasi-Experiments dar (vgl. für eine ausführliche Bewertung des GfK BehaviorScan Berekoven et al. 2009, S. 402 ff.): Das Marktgebiet ist relativ gut abgegrenzt, die Bevölkerungs- und Konsumstruktur ist relativ repräsentativ für Deutschland, die örtlichen Tageszeitungen, Supplements, Fernsehzeitschriften, Werbefernsehen und Handzettel sowie Verkaufsförderung im Geschäft können dem vorgesehenen nationalen Medienplan entsprechend eingesetzt werden. Aus der Grundgesamtheit aller Panelhaushalte werden bei jeder Durchführung eines lokalen Testmarkts per sog. Matching eine Experiment- und eine Kontrollgruppe mit gleichen soziodemographischen Merkmalen und gleichem Konsumverhalten gebildet, so dass als quasi-experimentelles Design das Zeitreihendesign möglich ist. Abbildung 15 (Ruppe 1989, S. 46) zeigt beispielhaft die Ergebnisse eines hohen bzw. eines niedrigen Werbeetats bzw. Werbedrucks bei der Einführung eines neuen Produkts in den Perioden P_l bis P₆.

Abb. 15: Zeitreihendesign zur Ermittlung der Wirkung des Werbedrucks

Beim Store- Test lassen sich die Wirkungen einzelner Marketing-Maßnahmen (Preis, Regalplatzierung) sowie der Einführungserfolg neuer Produkte abschätzen. Zu diesem Zweck wird das Experiment in einer Stichprobe von Einzelhandelsgeschäften realisiert. Die Ergebnisse (Umsatz, Marktanteil, Kannibalisierung im Sortiment) werden durch Scannerkassen bzw. per Inventur durch Mitarbeiter des Instituts erfasst. Die GfK bietet etwa im Großraum Ludwigshafen mit dem GfK RetailScan/TV einen Store-Test an, bei dem zusätzlich Zielgruppenmerkmale der Käufer, Erst- und Wiederkaufrate, Einkaufsintensität und Einkaufshäufigkeit erhoben werden.

Zu den wichtigsten Laborexperimenten zählen Preis- und Werbemitteltests sowie die Ermittlung des Einführungserfolgs neuer Produkte.

Soll etwa die Wirkung einer Preisänderung auf den Absatz eines Fruchtsaftgetränks im Labor überprüft werden, werden die Versuchspersonen mit einem vorher ausgehändigten Geldbetrag in einen eigens dafür hergerichteten Verkaufsraum (Studio) geführt. In diesem befinden sich auf einem Regal die mit dem neuen Preis ausgezeichnete Marke sowie die Konkurrenzmarken. Jede Versuchsperson wird aufgefordert, die Marke zu kaufen, die ihr am besten gefällt. Das restliche Geld sowie die gewählte Marke dürfen sie behalten. Die Kontrollgruppe hat die gleiche Aufgabe, wobei hier die Marke zum alten Preis angeboten wird.

Zur Durchführung von Werbemittel-Pretests werden ebenfalls Labore in Fußgängerzonen genutzt. Ziel ist es den Werbeerfolg von Fernsehspots, Anzeigen, Rundfunkspots, Kinospots, Plakaten und Internetwerbung unter kontrollierten Bedingungen zu erfassen. So wird etwa zur Messung der Werbewirkung von Fernsehspots ca. 125 Testpersonen ein 90-minütiger Fernsehfilm vorgeführt, wobei das Experiment als Untersuchung zum Fernsehen deklariert wird. Um die Verzerrungen durch das Forced Exposure-Design zu reduzieren wird der Fernsehfilm durch mehrere Werbespots unterbrochen, nicht nur durch den zu prüfenden Testspot. Nach Darbietung des Fernsehfilms werden Erinnerung an den Testspot und an die Testspotinhalte sowie positive Ausstrahlungen des Testspots auf die beworbene Marke gemessen. Zur Messung der Werbewirkung von Kinospots hingegen muss in einem normalen Kino gemessen werden, wobei ein Kinofilm durch kinoübliche Werbeblöcke unterbrochen und anschließend die Erinnerungswirkung sowie die Stärken und Schwächen der Gestaltung der Kinospots erhoben werden.

Im Anzeigentest werden die Testanzeigen in drei Publikumszeitschriften integriert (sog. Foldertest). Eine Experimentgruppe blättert die Zeitschriften durch, wobei mittels einer Augenkamera der Blickverlauf festgehalten wird (als Testzweck wird »die Untersuchung des Leseverhaltens« genannt); eine zweite Experimentgruppe nimmt die Testhefte über das Wochenende mit nach Hause. Erfasst wird anschließend die Meinung zu den Testheften, Erinnerung an die Anzeige und deren Inhalte, die Markenpräferenz etc. Diese in der Unternehmenspraxis genutzten Anzeigentests werden auch in der Wissenschaft intensiv genutzt, etwa wenn es darum geht, den Einfluss des Kontext (Anzeige in passendem oder nicht passendem Umfeld) auf die Werbewirkung zu erfassen (Germelmann et al. 2020).

In ähnlicher Weise sind die Laborexperimente zur Prognose der Werbewirkungen von Rundfunkspots und Plakaten sowie von Internetwerbung aufgebaut, wobei stets darauf geachtet wird, dass die Kommunikationssituation möglichst realitätsnah gestaltet wird und der Untersuchungsgegenstand verschleiert ist.

Zur Prognose der Erfolgsträchtigkeit neuer Produkte (zumeist gemessen am zukünftigen Marktanteil oder Absatzvolumen) werden Testmarktsimulationssysteme angeboten. Anbieter sind u. a. die GfK mit dem Verfahren GfK Volumetric TESI (Erichson 2008, S. 989; Högl et al. 2016, S. 304), Nielsen mit dem Verfahren BASES Volumetric Forecasting (https://www.nielsen.com/us/en/solutions/capabilities/bases/) oder Launch eValuate und Concept Evaluate von Kantar (https://www.kantar.com/marketplace/solutions/innovation-and-product-development/concept-testing).

Abbildung 16 zeigt das Vorgehen bei GfK Volumetric TESI (Gaul et al. 1996; Erichson 2008; Högl et al. 2016): Zunächst werden ca. 300 Personen, die möglichst repräsentativ für die anvisierte Zielgruppe sein sollen, angeworben und in einem Hauptinterview über Soziodemographie, Konsumgewohnheiten, Markenpräferenzen, Einstellungen und Kaufabsichten befragt. Danach werden in Anzeigenfolders oder in Spots Werbemittel für das Testprodukt und für Konkurrenzprodukte präsentiert. In der anschließenden Kaufsimulation werden die Testpersonen gebeten, in einem als Supermarkt eingerichteten Labor in der betreffenden Warengruppe einzukaufen, wobei neben dem Testprodukt Konkurrenzmarken platziert sind. Kaufen sie das Testprodukt, so erhalten sie ein gleichwertiges Produkt als Zugabe, während Käufer von Konkurrenzprodukten eine Gratisprobe des Testprodukts erhalten.

Abb. 16: Aufbau und Vorgehen des GfK Volumetric TESI

Nun werden die Testpersonen gebeten, das Testprodukt zu Hause auszuprobieren (»Home-Use-Test«). Nach Beendigung des Home-Use-Tests werden die Testpersonen einem Nachinterview (persönlich oder per Telefon) unterzogen. Erhoben werden die Präferenzen und Einstellungen zum neuen Produkt sowie zu Konkurrenzmarken, Erfahrungen mit dem Testprodukt sowie Vorzüge und Nachteile des Produkts. Schließlich werden die Testpersonen erneut ins Studio eingeladen, um im Rahmen einer zweiten Kaufsimulation den Anteil der Wiederkäufer zu ermitteln.

Aus dem Anteil der Erstkäufer beim ersten Besuch im Labor und dem Anteil der Wiederkäufer unter den Erstkäufern beim zweiten Besuch im Labor lässt sich mit Hilfe des Modells von Parfitt und Collins (1968) mittels Hochrechnung der zu erwartende langfristige Marktanteil des Testprodukts oder sein zu erwartendes Absatzvolumen abschätzen (vgl. Silk und Urban 1978). Alternativ können Kaufwahrscheinlichkeiten der Testpersonen und über Hochrechnungen wieder Marktanteil und Absatzvolumen des Testprodukts aus abgefragten Produktpräferenzen vor und nach dem Home-Use-Test mittels Präferenzanteilsmodell prognostiziert werden (siehe Silk und Urban 1978; Erichson 2008, S. 993 ff.).

Der Vorteil der Testmarktsimulation liegt insbesondere in der Aufdeckung von Mängeln in der Kommunikation bzw. am Produkt. Allerdings ist der prognostizierte Marktanteil nur eine erste grobe Schätzung, da der Marktanteil im Gesamtmarkt wesentlich von der Distribution im Handel und der realisierten Werbekampagne abhängt. Hierüber sind nur grobe Schätzungen möglich. Liegt der im Simulationsmodell ermittelte Marktanteil sehr niedrig, so deutet jedoch alles auf einen Flop hin, und das Unternehmen kann die hohen Kosten eines unnötigen Testmarkts vermeiden. Liegt der Marktanteil überdurchschnittlich hoch, so kann an eine sofortige Markteinführung ohne vorherigen Testmarkt gedacht werden. Bei dazwischen liegenden Werten wird man je nach Philosophie des Unternehmens ein Marktexperiment durchführen.

Alle bisher gezeigten Experimentarten haben ihre Vor- und Nachteile. Im konkreten Fall muss der Forscher diese gegeneinander abwägen.

Regionale Testmärkte zeichnen sich durch eine große Realitätsnähe, umfangreiche Stichproben (Daten aus Haushalts- und Handelspanel) sowie der Möglichkeit aus, vor der nationalen Einführung »Kinderkrankheiten« in der Produktion und im Marketing-Mix aufzudecken und zu beseitigen. Nachteilig sind die mangelhafte Kontrolle von Störfaktoren, die erhebliche Durchführungsdauer, die fehlende Geheimhaltung sowie die hohen Kosten. Äußerst problematisch ist auch die mangelnde Kooperationsbereitschaft des Handels, so dass es oft nur zu relativ niedrigen Distributionsquoten kommt.

Bei Store-Tests und lokalen Testmärkten können Störeinflüsse durch Kooperation mit den beteiligten Handelsbetrieben minimiert werden. Außerdem haben sie gegenüber Laborexperimenten den Vorteil einer größeren Realitätsnähe. Ferner sind Store-Tests und lokale Testmärkte nahezu ebenso schnell, flexibel und kostengünstig durchzuführen wie Laborexperimente. Allerdings können im lokalen Testmarkt nur Güter des täglichen Bedarfs mit hoher Kauffrequenz getestet werden. Demgegenüber bieten sich Store-Tests auch für Produkte an, die nur in größeren Intervallen gekauft werden, weil hier eine höhere Fallzahl an Kaufakten vorliegt. Nachteile von Store-Tests und lokalen Testmärkten sind jedoch vor allem die mangelnde Überprüfbarkeit der Händlerreaktionen, die oftmals ausschlaggebend für den Einführungserfolg sind, sowie die atypische Mediensituation, sofern z. B. keine Fernsehspots getestet werden können.

Im Laborexperiment hingegen lassen sich mögliche Störeinflüsse (Konkurrenzaktivitäten, zusätzliche Aktivitäten des Handels, Darbietung im Regal, unterschiedliche Betriebsgrößen) besonders gut ausschalten. Des Weiteren kann das Laborexperiment geheim, relativ schnell, flexibel hinsichtlich des Instrumenteinsatzes und relativ kostengünstig (im Vergleich zu regionalen Marktexperimenten) abgewickelt werden. Nachteilig sind die zumeist kleinen Stichproben sowie auftretende Testeffekte, da sich die Versuchspersonen u.U. im Labor anders verhalten als in der Realität (z. B. größere Preissensibilität).

In vielen Veröffentlichungen zur Wahl zwischen Markt- und Laborexperiment (vgl. u. a. Hermanns 1979, S. 55 f.) wird vereinfachend behauptet, dass Marktexperimente zwar eine niedrigere interne Validität als Laborexperimente aufweisen, jedoch wegen ihrer höheren externen Validität vorzuziehen seien.

Der Begriff der externen Validität bezieht sich auf die Generalisierbarkeit (Repräsentativität) der Experimentergebnisse. Externe Validität liegt vor, wenn die im Experiment festgestellten Zusammenhänge auch in anderen Situationen erwartet werden können (vgl. Cook und Campbell 1979, S. 39). Interne Validität ist dagegen gegeben, wenn die rechnerisch festgestellte Differenz der abhängigen Merkmale einzig und allein auf den Experimentfaktor zurückzuführen ist (vgl. Campbell und Stanley 1966, S. 174 ff.).

Diese Argumentationsweise übersieht, dass zwischen interner und externer Validität eine »asymmetrische« Beziehung besteht (vgl. Zimmermann 1972, S. 79). Mit anderen Worten, wenn ein Experiment extern valide sein soll, so muss zuvor die Bedingung der internen Validität erfüllt sein, d. h. ohne interne keine externe Validität. Wenn z. B. in einem Store-Test die Verkäufer in den Experimentgeschäften durch Hinweise auf die Preiswürdigkeit des Artikels den Absatz forcieren, so wird das verzerrte Ergebnis nicht dadurch besser, dass es in einem natürlichen Umfeld gewonnen wurde. Marktexperimente weisen somit nur dann externe Validität auf, wenn durch Kontrolle der Störfaktoren ein ausreichendes Maß an interner Validität erreicht werden kann. Ist dies nicht oder nur unter hohen Kosten möglich, so ist das Laborexperiment vorzuziehen, zumal auch im Labor durchaus eine weitgehend »natürliche« Umweltsituation geschaffen werden kann (vgl. hierzu insbesondere Zimmermann 1972, S. 195 f. und Abb. 13).

In den letzten Jahren konnte zudem verstärkt beobachtet werden, dass die Datenerhebung bei fast allen vorgestellten Experimentarten immer häufiger internetbasiert stattfindet, d. h. dass sog. Online- Experimente auf dem Vormarsch sind. Diese Experimentierform bietet sich natürlich zunächst einmal dann an, wenn das zu untersuchende Kauf- und Nutzungsverhalten sich sowieso weitgehend im Internet abspielt. Man denke an das Nutzungsverhalten von Webseiten, an Kaufaktivitäten in Online-Shops oder die Wirkung alternativer Werbemittel bei der Banner-/Display- und Suchmaschinenwerbung. Die Vorteile sind in diesem Fall offensichtlich (vgl. z. B. Baier und Rese 2020b): Man kann über Online-Access-Panels oder über A/B-Tests auf der eigenen Webseite schnell und mit wenig Aufwand randomisiert große Experiment- und Kontrollgruppen mit gewünschten Quoten erreichen und interessierende Kenngrößen (z. B. Verweildauern oder Konversionsraten) bzw. die Wirkung verschiedener Alternativen leicht ermitteln. Kohavi und Longbotham (2016) weisen darauf hin, dass Tech-Konzerne wie Alphabet/Google, Amazon, Facebook, LinkedIn oder Microsoft jährlich mehrere Tausend Online-Experimente in Form randomisierter A/B-Tests durchführen, um neue Such- und Personalisierungsmöglichkeiten oder neue Interaktions- und Empfehlungsformate zu überprüfen.

Auch bei Untersuchungsgegenständen ohne direkten Internetbezug werden Online-Experimente immer beliebter. So bieten die weiter oben genannten Anbieter von Testmarktsimulationssystemen inzwischen alle auch kostengünstige Tests an, bei denen mit Hilfe von Online-Access-Panels Stichproben von Auskunftspersonen kontaktiert und befragt werden. Der Home-Use-Test der Neuprodukte erfolgt dabei mit Hilfe einer Zusendung und Erprobung des Neuprodukts zwischen zwei (Online-Befragungs-)Terminen. Auch Online-Access-Panels wie z. B. InnoFact (https://innofact-marktforschung.de/loesungen/home-use-test/) oder SIS International (https://www.sisinternational.com/solutions/qualitative-quantitative-research-solutions/in-home-use-tests-ihuts/) bieten derartige In-Home-Use-Tests als Online-Experiment an.

Arechar et al. (2018) weisen am Beispiel stärker grundlagenorientierter, spieltheoretischer Experimente nach, dass die bei Online-Experimenten deutlich höheren Verweigerungs- und Abbruchquoten ebenso wie die letztendlich unkontrollierte Erhebungssituation die Validität der Messung negativ beeinflussen kann. Auch bei Selka und Baier (2014) sowie Baier und Kurz (2021) zeigte sich bei der Auswertung von insgesamt 3.883 kommerziellen Conjoint-Experimenten aus den Jahren 2002 bis 2020, dass die interne und externe Validität der Studien parallel zum Übergang von anfangs fast ausschließlich Laborexperimenten zu heute fast ausschließlich Online-Experimenten unter Verwendung von Online-Access-Panels abgenommen hat.