evaluiert (E-Book)

5.2 Finanzierende und Träger des Bildungsangebots

Finanzierende

Oftmals sind Auftraggebende von Evaluationen auch die Finanzierenden des Bildungsangebots und damit auch die Entscheidungsträger in Bezug auf den Evaluationsgegenstand, z.B. die Leitungsebene des Trägers (eventuell der Fakultät/der Hochschule). Bei internen Evaluationen kann es dann für die Evaluationsverantwortlichen sehr schwierig sein, eine neutrale Position einzunehmen. Beiräte oder externe Beratende können die Abhängigkeit einer internen Evaluation teilweise kompensieren. Auch im Sinne erhöhter Glaubwürdigkeit der Evaluation und ihrer Ergebnisse sind hier in der Regel externe Evaluationen angeraten, insbesondere, wenn diese summativ ausgerichtet sind.

Eine summative Evaluation mit bilanzierenden Schlussfolgerungen ist vor allem dann unabhängig durchführbar, wenn Auftraggebende zwar die Entscheidungskompetenz für das Programm haben, sich aber kaum an der Evaluation beteiligen, oder wenn sich die Rolle der Auftraggebenden und die des Entscheidungsträgers sinnvoll voneinander unterscheiden lassen.

Wer hat die Entscheidungskompetenz?

Für einige Autorinnen und Autoren ist dieser Punkt ein zentrales Unterscheidungskriterium von Evaluation und Qualitätsmanagement. Im Qualitätsmanagement wird der obersten Leitung nicht nur die Entscheidungskompetenz für das Programm, sondern auch die strategische Steuerungskompetenz für den Qualitätsmanagementprozess zugewiesen. In der Evaluation hingegen werden die Zuständigkeiten auf Auftraggebende/Programmverantwortliche einerseits und Evaluationsverantwortliche andererseits aufgeteilt.

Für die konkrete Evaluation ist es relevant zu wissen, wer die Entscheidungskompetenz für das Programm innehat. Liegt sie nicht bei den Auftraggebenden, so kann es hilfreich sein, Verbindungen zu den Entscheidungsträgern herzustellen und sie explizit einzubinden. Dies ist nicht nur in der Planungsphase, sondern während des gesamten Evaluationsprozesses sinnvoll (Hegarty & Sporn, 1988, S.336).

5.3 Programmleitende und -mitarbeitende

Programmleitende und -mitarbeitende als «Beteiligte»

Programmleitende und -mitarbeitende gehören zu den wichtigsten «Beteiligten», denn sie sind für das gesamte Lehr-Lern-Programm sowie das konkrete Unterrichtsgeschehen verantwortlich. Zwischen beiden Gruppen können Interessenkonflikte bestehen, die zu identifizieren sind. So können z.B. Programmleitende an einem zeitlich sehr flexiblen Einsatz von Kursleitenden («auf Abruf», im Rahmen von Honorarverträgen) interessiert sein, während die Unterrichtenden gerade in der damit verbundenen Kalkulationsunsicherheit eine Gefährdung ihrer Leistungsfähigkeit und damit Unterrichtsqualität sehen. Solche Interessenkonflikte sollten durch die Evaluierenden ohne hinreichende empirische Evidenz weder unterstellt noch ausgeschlossen werden. Vertrauliche Gespräche in der Eingangsphase, z.B. mit Personalvertretungen, können hier Klarheit schaffen. Oft zählen diese beiden Gruppen zu den primär vorgesehenen Nutzenden der Evaluation und ihrer Ergebnisse (Adressierte). Je mehr sich der Evaluationsgegenstand auf Kursebene bzw. beim Lehren und Lernen befindet, und je stärker die Evaluation formativ im Sinne einer verbesserungsorientierten Begleitung ausgerichtet ist, desto eher sind die Lehrenden die Hauptadressierten.

5.4 Teilnehmende

Teilnehmende als «Betroffene»

Teilnehmende an Bildungsmaßnahmen sind klassischerweise die Programm-«Betroffenen». Sie haben meist wenig Einfluss auf das Programm. Anders sieht dies bei selbst zahlenden Teilnehmenden aus (die z.B. den Vertrag kündigen könnten). Manche Bildungseinrichtungen haben auch Teilnehmendenvertretungen eingerichtet, die Ansprechpartner für die Evaluierenden sind. Besonders bei artikulationsschwachen – oft bildungsfernen – Gruppen müssen die Evaluierenden deren Interessen im Blick haben und im Evaluationsplan geltend machen. Schlussendlich gilt es in der Evaluation von Bildungsmaßnahmen auch darauf zu achten, dass Lernen gefördert wird und den Teilnehmenden Vorteile entstehen (vgl. den Standard der Dienstleistungsorientierung in Yarbrough, Shulha, Hopson & Caruthers, 2011).

Teilnehmende scheiden nicht selten nach der Evaluation aus der Bildungsmaßnahme aus. Nur dann, wenn sie auch künftig an Bildungsmaßnahmen des jeweiligen Trägers teilnehmen werden, versprechen sie sich einen unmittelbaren Nutzen aus der Evaluation. Gleichwohl sind die Teilnehmenden meist unverzichtbar für das Gelingen derselben: Ohne ihre Auskünfte und Bereitschaft, an den Erhebungen mitzuwirken, würden zentrale Evaluationsdaten fehlen. Im Sinne des langfristigen Aufbaus einer Evaluationskultur in der Bildung ist auch deswegen ein Einbezug von Interessen der Teilnehmenden, inklusive und gerade der artikulationsschwachen, eine wichtige Daueraufgabe. Die Rechtzeitigkeit der Evaluation, schnelle Rückmeldungen und für die Teilnehmenden verständliche und zugängliche Evaluationsberichte können hierzu beitragen (➞ Kapitel 11).

5.5 Vorgesetzte, Arbeitgebende, Arbeitskollegen

Vorgesetzte, Arbeitgebende, Arbeitskollegen als entfernt «Betroffene»

Vorgesetzte und Arbeitgebende und noch eher Arbeitskolleginnen und -kollegen der Teilnehmenden sind meist nicht unmittelbar mit der zu evaluierenden Bildungsmaßnahme vertraut. Sie nehmen nicht oder nur oberflächlich von ihr Kenntnis, es sei denn, sie sind konzeptionell in das Bildungsprogramm einbezogen, aber in irgendeiner Art und Weise dennoch betroffen. Dabei sind die möglichen Konstellationen sehr unterschiedlich und müssen jeweils für das zu evaluierende Bildungsangebot genau analysiert werden.

Vorgesetzte und Arbeitgebende entsenden Mitarbeitende in Bildungsmaßnahmen oder stellen sie dafür auf Antrag frei. Grundsätzlich sind sie an Lernerfolg, verwertbarem Wissen und Können im Arbeitsalltag oder gar finanziellen Erträgen interessiert. Wie weit sie dies mit ihren Mitarbeitenden klären, gar schriftlich fixieren, wie weit sie Interesse an der Evaluation und ihren Ergebnissen haben, fällt sehr unterschiedlich aus. Oft sind die Evaluierenden gefordert, dieses Interesse und ein Commitment von Arbeitgebenden für die Evaluation zu wecken. Ansonsten droht die Gefahr, dass Evaluationsergebnisse nicht genutzt werden.

Arbeitskollegen von Teilnehmenden können vom erworbenen Know-how derer, die an der Bildungsmaßnahme teilgenommen haben, profitieren (oder sie geraten ins Hintertreffen, da ihnen die entsprechenden Kompetenzen fehlen).

Andere Mitarbeitende in der Institution, in der das Bildungsangebot stattfindet, können ebenfalls betroffen sein. Sind die Angebote erfolgreich, nutzt das der Institution und deren Mitarbeitenden. Schlechte Angebote können hingegen zu einem schlechten Ruf und in der Folge zu Wettbewerbsnachteilen führen.

5.6 Sonstige Akteure

Sonstige Akteure als potenziell «Betroffene»

Wird der Kreis ausgeweitet, kann man weitere Betroffene identifizieren.

Einerseits kommen Kooperationspartner oder Zuliefernde in den Blick. Bildungsmaßnahmen, z.B. im Rahmen von Arbeitsmarktförderung, finden in einem komplexen Geflecht von Trägern und Diensten statt. Neben den Anbietern (Schulen, Bildungseinrichtungen etc.) sind dies z.B. Sozialämter und Arbeitsverwaltungen, soziale Dienste, Rehabilitationseinrichtungen bis hin zu Wohn- und Betreuungseinrichtungen. Für die Evaluierenden stellt sich jeweils die Frage, wie sehr der Kreis von Beteiligten und Betroffenen bei der Identifizierung auszuweiten ist und wo man aufhören sollte. Auch «die Gesellschaft» kann ein Stakeholder sein, z.B. im Falle der lokalen Volkshochschule, die ihre Kursangebote evaluieren lässt. Hier sind die Interessen der lokalen Politik oder der Bevölkerung vor Ort unmittelbar tangiert, und Evaluationsergebnisse werden dann bedeutsam, wenn sie auch von diesen Gruppen wahrgenommen, akzeptiert und womöglich genutzt werden.

Ein anderer Fall ist ein Anbieter von Standardsoftware, zu der Schulungen stattfinden. Da die Qualität der Schulung von z.B. Office-Produkten mitentscheidet, wie gut die Software verstanden und schlussendlich auch verkauft wird, besteht hier ein nachhaltiges Interesse an guten und passenden Schulungsangeboten.

5.7 Evaluierende

Die zentralen Rollen der Evaluierenden

Evaluationen können nicht von irgendjemandem durchgeführt werden, sondern nur von Personen, die für diese Aufgabe besonders qualifiziert sind: den professionellen Evaluierenden (Russ-Eft, Bober, de la Teja, Foxon & Koszalka, 2008; Scriven, 1996, S.158). Nachfolgend werden deren Rollen und Eigenschaften näher beschrieben.

Evaluierende können sehr viele verschiedene Rollen übernehmen, was bedeutsame Auswirkungen auf die Ausrichtung der gesamten Evaluation hat.

Nach Wottawa (1991, S.154) können vier typische Rollen unterschieden werden:

❙ der «Faktensammler», der primär für das Bereitstellen von Ergebnissen verantwortlich ist;

❙ der «Gutachter», der auch Bewertungen vornimmt;

❙ der «Entwickler», der hilft, aus den gewonnenen Ergebnissen Neues zu gestalten;

❙ der «Moderator», der namentlich die Zielfindung unterstützend begleitet.

Evaluative Beratung

Evaluierende arbeiten häufig mit Gruppen zusammen, die sich aus einer oder mehreren der vorgenannten Akteurskategorien zusammensetzen. Für solche Begleit- oder Steuergruppen leisten sie die «evaluation facilitation», eine evaluativ qualifizierte Fach- und Prozessberatung. Die Gruppen werden dabei unterstützt, gemeinsam Klärungsprozesse durchzuführen, und dabei evaluative Denkweisen anzuwenden (vgl. Patton, 2018b, S. 7–16).

Interne und externe Evaluation

Darüber hinaus können Evaluierende eine interne oder externe Position einnehmen (interne bzw. externe Evaluation). Widmer spricht in diesem Zusammenhang von Organisationsinternen versus Organisationsexternen (2004, S.85). Interne Evaluation wird von Personen gesteuert, die Mitglieder der die Bildungsmaßnahme tragenden Organisation sind. Externe Evaluationen führen hingegen Evaluierende durch, die von außerhalb kommen, z.B. aus Evaluationsinstituten oder -büros (Berkemeyer, Müller & van Holt, 2016, S.212). Diese Positionierung der Evaluierenden zu der den Evaluationsgegenstand tragenden Organisation fordert ihnen ab, immer wieder Transparenz über ihre Aufgaben und Zuständigkeiten herzustellen (Stufflebeam, Madaus & Kellaghan, 2000 S.28; Widmer, 2004, S.85).

Inhouse-Evaluation als Unterform der internen Evaluation

Wird eine interne Evaluationsstelle des Bildungsanbieters, die nicht auch hauptverantwortlich für das zu evaluierende Bildungsangebot ist, mit der Evaluation des Angebotes der eigenen Institution beauftragt, handelt es sich um eine Inhouse-Evaluation, einer Unterform der internen Evaluation.

Merkmale interner Evaluation

Internen Evaluationen wird oft zugeschrieben, dass sie schneller seien und weniger Aufwand erforderten, da hier die Evaluierenden mit den organisatorischen und personellen Gegebenheiten besser vertraut seien und über gesicherte Sachkenntnis zum Evaluationsgegenstand verfügten. Sie arbeiteten ohnehin vor Ort und hätten einfachen Zugang auch zu vertraulichen Informationen (Kromrey, 2001, S.118). Damit verbunden ist die Erwartung sowohl einer kostengünstigeren Evaluationsdurchführung, einer größeren Akzeptanz von Ergebnissen als auch einer (potenziell) gesicherten Umsetzbarkeit von Schlussfolgerungen in die Praxis. Doch geraten sie eher in Rollenkonflikte, da sie täglich Umgang mit den Mitarbeitenden der evaluierten Programme haben (Volkov & Baron, 2011, S.107–108), und nicht selten werden die für eine professionelle interne Evaluation erforderlichen Ressourcen und Kompetenzen unterschätzt (Meyer, 2017). Wenn interne Evaluationen – wie in vielen Bundesländern im Schulbereich – als extern auferlegt und mit zusätzlichen Arbeitsbelastungen verbunden werden, kann dies ihren produktiver Beitrag zur Entwicklung von Bildungsangeboten deutlich schmälern (Rückmann, 2016a).

Merkmale externer Evaluation

Hingegen müssen sich extern Evaluierende erst in die das Bildungsprogramm tragende Organisation einfinden, sind aber wegen ihrer weniger stark voreingenommenen Perspektive eher vor Betriebsblindheit geschützt. Ihre Berichte gelten eventuell mehr als diejenigen der «Propheten im eigenen Land», bei denen auch Abhängigkeiten bestehen können (Stockmann, 2002a, S.225). Extern Evaluierenden wird größere Objektivität, manchmal auch größere Evaluationsexpertise zugeschrieben. Dabei können sie allerdings je nach Ferne zum Feld und der dort geforderten fachlichen Expertise grobe Kunstfehler übersehen, oder sie werden von relevanten Informationen ferngehalten, ohne dass sie dies bemerken.

Selbst- und Fremdevaluation

Der Begriff «interne Evaluation» wurde oftmals synonym mit dem Begriff «Selbstevaluation» (Beywl, Bestvater & Friedrich, 2011; Buhren, 2018; Deutsche Gesellschaft für Evaluation, 2004; Hense, 2006), und der Begriff «externe Evaluation» synonym mit dem Begriff «Fremdevaluation» verwendet (Balzer, Frey & Nenniger, 1999, S.406). Im englischsprachigen Raum ist das zweite Begriffspaar nicht verbreitet, und es fehlt gar eine Übersetzung für «Fremdevaluation».

extern/intern und selbst/fremd

Man unterscheidet hier zwei Dimensionen (vgl. Beywl & Balzer, 2016, S.195): Während extern/intern leicht als (Nicht-)Mitgliedschaft operationalisiert werden kann, ist dies für fremd/selbst schwieriger. Diese zweite Unterscheidung kann aus einer kulturellen Perspektive erfolgen. Evaluierende handeln stärker als Insider oder aber als Outsider in Bezug auf Werte, Kultur oder Fachlichkeit des zu evaluierenden Gegenstandes. Demgemäß ist Selbstevaluation in das Werte- und Normengefüge einer Organisation oder eines Programms eingebunden. Hier können auch Professionskulturen eine wichtige Rolle spielen, z.B. von Lehrkräften oder sozialpädagogisch Tätigen, die Evaluationsgegenstände beschreiben und bewerten, für deren Qualität sie qua Funktion und Beruf privilegiert zuständig und verantwortlich sind. Hingegen stehen Fremdevaluierende als Outsider solchen professionellen oder auch weltanschaulich geprägten Qualitätsvorstellungen eher neutral gegenüber – die Bewertungskriterien anderer Stakeholder sind für sie grundsätzlich ebenso gültig (➞ Kapitel 7 und ➞ Kapitel 10).

Um eine Selbstevaluation handelt es sich dann, wenn Evaluierende von ihnen selbst geführte Bildungsmaßnahmen beschreiben und bewerten, und zwar auf dem Hintergrund der von ihnen verantworteten fachlichen Ziele und Qualitätskriterien. In diesem Fall geben sich die Evaluierenden selbst einen Auftrag (oder sie werden von Dritten dazu aufgefordert), den von ihnen fachlich und inhaltlich verantworteten Gegenstand zu untersuchen und zu bewerten. Dies geschieht in aller Regel mit dem Zweck, ihn zu verbessern, also in formativer Absicht. Hingegen ist eine summative Evaluationsrolle in diesem Fall wenig angemessen. Es wird ja eine komplexe Dienstleistung an sich selbst erbracht (Selbsthilfe), bei der Auftragsvergabe, Programmverantwortlichkeit und Evaluationszuständigkeit in einer Hand liegen. Interessenkonflikte sind kaum zu vermeiden und beeinflussen für Dritte womöglich intransparent den Evaluationsverlauf. Die Glaubwürdigkeit einer summativ angelegten Selbstevaluation ist chronisch bedroht (zur Unterscheidung formativ-summativ ➞ Kapitel 3 und ➞ Kapitel 6.1).

Inhouse-Evaluierende können sowohl eine Insider- als auch eine Outsider-Position einnehmen. Mit letzterer werfen sie einen «fremden» Blick auf die Maßnahmen eines Bildungsträgers, wenn sie z. B. nicht selbst Bildungsfachleute sind, sondern aus einem ganz anderen Berufsfeld stammen oder ihre Berufserfahrung z.B. im Gesundheitswesen oder in der Umweltevaluation gesammelt haben – dann sind sie interne Outsider.

Externe schließlich können eine Insider-Perspektive mitbringen, wenn es Fachkolleginnen und -kollegen sind mit einem gleichen Fachhintergrund wie bei den Programmverantwortlichen. Bei dieser Evaluationsart stammen die Evaluierenden aus einer anderen Institution, sind dem konkreten Evaluationsgegenstand also nicht verpflichtet, haben aber ein ähnliches Wertesystem und messen dem Typus des Evaluationsgegenstandes folglich einen grundsätzlich eher hohen Wert bei. Diesen Ansatz kann man als Peer-Evaluation bezeichnen (Gutknecht-Gmeiner, 2007a, 2007b).

Es ist keinesfalls so, dass generell intern Evaluierende besser geeignet wären als Externe, oder Insider versus Outsider. Je nach Situation bringt einmal die eine, einmal die andere Position und Perspektive mehr Vorteile für ein den Standards der Evaluation entsprechendes Vorgehen. Oft bietet sich auch eine Kombination der verschiedenen Evaluationsarten an, wenn z. B. interne Insider die Evaluation steuern und durchführen, dabei mit Unterstützung von externen Outsidern ihr Vorgehen reflektieren und sich methodischen Support sichern (Beywl, Speer & Kehr, 2004).

BEISPIEL 8

Das Direktorium eines großen Bildungsträgers mit einer hauseigenen Evaluationsstelle, die fachkompetent mit auf Bildung spezialisierten Evaluierenden besetzt ist, beschließt, eines seiner einjährigen Hauptprogramme in der beruflichen Weiterbildung zu evaluieren. Nach mehrjährigem Erfolg hinsichtlich Teilnehmendenzahlen und Rückmeldungen von Teilnehmenden und deren Betrieben kommt es in letzter Zeit vermehrt zu Abbrüchen. Sollte sich dies herumsprechen, müsste auch mit einem Rückgang der Teilnehmendenzahlen gerechnet werden. Die Evaluationsstelle wird daher beauftragt, das Programm zu evaluieren und insbesondere herauszuarbeiten, welche Faktoren für die Abbrüche entscheidend sind. Sie soll außerdem klären, wie das Programm angepasst werden kann, damit die Studierbarkeit im vorgegebenen Zeitraum bei Aufrechterhaltung der Ansprüche an die am Ende des Programms vorzuweisenden Kompetenzen gesichert ist. Die gut dreimonatige Evaluation zeigt sowohl im Umfeld (insbesondere Arbeitsmarktlage) wie im Programm selbst liegende Schwachstellen auf, für die in den kommenden zwölf Monaten durch die verantwortliche Programmleiterin Abhilfe geschaffen werden soll (u.a. Mentorensystem, bessere Vorbereitung auf Zwischenprüfungen, bei besonders schwierigen Programmteilen kleinere unterrichtsnahe Selbstevaluationen, die von den Unterrichtenden eigenständig durchgeführt werden, methodisch unterstützt von den Mitarbeitenden der Fachstelle). Nach erfolgter Umsetzung nehmen die Abbrüche zwar deutlich ab, die Teilnehmendenzahlen gehen dennoch langsam zurück. So beschließt das Direktorium, bei einem unabhängigen Evaluationsbüro – das nicht auf den Bildungsbereich spezialisiert ist – eine externe Evaluation in Auftrag zu geben, um mit einem Blick von außen eine weitere sichere Basis für die Grundsatzentscheidung über die Weiterführung des Programms, eventuell verbunden mit einer grundlegenden Curriculums-Revision, zu erhalten.

An Evaluierende werden – teils in Abhängigkeit zu ihrer Rollenzuschreibung – vielfältige Anforderungen gestellt.

So ist Evaluationsexpertise von zentraler Bedeutung. Scriven (1996, S.160) nennt als Anforderungen an Evaluierende u.a. Kenntnisse zu qualitativen und quantitativen Forschungsmethoden, zu testtheoretischen Konzepten, zu juristischen Bedingungen von Datenerhebungen, zu Mittelverwendung und persönlichem Umgang mit dem Evaluationsbudget und -personal, zu Personalevaluation (Mitarbeitendenbeurteilung), zu Ethik, Bedarfsanalysen, Kostenanalysen, Synthesemodellen, Evaluationsmodellen sowie zu evaluationsspezifischer Berichterstattung. Für ihn von geringerer Bedeutung ist in einem solchen Fall die Fachkenntnis der Evaluierenden im konkreten Handlungsfeld.

Wie weiter oben schon beschrieben (➞ Kapitel 2.1), hat die DeGEval – Gesellschaft für Evaluation e.V. Anforderungen und Kompetenzen zusammengestellt, «die für die angemessene Durchführung von Evaluationen unerlässlich sind» (2008, S.7). Der Vergleich mit einem Kompetenzprofil für Evaluation aus den USA zeigt übereinstimmende Schwerpunkte. Neben der Befähigung zur empirischen Untersuchungstätigkeit werden namentlich Kompetenzen zur Analyse von Situation und Kontext, zum Projektmanagement, zur reflexiven Praxis und im Bereich der interpersonellen und interkulturellen Kommunikation gefordert (Beywl, 2006a, S.333–335). Auch die Anforderungsliste der Schweizerischen Evaluationsgesellschaft (2012), die nicht unbedingt an jeden einzelnen Evaluierenden gerichtet ist, aber zumindest an Evaluationsteams, meldet mit evaluationsspezifischen Grundkenntnissen (Grundeigenschaften der Evaluation, verschiedene Evaluationsansätze, Evaluationsstandards), methodischen Kenntnissen (Konzepte und Designs von Evaluationen, Methoden und Instrumente der Datenerhebung und -analyse, Projektmanagement, Kommunikationsstrategien und -fähigkeiten) sowie sozialen und diversen persönlichen Kompetenzen ähnliche Ansprüche an.

Beywl, Speer und Kehr (2004, S.110) stellen für den Bereich der Sozialpolitik fest: «Nur wenige Evaluatoren/-innen bringen ein so breites Kompetenzprofil mit, […] was ggf. aufwendigere Teamlösungen erforderlich macht, wodurch evtl. auch Abhängigkeiten eines/-r einzelnen stark involvierten Evaluators/-rin vorgebeugt werden kann.» Dies dürfte auch für Bildungsevaluationen gelten.

Torres (1991, S.189) definiert für intern agierende Evaluierende spezifische Anforderungen. Sie schreibt jenen die Rolle beratender Vermittler zu, die besondere Fähigkeiten brauchen, um den spezifischen Kontext, in dem sie agieren, verstehen und handhaben zu können. Zu diesen Fähigkeiten zählt demnach, kontextbezogene Einflüsse zu verstehen (vgl. dazu Conner, Fitzpatrick & Rog, 2012; vgl. speziell für die Weiterbildung Hansen, 2010, S.18–101), die Perspektiven von Beteiligten und Betroffenen zu identifizieren und zu verstehen, Glaubwürdigkeit und Vertrauen zu maximieren, Methoden an den erkenntnistheoretischen Orientierungen des Evaluationspublikums auszurichten, den Verantwortlichen Entscheidungen und Ergebnisse nahezubringen, dieselben über unterschiedliche Ansichten und Perspektiven zu unterrichten, Toleranz gegenüber Mehrdeutigem aufzubringen sowie Veränderungen zu unterstützen. Viele dieser Kompetenzen gelten auch für andere Evaluationsarten.

Glaubwürdigkeit der Evaluierenden

Was Auftraggebende vor der Auftragsvergabe abschätzen müssen, ist die Vertrauenswürdigkeit der Evaluierenden. Um diese transparent zu machen, sollten bei der Vorstellung des Evaluationsvorhabens die Namen und zentralen Informationen über die Evaluierenden vermittelt werden. Etwas schwieriger ist es, die Unabhängigkeit der Evaluierenden zu überprüfen oder potenzielle Interessenkonflikte und Abhängigkeiten aufzudecken.

Unbestechlichkeit, Objektivität und Neutralität sind ebenfalls Eigenschaften, die von Evaluierenden verlangt werden. Diese können allerdings durch die Abhängigkeit der Evaluierenden in Hinblick auf Folgeaufträge bedroht sein. Auch kann die mit der Dienstleistungshaltung verbundene Tendenz vieler Evaluierender, den Bedürfnissen der Auftraggebenden gerecht zu werden, ein Problem darstellen (Pleger & Sager, 2016; Scriven, 1993a, S.83), sodass nicht mehr wissenschaftlich Notwendiges und Korrektes, sondern vonseiten der Auftraggebenden Gewünschtes in den Vordergrund rückt.

Über alle Phasen der Evaluation stellen sich ethische Herausforderungen. Diese zu meistern erfordert (inter-)kulturelle Fähigkeiten und Haltungen, die über das handwerklich-wissenschaftliche Können hinausgehen (vgl. Morris, 2008).

➞ Lösung auf Seite 233