Kompetenzorientiert beurteilen (E-Book)

7.1.1 Quantitativer und qualitativer Zugang

Mit den Ausführungen zu geschlossenen und offenen Lernzielen (siehe Abschnitt 4.4) sowie zum constructive alignment (siehe Abschnitt 4.1.2) wird deutlich, dass Leistungen auf zwei Arten beurteilt werden können (Sacher 2009, 228):

• Durch das Anlegen quantitativer Kriterien wie das Abzählen von Lösungen, Punkten, Fehlern usw.

• Mittels qualitativer Kriterien wie zum Beispiel der Eleganz des Stils, der Originalität einer Interpretation, der Präzision einer Zeichnung usw.

Winter bezeichnet den quantitativen Zugang als «psychometrische Vorgehensweise», den qualitativen Zugang als «hermeneutische Vorgehensweise». Er argumentiert, mit Rückgriff auf Moss (1994, 1996), dass ein quantitatives (psychometrisches) Vorgehen für die Schule zu hinterfragen sei, und stellt die beiden Paradigmen einander gegenüber (siehe Abbildung 17; Winter 2017, 41–42).

Abbildung 17

Psychometrische und hermeneutische Vorgehensweise im Vergleich

7.1.2 Quantitativer Zugang: Beurteilen von Kompetenzen als Messvorgang

Dem quantitativen Zugang sind nur konvergente Leistungen (geschlossene Lernziele) zugänglich. Dabei handelt es sich wie beim Vokabellernen um Leistungen, bei denen es eindeutige Lösungen (mit zwingenden Erfolgskriterien) gibt. Konvergente Leistungen können grundsätzlich alle Ebenen der kognitiven Taxonomie betreffen und müssen sich somit nicht nur aufs Faktenwissen beziehen. Allerdings ist es herausfordernd, konvergente Aufgaben zu entwickeln, welche die höheren taxonomischen Ebenen betreffen (Ingenkamp u. Lissmann 2008).

Bei konvergenten Leistungen werden für korrekte Lösungen oft Punkte vergeben. Anhand der erreichten Punkte wird dann beurteilt, inwiefern ein Lernziel erreicht wurde (Lernzielnorm). Auch wenn in solchen Zusammenhängen oft von «Messen» die Rede ist, sollte dies nicht darüber hinwegtäuschen, dass in der Unterrichtspraxis häufig elementare Gütekriterien einer Messung (siehe Abschnitt 7.2) nicht hinreichend eingehalten werden können. Sinnvollerweise werden nicht standardisiert immer die gleichen und gleich viele Vokabeln in der gleichen Reihenfolge oder die gleichen Vokabeln mit derselben Vorbereitungszeit und zur gleichen Tageszeit überprüft. Vor diesem Hintergrund wird auch gefordert, in der Schule gänzlich auf den Begriff der «Leistungsmessung» zu verzichten (vgl. Winter 2015, 21).

Dennoch meinen viele Lehrpersonen, möglichst viel und genau «messen» zu müssen, um die Leistungen der Lernenden (scheinbar) objektiv zu beurteilen. Um dem Objektivitätsanspruch nachzukommen, versuchen Lehrpersonen, mit offengelegten Punkteverteilungen ihre «Messung» transparent zu machen. Sie übersehen dabei, dass Leistungen immer auch eine übersummative Qualität haben, «die sich nicht aus Punkten und der Erfüllung einzeln angelegter Kriterien hochrechnen lässt» (Sacher 2009, 155). Selbst bei konvergenten Leistungen ist das scheinbar genaue Messen mit vielen Fehlern behaftet.

7.1.3 Qualitativer Zugang: Beurteilen von Kompetenzen als Qualitätseinschätzung

Die Beurteilung von Leistungen als Messvorgang zu sehen, bleibt nicht ohne Kritik. Die Kritik bezieht sich im Wesentlichen darauf, dass vor lauter Einzelpunkten das Ganze aus dem Blick gerät:

Lehrpersonen sollten ihre Beurteilung nicht an mechanische Punktesysteme oder gar Fehlerquotienten binden, auch wenn erstgenannte dabei helfen können, eine Breite an Beurteilungsgesichtspunkten zu realisieren […]. Wenn Punkte addiert werden, heißt das, dass man davon ausgeht, ein Mangel in einem Bereich könne durch eine Mehrleistung in einem anderen kompensiert werden. Das ist aber in der Regel nicht der Fall. (Winter 2015, 69)

Schon die Gestaltpsychologen postulierten, dass das Ganze mehr sei als die Summe seiner Teile. Wird die Mona Lisa in hundert Teile zerschnitten, so sind zwar noch alle Teile da, das Kunstwerk ist aber zerstört und damit praktisch wertlos. Wird ein Musikstück taktweise mit Pause zwischen den einzelnen Takten abgespielt, verliert es ebenfalls seine Wirkung. Diese Beispiele zeigen, dass es nicht adäquat wäre, das Vorliegen der einzelnen Teile (Takte, Bild-Teile) mit je einem Punkt zu versehen und dann diese Punkte zu addieren. Das liegt daran, dass es auch um die Frage geht, wie diese einzelnen Teile miteinander in Beziehung stehen. Dies lässt sich eher beschreiben als mit Punkten ausdrücken.

Wenn Schülerinnen und Schüler einen Dialog in einer Fremdsprache führen und die Lehrperson dieses Gespräch beurteilen will, kann sie nirgends exakte Werte wie Zahlen ablesen, die im Hinblick auf den Dialog eine Aussagekraft besitzen. Vielmehr muss sie die anderen Aspekte dieses Dialogs wie zum Beispiel die Aussprache, die gegenseitige sprachliche Bezugnahme oder den Gehalt des Dialogs in den Blick nehmen. Dabei handelt es sich nicht um Quantitäten, die sich messen ließen, sondern um Qualitäten, die sich zunächst ausschließlich beschreiben lassen.

Bei divergenten Leistungen, die von kompetenzorientierten Aufgabenstellungen zumeist ausgelöst werden und zu unterschiedlichen, aber gleichwertigen Ergebnissen führen können, ist die Idee einer «Messung» auch nicht zielführend. Denn oft handelt es sich bei kompetenzorientierten Aufgabenstellungen nicht um isolierte Kompetenzdimensionen, sondern um komplexere (ganzheitlichere) Leistungen (Dialoge, gestaltete oder entwickelte Produkte, Tanz, Recherchen, Projektarbeit), die sich einer einfachen Messung offensichtlich entziehen. Hier gibt es kein Richtig und Falsch, aber unterschiedliche und beschreibbare Qualitäten (Ingenkamp u. Lissmann 2008, 133).

Außerdem ist zu beachten, dass von der Performanz bei einzelnen Aufgaben oder Prüfungen nicht direkt auf dahinterliegende Kompetenzen zurückgeschlossen werden kann.

Denn Kompetenzen, die ja definitionsgemäß hinter dem aktuellen Handeln liegen, betreffen immer größere Verhaltensbereiche und treten nur in Kombination mit vielen anderen Kompetenzen auf. Die Kompetenzdiagnose ist folglich immer stark schlusshaltig («hoch inferent») und auch unsicher. Es kommt hinzu, dass verschiedene Lernende ein und dieselbe Aufgabe unter Einsatz verschiedener Kompetenzen bewältigen können. (Winter 2017, 38)

7.2 Gütekriterien

Im Hinblick auf Wissenschaftsorientierung wird in der Lehrerinnen- und Lehrerbildung teilweise der Anspruch postuliert, dass die von Lehrpersonen vorgenommenen Beurteilungen den drei quantitativen Gütekriterien «Objektivität», «Validität» und «Reliabilität» zu entsprechen haben. Diese Gütekriterien der Beurteilung lenken den Fokus auf die Frage, inwiefern bei einem Beurteilungsvorgang entsprechende Qualitätsstandards eingehalten werden. Unterschieden wird zwischen Gütekriterien, die aus der quantitativen und qualitativen Sozialforschung stammen (Jürgens u. Lissmann 2015, 128).

7.2.1 Quantitative Gütekriterien

Quantitative Gütekriterien finden Anwendung in der Testtheorie beziehungsweise in der Statistik und sind auf das Erklären und Messen ausgerichtet. Sie stellen selbst für professionelle Forschungsteams große Herausforderungen dar. Im Schulalltag, wo Lehrpersonen laufend vielfältige Beurteilungsformen entwickeln und umsetzen müssen, wäre es nicht realistisch, diese Kriterien umfassend einzufordern.

Die drei Gütekriterien «Objektivität», «Validität» und «Reliabilität» (siehe Abbildung 18) sind nicht unabhängig voneinander. Vielmehr bildet die Objektivität die Basis der beiden «höheren» Gütekriterien.

Abbildung 18

Gütekriterien der quantitativen Sozialforschung

Wenn noch nicht einmal die Personenunabhängigkeit der Leistungsmessung gewährleistet ist, sind Überlegungen zur Reliabilität und Validität gegenstandslos. Andererseits kann halbwegs brauchbare Objektivität unter schulischen Alltagsbedingungen nur in wenigen, eng begrenzten und rigide geregelten Situationen, am ehesten noch in schriftlichen Prüfungen, hergestellt werden. (Sacher 2009, 48)

Daraus ergibt sich das Paradox, dass eine objektive Beurteilung vor allem mit schriftlichen Prüfungen gewährleistet werden kann, schriftliche Prüfungen aber wenig geeignet sind, alle Kompetenzdimensionen (deklaratives, prozedurales und metakognitives Wissen) abzubilden. Je objektiver und reliabler eine Beurteilung ist, desto unvollständiger und ausschnitthafter repräsentiert sie somit eine Schülerleistung – die Validität einer solchen Beurteilung leidet (Sacher 2009, 48).

7.2.2 Qualitative Gütekriterien

Angesichts dieses Paradoxes ist es für den Schulbetrieb realistischer, die drei Gütekriterien umzudeuten (Bohl 2009, 87) und stärker auf qualitative Gütekriterien zu setzen. Mit der kontrollierten Subjektivität und der kommunikativen Validierung werden in Abbildung 19 zwei qualitative Gütekriterien vorgestellt, die sich für den unterrichtlichen Beurteilungskontext sehr gut eignen.

Abbildung 19

Qualitative Gütekriterien für die Beurteilung in der Schule

Das qualitative Gütekriterium «kontrollierte Subjektivität» wird dem Kontext Schule gerechter als das testtheoretische Gütekriterium «Objektivität», da Erziehung und Bildung Prozesse sind, die in hohem Maße mit Personen und zwischenmenschlichen Beziehungen zu tun haben. Wollten Lehrpersonen in diesen Prozessen ihre Subjektivität konsequent heraushalten, würden sie sich ihrer «Authentizität und damit ihres pädagogischen Charakters berauben» (Sacher 2009, 48).

Kommunikative Validierung ist wichtig, weil Beurteilungen allein aus Sicht der Lehrperson nicht objektiv sein können und daher im Gespräch überprüft werden müssen. Mittels einer Validierung durch Perspektivenwechsel, kommunikativen Austausch und Explikation der Vorgehensweise wird die Beurteilung adäquater. Denn erst in der Zusammenschau verschiedener Informationen und im Austausch mit den beteiligten Personen wird eine gewisse Objektivität – oder besser gesagt Intersubjektivität – ermöglicht (Winter 2017, 42).

Diese qualitativen Gütekriterien sind nicht der Testtheorie, sondern der Kommunikationskultur verpflichtet (Sacher 2009, 211) und entsprechen sowohl den Forderungen einer dialogischen Beurteilungskultur im Unterricht als auch den Anforderungen an die Kooperation von Schule und Elternhaus, die unter anderem mit Beurteilungsgesprächen realisiert wird (siehe Abschnitt 8.4).

7.3 Bezugsnormen der Beurteilung

Beurteilungen liegen immer bestimmte Normen zugrunde (Sacher 2009, 87). Um einzuschätzen, wie gut eine Leistung ist, braucht es also einen Bezugspunkt oder eine Bezugsnorm, an denen die Beurteilung ausgerichtet werden kann. In der Fachliteratur werden verschiedene Bezugsnormen vorgeschlagen und diskutiert. Die Wahl ist nicht einfach, weil sich hinter dem Entscheid die Frage verbirgt, welche erzieherischen und politisch-gesellschaftlichen Ziele in der Schule verfolgt werden sollen (Sacher 2009, 88–89). Damit kommt der Bezugsnorm eine entscheidende Bedeutung zu.

Häufig werden die kriteriale, soziale und individuelle Bezugsnorm unterschieden. Da sich dies im Zusammenhang mit komplexeren, kompetenzorientierten Beurteilungsanlässen aufdrängt, wird im Folgenden aber auch auf die holistische Bezugsnorm eingegangen, die in der Literatur seltener erwähnt wird (siehe Abbildung 20).

Abbildung 20

Bezugsnormen der Beurteilung

Damit Beurteilungen interpretierbar sind, muss klar sein, anhand welcher Bezugsnorm sie vorgenommen wurden (Sacher 2009, 96). Lehrpersonen sollten sich deshalb auch folgender Punkte bewusst sein:

• Die kriteriale Bezugsnorm (Lernzielnorm) ist unabhängig von der Leistung der jeweiligen Schulklasse und ermöglicht damit Kooperation unter den Lernenden, weil eine gute Leistung von Schülerin A nicht auf Kosten von Schüler B geht (Sacher 2009, 87–90). Mit der Beschreibung der Kompetenzstufen im Lehrplan 21 anhand von Könnens-Beschreibungen erhalten die Lehrpersonen eine Grundlage, sich vermehrt an dieser Bezugsnorm zu orientieren (D-EDK 2015, 6). In den kantonalen Verordnungen wird sogar explizit darauf verwiesen, dass bei der summativen Beurteilung im Zeugnis auf die Lernziele des Unterrichts Bezug genommen werden soll (siehe Abbildung 21).

• Die individuelle Bezugsnorm könnte bei ausschließlicher Verwendung dazu führen, dass Schülerinnen und Schüler zu einer unrealistischen Einschätzung ihrer Fähigkeiten kämen. Positive Wirkung hat das Anwenden der individuellen Bezugsnorm auf die Lern- und Leistungsmotivation. Bei Lehrpersonen, welche die Beurteilungen auch auf die Individualnorm beziehen, geben zwei Drittel der Schüler und Schülerinnen an, mehr zu können als bei Schulbeginn (Rheinberg 2002). Erklären lässt sich dieses Ergebnis unter anderem mit dem menschlichen Grundbedürfnis nach Kompetenzerleben (Deci u. Ryan 1993), da bei der individuellen Bezugsnorm die Fortschritte der Einzelnen wahrgenommen werden. Ein Unterricht, der primär auf die Förderung der Lernenden zielt, sollte demnach die individuelle Bezugsnorm betonen.

• Die soziale Bezugsnorm erzeugt systematisch Verliererinnen und Verlierer; sie ist wenig hilfreich, wenn es um diagnostische Erkenntnisse und das Ableiten von Fördermaßnahmen geht, und zeigt ungünstige Wirkungen auf die Lern- und Leistungsmotivation (Rheinberg 2002): Erstens bezieht sich die soziale Bezugsnorm häufig nur auf das klasseninterne Bezugssystem, was zu Verzerrungen führt. Gerade bei einer kleinen Gruppe kann nicht von einer Normalverteilung ausgegangen werden. Als zweite ungünstige Wirkung der sozialen Bezugsnorm bezeichnet Rheinberg (2002) die Tatsache, dass Lernende auch bei individuellen Fortschritten in der Rangreihenfolge der Klasse kaum ihre Position verändern können, da die andern Lernenden gleichzeitig ebenfalls Fortschritte machen. Eine Studie von Dickhäuser et al. (2017) zeigt die Wirkung der Anwendung der Sozialnormorientierung, die sich je nach Schülergruppe unterschiedlich auf das mathematische Selbstkonzept der Schülerinnen und Schüler auswirkt. Demnach gibt es Hinweise, dass die Sozialnormorientierung der Lehrperson vor allem Schülerinnen und Schüler im mittleren und unteren Leistungssegment in ihrem (mathematischen) Selbstbild und damit ihrer Lernzuversicht beeinträchtigt. Die Anwendung der sozialen Bezugsnorm fördert zudem das Konkurrenzdenken und kann zu Misserfolgserwartungen oder Schulangst führen (Sacher 2009, 92–95) und sollte deshalb so gut wie möglich in den Hintergrund gerückt werden (Jürgens u. Lissmann 2015, 144). Bedeutung erhält sie zum Teil bei selektiven Entscheiden – insbesondere wenn die Zahl vorhandener Plätze explizit oder implizit beschränkt ist (Fend 2008, 265).

• Unabhängig davon, ob die soziale Bezugsnorm in einer Klasse angewendet wird, haben Bezugsgruppen einen starken Einfluss auf Beurteilungen. Dieses Phänomen ist bekannt unter dem Stichwort «Referenzgruppeneffekt». Studien weisen nach, dass sich bei einem klasseninternen Bezugssystem Referenzgruppeneffekte (big-fish-little-pond-effect) zeigen (Trautwein u. Baeriswyl 2007). Das bedeutet, dass eine leistungsstarke Schülerin in einer leistungsstarken Klasse schlechtere Noten bekommt, als sie in einer schwächeren Klasse bekommen würde. Keine Referenzgruppeneffekte bei der Notenvergabe wurden in einer experimentellen Studie (simulierter Klassenraum, Südkamp u. Möller 2009) festgestellt, wenn die Leistungen der Schülerinnen und Schüler mithilfe eines kriterialen Bezugsrahmens beurteilt wurden.