„Added Value“ mal anders: Eine Möglichkeit zur Berücksichtigung unterschiedlicher Startbedingungen im Wettbewerb von Hochschulen

BLOG: Über das Wissenschaftssystem

Betrachtungen von Menschen und Strukturen in Hochschulen und Wissenschaftseinrichtungen
Über das Wissenschaftssystem

Angesichts einer stärker werdenden Diskussion um die größere Diversität der Studierendenschaft stellt sich die Frage, welche Auswirkungen dies bei gleichzeitig verstärkt eingesetzten Leistungsanreizen im Wettbewerb von Hochschulen hat. Statistiken der OECD, aber auch nationale Studien für Deutschland zeigen z.B., dass bei größeren Anteilen von Teilzeitstudierenden im Schnitt deutlich geringere Studienerfolgsquoten erreicht werden. Ähnlich wurde dies auch schon für sogenannte Nichtakademikerkinder unter den Studierenden festgestellt bzw. für solche mit niedrigem sozioökonomischem Hintergrund. Eine dabei aufgeworfene Frage ist: „Hat dann schon verloren, wer sich aus Überzeugung (oder aufgrund der Ausgangsbedingungen am Hochschulstandort) diesem Ziel verschreibt/verschreiben muss?“  Bzw. könnte man die Frage auch anders formulieren: Sind Nachteile für Hochschulen mit einer inhomogenen Studierendenpopulation im bestehenden Leistungsanreiz-System unvermeidbar? Dieser Beitrag [1] widmet sich schwerpunktmäßig der knappen Darstellung und Diskussion eines Beispiels für ein „gerecht(er)es“ System der leistungsorientierten Mittelvergabe (LOM). Hierfür wird mit dem in Deutschland bisher wenig rezipierten australischen Modell eine Möglichkeit zur Berücksichtigung von Diversität und unterschiedlichen Startbedingungen im Wettbewerb von Hochschulen vorgestellt und seine Übertragbarkeit auf den deutschen Kontext diskutiert.

Der „Added-Value“: Adjustierte Indikatoren für unterschiedliche Startbedingungen

Das australische Modell adjustierter Indikatoren wurde dort bereits vor gut 15 Jahren für die leistungsorientierte Mittelvergabe des Learning and Teaching Performance Fund eingeführt. Die in diesem Modell verwendeten Indikatoren umfassen u.a. die Anteile an Nichtmuttersprachler/innen, den sozioökonomischen Status, sowie Geschlecht und Alter der Studierenden. Ihre spezifische Ausprägung in den bewerteten Einrichtungen wird bei der Berechnung der Performanz-Indikatoren berücksichtigt. Hintergrund der Modellentwicklung war die Erkenntnis, dass mit einfachen Leistungsindikatoren nicht hinreichend auf die unterschiedlichen Ziele und Angebote der Hochschulen und auf die Unterschiede in der Studierendenschaft eingegangen werden kann (vgl. DETYA 1998: 70f.). Daher wurde eine Methode entwickelt, mit der die Einflüsse statistisch signifikanter Faktoren (vgl. DETYA 1998) [2] ausgeglichen werden sollen.

Dieser Ansatz lässt sich mit Vorliegen entsprechender Daten potentiell auch auf deutsche Hochschulen übertragen. Dass sich deutsche Hochschulen hinsichtlich der Ausgangsbedingungen und Diversität deutlich unterscheiden, lässt sich beispielsweise anhand ausgewählter Merkmale der Studierendenzusammensetzung zeigen. Diese wurden mittels Analysen vorhandener Datenbestände des Konstanzer Studierendenservey ermittelt (vgl. z.B. Bargel u.a. 2011, BMBF 2010). Der Anteil an Nichtakademikerkindern als ein häufig verwendetes Merkmal für die Bildungs-Herkunft variiert in diesen Daten allein zwischen den Universitäten [3] zwischen ca. 40% (Freiburg, TU Berlin, LMU München, Leipzig) und ca. 65% (Kassel, Duisburg-Essen, Oldenburg, Bochum). Dies hängt sicherlich z.T. mit der Fächerzusammensetzung zusammen. Darüber hinaus spielen aber auch andere Faktoren wie z.B. der Standort bzw. das Rekrutierungspotential eine Rolle, denn auch innerhalb desselben Faches bestehen signifikante Unterschiede. Beispielsweise in der Soziologie variiert der Anteil an Nichtakademikerkindern zwischen rund 40% (Freiburg, mit etwas Abstand TU Berlin, Potsdam, Leipzig) und ca. 70% (Kassel, Duisburg-Essen, Rostock, Bochum). Dass es jeweils fast dieselben Standorte sind, ist vermutlich kein Zufall. [4] Vor diesem Hintergrund könnte die Übertragung des australischen Modells auf Deutschland überlegt werden. [5] Dies kann sowohl für den Leistungsbereich Lehre und Studium erfolgen (wie hier vorgeschlagen), als auch für den Leistungsbereich wissenschaftliche Nachwuchsförderung (wie an anderer Stelle erörtert). [6]

Das Rechenbeispiel: Wie sich die Performanz bei Adjustierung verändert

Nachfolgend wird nun die Berechnungsweise innerhalb des Modells in den vier wesentlichen Schritten exemplarisch anhand zweier Beispielhochschulen erläutert (angelehnt an die Beispielrechnung in DETYA (1998: 71f.)). Institution 1 hat mit 20% einen geringen Anteil an Studierenden mit niedrigem sozioökonomischem Hintergrund (low SEB), Institution 2 dagegen mit 70% einen hohen Anteil.

  1. Ausgangsbedingungen: Anteile „low socio-economic background status” (SEB) versus „other SEB“:
Institution 1 Institution 2 Total
low SEB 20% 70% 45%
other SEB 80% 30% 55%

 

  1. Erfolgsquote als “crude performance indicator” (unbearbeiteter Leistungsindikator) nach Institutionen und Subgruppen:
Institution 1 Institution 2 Total
low SEB 70% 75% 74%
other SEB 85% 95% 88%
Total 82% 81% 81,5%

 

  1. Erwartete Erfolgsqote (Erw. Erfq.) am Beispiel der Institution 1:

Erw. Erfq. = lowSEB-Anteil1 * lowSEB-Perf. + othSEB-Anteil1 * othSEB-Perf.

Erw. Erfq. = 20%                    * 74%                + 80%                  * 88%                = 85%

 

  1. „Adjusted performance indicator“ (adj. Perf.) als Differenz „crude“ minus erwartete Erfolgsquote:
Institution 1 Institution 2 Total
Total erw. Erfq. 85% 78% 81,5%
Diff. cr.-erw. Erfq.= Adj.Perf. 82-85= -3% 81-78= +3% 0%

 

Die sich aus dem dargestellten Rechenweg ergebenden Werte in der Zeile zur „Adjusted Performance“ (Diff. cr.-erw. Erfq.= Adj.Perf.) zeigen an, welche Ergebnisse für die Institutionen resultieren, wenn ausschließlich die Anteile an „SEB“ als Einflussfaktor für die Adjustierung berücksichtigt würden. In diesem Fall verändert sich das Verhältnis gegenüber der Nichtberücksichtigung der SEB-Anteile („crude“) in folgender Weise: Bei Institution 1 mit deutlich weniger low-SEB-Studierenden ergibt sich aufgrund der höheren erwarteten Erfolgsquote ein negativer Wert (-3). Für Institution 2 ergibt sich aufgrund der resultierenden niedrigeren erwarteten Erfolgsquote ein positiver Wert (+3). Diese Berechnungen können leicht automatisiert durchgeführt werden (sind bei Statistikprogrammen Standard) und erfolgten hier nur zur Veranschaulichung manuell.

Die Beispielrechnung zeigt, dass auch bei großen SEB-Anteilsunterschieden die Werte der angepassten Performanz („adjusted performance“) im einstelligen Prozentpunktebereich bleiben. Da eine Adjustierung der vorhandenen Leistungsbewertungs- bzw. Anreizsysteme und nicht die Schaffung neuer Anreize zur Veränderung der Studierendenzusammensetzung angestrebt wurde, würden sich intentionsgemäß kurzfristige Veränderungen der Studierendenzusammensetzung weniger stark niederschlagen als Änderungen der Erfolgsquoten. Größere Veränderungen aufgrund unterschiedlicher Studierendenzusammensetzung könnten durch die Adjustierung erst zustande kommen, wenn Standorte bei mehreren für die Adjustierung relevanten Einflussfaktoren zugleich deutlich ungünstigere Ausgangsbedingungen gegenüber dem Landesschnitt aufweisen.

Neben dem SEB-Status wurden im ursprünglichen, umfassenderen australischen Modell elf Einflussfaktoren berücksichtigt. Später wurde ein vereinfachtes Modell mit vier Einflussfaktoren erstellt, was zu fast identischen Ergebnissen führte (vgl. Krempkow 2010: 14). Die hier exemplarisch vorgenommenen Berechnungen erfolgten in Australien für insgesamt 43 Hochschulen. Dabei erhielten einzelne Hochschulen, die trotz ungünstiger Ausgangsbedingungen deutlich höhere Erfolgsquoten aufwiesen als erwartet, überdurchschnittliche Finanzmittel. Mehrere Hochschulen hatten kleine Verluste, für viele Hochschulen ergaben sich kaum Differenzen (vgl. DETYA 1998; Krempkow 2010).

Das australische Modell wurde 2005 einem externen Review unterzogen. Dabei erhielt das Gesamtkonzept eine positive Bewertung als sensitiver und fairer Ansatz, der zudem sorgfältig jeden Faktor (aus der Adjustierung) ausschloss, der im Einflussbereich der Hochschule liegt (vgl. Access Economics 2005: 4). Eine weitere Analyse des Modells kam zu dem Schluss, dass es auch bei relativ kleinen verteilten Summen das Potential hat, mit seinen Indikatoren und deren relativem Gewicht starke Triebkräfte für die Institutionenpolitik zu entfalten, was u.a. in der öffentlichen Diskussion der Ergebnisse der Leistungsvergleiche begründet sei (vgl. Harris 2007: 69f.).

Ausblick: Lohnt eine Adaptierung des australischen Modells für Deutschland?

Dem Beitrag liegt das Argument zugrunde, dass hochschulische Leistungen in Lehre (und Forschung) in Zusammenhang mit institutioneller Diversität und mit dem Grad der Vielfalt der Zusammensetzung der Studierendenschaft stehen. Mit der Adjustierung würde neben einer höheren Transparenz über die tatsächlich in Relation zu den Ausgangsbedingungen erbrachten Leistungen der „Added Value“ der Hochschulbildung in die Leistungsbewertung und die LOM einbezogen. Dieser wird erbracht, wenn Hochschulen mit (für hohe Erfolgsquoten) ungünstiger Studierendenzusammensetzung über den erwarteten Werten liegende Erfolgsquoten erreichen. Ersten empirischen Analysen zufolge könnte dies u.a. über eine bessere Studienqualität und Kompetenzförderung erreicht werden (vgl. Kamm/Krempkow 2013). Eine Verbesserung der Studienqualität und der Kompetenzförderung waren und sind wichtige Ziele des Bologna-Prozesses und des Hochschulpaktes. Daher könnte eine Adaption des australischen Modells der Indikatoren-Adjustierung in der Leistungsbewertung Deutschlands und in der LOM deutscher Bundesländer diese Ziele durchaus effektiv flankierend unterstützen.

Literatur

Access Economics (2005): Review of Higher Education Outcome Performance Indicators´ Report by Access Economics.

Bargel, Ernst Tino u.a. (2011): Forschungsprojekt Studiensituation, Datensätze der Erhebungen zum 7-10. Konstanzer Studierendensurvey (1997/98-2006/07). Konstanz: Arbeitsgruppe Hochschulforschung der Universität Konstanz.

Bundesministerium für Bildung und Forschung (BMBF) (2010): Die wirtschaftliche und soziale Lage der Studierenden in der Bundesrepublik Deutschland 2009. 19. Sozialerhebung des Deutschen Studentenwerks durchgeführt durch HIS Hochschul-Informations-System. Berlin: BMBF.

DETYA (1998): Department of Education, Training and Youth Affairs (1998): The Characteristics and Performance of Higher Education Institutions, Occasional Paper Series 98-A.

Harris, Kerry-Lee (2007): A critical examination of a recent performance-based incentive fund for teaching excellence in Australia. In: Longden, Bernard/ Harris, Kerry-Lee: Funding Higher Education: A Question of Who pays? EAIR-Monograph Nr. 2, Amsterdam, S. 62-78.

Kamm, Ruth/ Krempkow, René (2013): Wie „gerecht“ ist leistungsorientierte Mittelvergabe für Hochschulen gestaltbar? In: Knoll, Christina (Hg.): Gerechtigkeit. Multidisziplinäre Annäherungen an einen vieldeutigen Begriff. Kassel: Athena-Verlag, S. 129-144.

Krempkow, René (2015): Can Performance-based Funding enhance Diversity of Higher Education Institutions? In: Pritchard, Rosalind/ Klumpp, Matthias/ Teichler, Ulrich (eds.): Diversity and Excellence in Higher Education: Can the Challenges be Reconciled? Amsterdam: Sense Publishers, S. 231-244.

Krempkow, René (2010): Leistungsorientierte Mittelvergabe und wissenschaftliche Nachwuchsförderung. Beitrag zum Workshop „Chancengerechtigkeit in der Wissenschaft?” Institut für Hochschulforschung (HoF), 18.-19.11.2010, Wittenberg

Krempkow, Rene/ Kamm, Ruth (2011): Leistungsklassen oder „Added Value“? Zwei Ansätze zur Berücksichtigung unterschiedlicher Startbedingungen im Wettbewerb von Hochschulen. In: Qualität in der Wissenschaft 5, 4, S. 115-120.

______________________

[1] Dieser Beitrag basiert auf einem ausführlicheren Text des Verfassers (Krempkow 2015), sowie einer früheren Textversion mit Ruth Kamm (vgl. Kremp­kow/Kamm 2013), für deren Mitarbeit und vielfältige Anregungen der Verfasser ausdrücklich danken möchte.

[2] In Frankreich erfolgten vom CÉREQ 2009 Regressionsanalysen und eine Simulation für ein ähnliches LOM-Verfahren, für eine Regressionsanalyse an Hochschulen in Deutschland – vgl. Kamm/Krempkow (2013).

[3] Bei Einbeziehung von Fachhochschulen wäre die Spannweite noch größer.

[4] Ähnliche relativ große Unterschiede finden sich auch für die Anteile der Teilzeitstudierenden, was in etwa dem Indikator „type of enrolment“ in Australien entspricht (vgl. ausführlicher dazu Krempkow/Kamm 2011).

[5] Eine beispielhafte Übertragung für die Universitäten eines deutschen Bundeslandes wurde bereits 2012 im Buch „Diversity und Hochschule“ bei Juventa veröffentlicht.

[6] In der Ausgabe 1/2012 der wissenschaftlichen Zeitschrift „Die Hochschule“ werden sowohl Analysen zu den (kumulativen und kompensatorischen) Effekten von Migrationshintergrund, Bildungsherkunft und Geschlechtszugehörigkeit auf den längerfristigen Verbleib in der Wissenschaft dargestellt (vgl. Beitrag von Löther), als auch Anwendungsmöglichkeiten der Indikatorenadjustierung des australischen Modells für den Leistungsbereich wissenschaftliche Nachwuchsförderung innerhalb von LOM-Modellen in Deutschland (vgl. Beitrag von Krempkow).

 

Avatar-Foto

Dr. René Krempkow bloggte zunächst seit 2010 bei den academics-blogs, nach deren Einstellung zog er zu Scilogs um. Er studierte Soziologie, Kommunikationswissenschaft und Psychologie an der Technischen Universität Dresden und der Universidad de Salamanca. Nach dem Studium baute er zunächst am Institut für Soziologie, dann im Kompetenzzentrum Bildungs- und Hochschulplanung an der TU Dresden u.a. eine der ersten hochschulweiten Absolventenstudien in Deutschland auf und erarbeitete den ersten Landes-Hochschulbericht Sachsen. Nach seiner Promotion 2005 zum Themenbereich Leistungs- und Qualitätsbewertung an Hochschulen arbeitete er am Institut für Hochschulforschung Wittenberg am ersten Bundesbericht Wissenschaftlicher Nachwuchs (BuWiN) mit. Danach war er im Rektorat der Universität Freiburg in der Abteilung Qualitätssicherung tätig, wo er die Absolventen- und Studierendenbefragungen leitete und eines der ersten Quality Audits an einer deutschen Hochschule mit konzipierte. Von 2009 bis 2013 leitete er am iFQ Bonn/Berlin (jetzt Deutsches Zentrum für Hochschul- und Wissenschaftsforschung - DZHW) ein bundesweites Projekt zur Analyse der Wirkungen von Governance-Instrumenten (v.a. Leistungsorientierte Mittelvergabe an Hochschulen) und arbeitete im Themenbereich wiss. Nachwuchs und Karrieren mit. Anschließend koordinierte er im Hauptstadtbüro des Stifterverbandes u.a. das Projekt zur Personalentwicklung für den wissenschaftlichen Nachwuchs und den Gründungsradar; sowie an der HU Berlin u.a. ein hochschulweites Projekt zur Kompetenzerfassung, sowie Sonderauswertungen der hochschulweiten Absolventenstudien. Derzeit ist er an der HTW Berlin im Curriculum Innovation HUB im Bereich Wirkungsanalysen und Evaluation tätig, sowie an der IU - Internationale Hochschule. Er berät seit etlichen Jahren Hochschulen, Forschungseinrichtungen und Ministerien. Seine Arbeitsschwerpunkte sind: Leistungs- und Qualitätsbewertung an Hochschulen; Akademische Karrieren und Nachwuchsförderung; Indikatorenentwicklung, Evaluationsforschung; Hochschul-, Wissenschafts- und Bildungsforschung.

3 Kommentare

  1. Pingback:Über Qualitätsprobleme an Hochschulen » Über das Wissenschaftssystem » SciLogs - Wissenschaftsblogs

  2. Pingback:Wie „gerecht“ sind Leistungsanreize an Hochschulen? » Über das Wissenschaftssystem » SciLogs - Wissenschaftsblogs

  3. Pingback:Welche Chancen haben Nichtakademikerkinder im deutschen Hochschulsystem? » Über das Wissenschaftssystem » SciLogs - Wissenschaftsblogs

Schreibe einen Kommentar


E-Mail-Benachrichtigung bei weiteren Kommentaren.
-- Auch möglich: Abo ohne Kommentar. +