Harro Dietrich Kähler
Fachhochschule Düsseldorf, Fachbereich Sozial- und Kulturwissenschaften

Barrieren der Selbstevaluation — und wie man sie umgehen, überwinden oder schleifen kann

Barriere: "Messprobleme"

Insbesondere dann, wenn interessante Fragestellungen für ein Selbstevaluatons-Projekt ins Auge gefasst wurden, schrecken viele Fachkräfte vor einer Realisierung zurück, weil die Schwierigkeiten der Informationsgewinnung und -auswertung zu groß erscheinen. Vielfach gibt es in der Tat erhebliche Probleme. Dennoch sollten sich Fachkräfte nicht von derartigen Hürden abschrecken lassen, sondern mit Kompetenz, Kreativität und ggf. Außenunterstützung versuchen, die für die Evaluation benötigten Informationen einzuholen. Folgende Leitlinien können dabei hilfreich sein:

• Nicht auf ein einzelnes Verfahren stützen — Triangulation. Erfahrungsgemäß denken die meisten Fachkräfte an Interviews und Fragebögen, um Informationen zu einem Selbstevaluations-Projekt zu gewinnen. "Von fertigen Evaluationsinstrumenten, wie beispielsweise Fragebögen, geht eine erhebliche Faszination aus." Aber: "Ein gutes Instrument ist noch lange keine gute Evaluation." (Burkard 1999, 209). Vielmehr ist es so, dass so gut wie jedes Instrument zur Informationsgewinnung auch Grenzen und Schwächen aufweist. Insofern spricht alles dafür, wenn es irgend geht, mehr als eine Datenquelle heranzuziehen. Dies ist mit dem Stichwort "Triangulation" gemeint: die Nutzung unterschiedlicher Perspektiven, um ein vielfältiges und vielschichtiges Bild des interessierenden Gebiets zu gewinnen.
• Stärken und Schwächen der benutzten Instrumente transparent machen: "Die Ergebnisse der Selbstevaluation können nur so gut sein wie die verwendeten Instrumente. Daher ist es hilfreich, die Stärken und Schwächen der einzelnen Methoden vorab zu diskutieren, um darauf deren Praktikabilität im Hinblick auf die jeweiligen Umstände zu beurteilen." (Radnitzky/Schratz 1999, 17f) Auch hier gilt also: die einzelnen Instrumente und Datenquellen können für sich genommen durchaus Schwächen aufweisen — entscheidend ist, sie offen zu legen und unterschiedliche Instrumente und Datenquellen im Sinne der Triangulation miteinander zu kombinieren. Stimmen die Ergebnisse dann überein, ergibt sich eine wesentlich stabilere Plausibilitätsgrundlage, als wenn nur mit einer Datenquelle oder einem Instrument gearbeitet worden wäre.
• Vorhandene Anregungen nutzen. Es gibt mittlerweile hilfreiche Anregungen und Übersichten über Instrumente und Verfahren, die als eine Art "Steinbruch" von Fachkräften genutzt werden können. Das Bild vom Steinbruch macht aber auch deutlich, dass die ausgewählten Rohmaterialien für die jeweiligen konkreten Selbstevaluations-Projekte sorgfältig bearbeitet und auf Stärken und Schwächen begutachtet werden müssen. (Anregungen finden sich z. B. bei Moser 2003, Spiegel 2000, 270f, König 2000, 133f).
• Bei Auswertungsproblemen ExpertInnen hinzuziehen. Ohne solide statistische Kenntnisse verführen vorhandene Statistikprogramme zu unsinnigen Auswertungen. Moser (2003, 111f) liefert leicht verständliche Grundlagen für quantitative Auswertungen und bietet außerdem den Zugang zu einem vereinfachten Statistikprogramm. Dennoch: gerade in diesem Teilbereich von Selbstevaluations-Projekten dürfte es besonders ratsam sein, sich die Unterstützung durch ExpertInnen zu sichern.