Joachim König
Evangelische Fachhochschule Nürnberg

Ein Praxisleitfaden zur Selbstevaluation in der Jugendhilfe

Schritte im Verlauf einer Selbstevaluation - ein kurzer Leitfaden

Im Weiteren werden die einleitenden Gedanken konkretisiert. Die LeserInnen können so einen ersten Anhaltspunkt für eine für sie sinnvolle Vorgehensweise erhalten. Es soll zunächst deutlich gemacht werden, dass es zur Durchführung einer Selbstevaluation notwendig ist, das Vorhaben gut zu planen und vorzubereiten — im Sinne einer sinnvollen und gewinnbringenden Verwertung und Anwendung der Ergebnisse auf allen vorher angedeuteten Ebenen. Und auch nur dann, wenn Evaluationsmethoden auch im beruflichen Alltag der Fachkräfte handhabbar (d. h. nicht zu komplex) und praktizierbar (d. h. nicht zu aufwendig) sind, kann dies auch wirklich gelingen. Beides soll nun in acht Schritten als jeweils aufeinander folgende und aufeinander aufbauende Fragenkomplexe beschrieben werden, sozusagen als Checkliste zur Klärung von anstehenden Planungs-, Vorbereitungs- und Durchführungsfragen.

Schritt 1: Ziele der Evaluation unter den Beteiligten und Fachkräften klären, festlegen und formulieren

Es ist wichtig, gleich zu Beginn Klarheit und Einvernehmlichkeit darüber zu erzielen, warum evaluiert werden soll. Geht es "nur" um Kontrolle des Erfolgs einer Maßnahme, soll ein Arbeitsbereich oder ein methodischer Ansatz in seiner Bedeutung legitimiert werden? Geht es darüber hinaus um die Aufklärung einer schwieriger werdenden Praxis, um Innovation im Hinblick auf die Angebotsstrukturen einer Einrichtung oder vielleicht auch um die Qualifizierung der MitarbeiterInnen, etwa im Sinne einer kontinuierlichen Organisations- und Personalentwicklung?

Schritt 2: Ressourcen und Bedingungen, unter denen evaluiert werden soll, überprüfen und sichern

Hier stehen ganz zentrale Fragen im Mittelpunkt, die oft übersehen werden, da sie inhaltlich zunächst nichts mit der Evaluation selbst zu tun haben. Besonders ihre Klärung ist jedoch nach allen Erfahrungen ganz entscheidend für den Erfolg von Selbstevaluation:

• Stehen institutionelle Freiräume, wie z. B. Entlastungen des Arbeitszeitbudgets, für die Evaluation zur Verfügung?
• Besteht kollegialer Konsens und/oder Akzeptanz des Vorhabens bei der Leitung der Einrichtung?
• Gibt es Möglichkeiten einer fachlichen Begleitung und Beratung, z. B. in Methodenfragen?
• Ist die finanzielle Basis für ein solches Vorhaben gesichert?
• Bestehen innovative Perspektiven innerhalb der Einrichtung, d. h. ist die Hoffnung begründet, dass der durch Selbstevaluation betriebene Aufwand auch zu positiven Veränderungen für die MitarbeiterInnen und/oder KlientInnen führt?

Schritt 3: Gegenstand und Forschungsfragen genau festlegen und abgrenzen

Die Frage nach dem Gegenstand versucht zu klären, welche Bereiche im beruflichen Alltag, d. h. welche Interventionsprozesse, im Mittelpunkt stehen sollen und welche nicht. Eine klare und deutliche Eingrenzung ist hier besonders wichtig, damit die Datenerhebung nicht unübersichtlich, die Auswertung nicht uferlos und so das gesamte Vorhaben nicht gefährdet wird. Sogenannte Forschungsfragen bringen zusätzlich zum Ausdruck, ob die Evaluation eher "nur" am Produkt der Maßnahme orientiert ist (d. h. an ihrem "Out-Put", an ihrer Effektivität, am Grad der Zielerreichung) oder ob es auch um die Betrachtung des Prozesses geht, im Laufe dessen Leistungen ja erbracht und wesentlich beeinflusst werden. In diesem Fall ist Evaluation am "In-Put" und am "Out-Put" interessiert und kann zusätzlich nach der Effizienz (Aufwand-Nutzen-Relation) der Maßnahme fragen.
Um diese Entscheidungen im Detail treffen zu können, besteht die zentrale Aufgabe im Zusammenhang mit diesem Arbeitsschritt in der Operationalisierung des Gegenstandes. Operationalisierung soll Begriffe, mit denen der Gegenstand beschrieben wird, auf "Beobachtbares" (der Erfahrung und damit der Erfassung Zugängliches) zurückführen. Sie ist sozusagen die "Messanleitung" an der "Nahtstelle" zwischen sozialer Wirklichkeit und theoretischen Begriffen und erlaubt dadurch die Zuordnung von empirisch erfassbaren (beobachtbaren, erfragbaren ...) Indikatoren zu den eher allgemeinen, theoretischen Begriffen, mit denen der Gegenstand beschrieben wurde. Operationalisierung erst schafft so die Voraussetzungen für die eigentliche Evaluation, nämlich die systematische Erhebung und Auswertung der Informationen.

Schritt 4: Bewertungskriterien genau festlegen

Evaluation heißt beschreiben und bewerten. Die Frage nach den Kriterien der Evaluation entscheidet nun, vor welchem Hintergrund die zunächst beschriebene Praxis bewertet werden soll. Der Vergleichsmaßstab für die Beurteilung und Bewertung dessen, was dokumentiert und beschrieben wurde, muss genannt werden. Mögliche Kriterien sind

• theoretische, die der Fachliteratur entnommen werden können,
• Vorgaben und Ziele des Trägers bzw. des Geldgebers, die oft schriftlich in Konzeptionen niedergelegt sind,
• anerkannte (fachliche oder wissenschaftliche) Standards oder auch
• sogenannte selbstreferentielle Ziele, die "konsensual", d.h. gemeinsam im Team erarbeitet werden können.

Schritt 5: Untersuchungspersonen für die Evaluation auswählen

Zunächst stellt sich hier die Frage, wer denn im Sinne der gesetzten Ziele der Selbstevaluation als besonders wichtige InformantIn in Frage kommt. Sind die Daten eher bei den KlientInnen selbst zu erheben; ist es sinnvoller, KollegInnen, Vorgesetzte, ExpertInnen oder MitarbeiterInnen aus anderen Einrichtungen zu befragen; oder ist die Fachkraft selbst eine wichtige (wenn auch methodisch nicht ganz unproblematische) Informationsquelle für die Bewertung des ausgewählten Gegenstands?
Immer dann, wenn nicht alle Mitglieder der ausgewählten Gruppe für die Erhebung der Daten zur Verfügung stehen oder eine solche Gesamterhebung aus anderen (organisatorischen oder Kapazitäts-) Gründen nicht möglich ist, muss eine sogenannte Stichprobe gezogen werden: D. h. es wird nur eine Auswahl von Mitgliedern dieser Gesamtheit, über die anhand der Untersuchung Aussagen gemacht werden sollen, untersucht. Die Stichprobe soll ein verkleinertes, aber hinsichtlich der für die Fragestellung relevanten Untersuchungsmerkmale repräsentatives Abbild dieser sogenannten Population sein.

Schritt 6: Methoden für die Evaluation auswählen oder selbst entwickeln

Es müssen nun Methoden bereitgestellt werden, um die notwendigen Informationen möglichst vollständig sammeln, d. h. erheben, anschließend aufbereiten und schließlich auswerten zu können. Für die Erhebung der Daten stehen dazu zunächst grundsätzlich die Befragungs- und Beobachtungsmethoden der empirischen Sozialforschung zur Verfügung, die jedoch jeweils modifiziert, variiert und kombiniert werden können. Auf die in der Praxis erprobten Methodenbeispiele bei Heiner (1988; 1994; 1996) und bei Moser (1997) sei dabei besonders verwiesen.
Besonders wichtig sind im Zusammenhang mit der Methodenauswahl außerdem Fragen wie die nach der Anonymität der Erhebung (Datenschutz) oder nach möglichen Fehlerquellen, die dadurch Verfälschungen erzeugen, dass bei der Datenerhebung unnatürliche, die Realität verzerrende Situationen entstehen.
Weil es sich bei den Erhebungsmethoden jedoch in nahezu allen Fällen — vor allem dann, wenn Beratung und wissenschaftliche Begleitung zur Verfügung steht — um einfache, leicht erlernbare Techniken handelt, liegen Probleme nach einer gewissen Einübungsphase nur selten im Bereich der fehlerhaften Anwendung. Schwierigkeiten und damit Verzerrungen bei den Ergebnissen von Evaluation entstehen viel häufiger deshalb, weil Probleme im Zusammenhang mit der neuen Rolle der Fachkräfte entstehen, die diese als "ForscherInnen in eigener Sache" einnehmen: Nicht mehr (oder besser: nicht nur) die gewohnte Aufgabe, den KlientInnen Hilfe und Unterstützung im Sinne der Maßnahmenziele zu gewähren, steht im Mittelpunkt, sondern auch die eher ungewohnte Anforderung, in einer möglichst neutral-objektiven Distanz zu den KlientInnen klare und eindeutige Informationen über deren Befindlichkeit und Situation zu sammeln. Dies führt nicht selten zu Rollenkonflikten und Verwirrungen, deren Folge wiederum die Qualität, d. h. den Wahrheitsgehalt, der Ergebnisse einer Evaluation beeinflussen.

Schritt 7: Geeignete Methoden für die Auswertung wählen

Methodenentwicklung beinhaltet neben der Bereitstellung von Erhebungsinstrumenten natürlich immer auch die Frage nach geeigneten Auswertungsmethoden. Wenn Informationen gesammelt sind, müssen diese — je größer die Datenmenge ist, umso notwendiger — systematisch geordnet, aufbereitet, ausgewertet und dadurch übersichtlich und letztlich interpretierbar gemacht werden. Dazu eignen sich in der Regeln Tabellen, Balkendiagramme und Kennwerte wie z. B. das arithmetische Mittel, wenn es sich um sogenannte quantitative Daten handelt. Liegen die Informationen jedoch in Form von qualitativen Daten vor (wie z. B. als Verlaufsberichte oder als Protokolle oder Interviewtranskripte), so eignen sich vor allem sogenannte inhaltsanalytische Verfahren. Diese beruhen letztlich immer darauf, lange Texte regelgeleitet in ihrem Umfang zu reduzieren und dabei bezogen auf ihren Sinngehalt das Wesentliche herauszufiltern. Zur Vertiefung beider Methoden sei an dieser Stelle angesichts des beschränkten Umfangs dieses Beitrags auf die geeignete Literatur verwiesen (für die quantitativen Methoden auf Atteslander 1995 und für die qualitativen Methoden auf Mayring 1996).

Schritt 8: Verwertung und Anwendung der Ergebnisse rechtzeitig diskutieren, vorbereiten und sichern

Um zu verhindern, dass viel Zeit und Energie unnötigerweise in aufwendige Evaluationsvorhaben gesteckt wird, ist es von zentraler (und fast immer völlig unterschätzter) Bedeutung, schon während der Planung einer Evaluation zu bedenken,

• welche Ergebnisse wo diskutiert bzw. veröffentlicht werden sollen, d. h. welche politische Wirkung (z. B. auf der Einrichtungs- oder auf der Kostenträgerebene) erreicht werden soll,
• welche Rolle die Ergebnisse im Zusammenhang mit der Akquise von zusätzlichen Fördermitteln spielen könnten (Stichwort "social marketing"),
• ob — wenn ja, wo und wie — Veränderungen innerhalb der eigenen Struktur erreicht werden sollen.
• Die Verwertung und Anwendung der Ergebnisse hat nicht zuletzt deshalb eine so enorme Bedeutung, weil sich sehr oft in der Praxis gezeigt hat, dass die Erkenntnisse aus dem Prozess der Evaluation innovative und synergetische Potenziale und Wirkungen weit über eine Einrichtung hinaus (z. B. auch für die Fachkräfte selbst, deren Qualifikation, für die Personal- und Organisationsentwicklung oder das Qualitätsmanagement bei Trägern) entfalten können.