Evaluation der KJP-Programme - Vorphase (Evaluierbarkeitsassessment)

Konzeption und methodisches Vorgehen

Die Evaluation von Infrastrukturprogrammen – wie der Kinder – und Jugendplan des Bundes – stellt sich in Bezug auf das konzeptionelle und methodische Vorgehen als besonders voraussetzungsvoll dar und bedarf aufgrund der fehlenden Erfahrungen und Konzepte für dessen Evaluation einer besonderen Vorgehensweise. Der Forschungsprozess gliedert sich dabei in eine Vor- und in eine Hauptphase.

I. Vorphase: Evaluierbarkeitsassessment:

Die damit verbundenen Aufgabenkomplexe machen es notwendig, dass es im Vorfeld der Evaluation der ausgewählten KJP-Programme eine Reihe fachpolitischer, konzeptioneller und methodischer Fragen zu beantworten gilt. Da die Beantwortung dieser Fragen nur in Abstimmung mit allen beteiligten Akteuren erfolgen kann, wurde im Anschluss an die amerikanische in einem ersten Schritt zur Evaluation der KJP-Programme ein Evaluierbarkeitsassessment (evaluability assessment [ EA]) durchgeführt. Dies begann nach Vorarbeiten im Herbst 2008 offiziell im Januar 2009 und endet Ende Juni 2009. Der vorliegende Antrag basiert im Wesentlichen auf den Ergebnissen des EA.

Bei dem EA handelte es sich um eine Vorlaufphase mit dem Ziel, die Voraussetzungen und Bedingungen der KJP-Evaluation zu klären und abzustimmen: „Evaluierbarkeitsassessment bzw. -prüfung bezeichnet einen systematischen Prozess zur Klärung der Frage, ob eine Programmevaluation begründet, machbar und geeignet ist, nutzbare Ergebnisse hervorzubringen. Sie zeigt nicht nur auf, ob ein Programm aussagekräftig evaluiert werden kann, sondern auch, ob die Durchführung einer Evaluation zur Verbesserung von Programmleistung und management beitragen würde“ (Juvenile Justice Evaluation Center 2003 (www.jrsa.org) Übersetzung DJI).

Im Rahmen dieses Evaluierbarkeitsassessments geht es in einem ersten Schritt um die gemeinsame Verständigung geeigneter Beobachtungsfelder und zentraler Inhalte, programmspezifischer Evaluationskriterien und deren Operationalisierung. Der gemeinsamen Abstimmung über die Verwendungsinteressen der Nutzerinnen und Nutzer dieser Evaluation folgt die Entwicklung eines jeweils programmspezifischen Forschungsdesigns. Dieses Programmdesign schafft erst die Voraussetzungen zur Beurteilung der Resonanzen bzw. Wirkungen der Leistungsfähigkeit des KJP über die empirischen Rekonstruktionen der Programmelemente und ihres konzeptionellen Zusammenwirkens. Zu diesem Zweck werden Programmlogiken als Instrument zur Beschreibung und graphischen Abbildung des Zusammenspiels auch im Sinne eines heuristischen Instruments der Evaluation, um die meist implizit bleibenden Programmannahmen zu klären, erarbeitet.

Die entwickelten Operationalisierungen und Erhebungsverfahren und -instrumente werden in einem weiteren Schritt exemplarisch empirisch hinsichtlich ihrer Handhabbarkeit, Ergiebigkeit und ihres voraussichtlichen Aufwands überprüft. Die Vorlage eines „Final Reports“ als konzeptionelle, organisatorische und methodische Grundlage für die Haupterhebung bildet den Abschluss dieser Vorphase und stellt zugleich den Antrag für die Haupterhebung dar. Die Durchführung von gemeinsamen Workshops, Videokonferenzen, Literaturrecherchen, Dokumentenanalysen und explorativen Erhebungen unterstützen diese Arbeitsschritte.

II. Hauptphase:

Die Hauptphase (01.07.2009-30.06.2011) der Evaluation der beiden ausgewählten KJP-Programme (10.1/10.2 und 12) wird in einem zweistufigen Design durchgeführt werden.

In einer ersten Stufe sollen die KJP-induzierten Leistungen auf der Basis qualitativer Befragungen (ExpertInneninterviews) beschrieben werden. Ziel der Auswertung ist es, auf der Basis der Interviews, ergänzt um einschlägige Materialien und Dokumente, eine empirisch gesättigte Beschreibung der KJP-induzierten Leistungen entlang bestimmter – mit den Beteiligten zuvor festgelegter – Themenfelder zu erhalten. Sichtbar werden soll, welche Themen wie bearbeitet wurden, was dafür die Voraussetzungen und wer die Adressatinnen und Adressaten der Aktivitäten waren. Begreift man die Finanzierung durch den KJP und die damit geschaffene personelle Infrastruktur als Input, zielt die erste Phase auf eine empirische Rekonstruktion und Beschreibung des dadurch ermöglichten Outputs ab. Ein wichtiges Ziel dieser ersten Stufe ist es, nicht nur eine Übersicht der Leistungen des KJP zu gewinnen, sondern auch empirische Hinweise darüber, an welchen Stellen diese Leistungen empirisch überhaupt beobachtbare Wirkungen „erzeugen“.

In einem zweiten Schritt werden auf der Basis dieser Ergebnisse und Informationen an Hand ausgewählter Beispiele in einer zweiten Phase die Wirkungen KJP-geförderter Aktivitäten in den ausgewählten Themen empirisch untersucht und beschrieben werden. Dazu werden in der Steuerungsrunde empirisch zugängliche Nutzerinnen und Nutzer der Maßnahmen ausgewählt und hinsichtlich ihrer Einschätzung zum Nutzen und Wert der Angeboten befragt. Die Evaluationsergebnisse sollen Auskunft über die Wirkungsweise der KJP-Förderung bzw. deren Leistungsfähigkeit geben.

Zurück