4. Beschreiben und vergleichen statt prüfen und messen

Was also ist das Ziel der Evaluation interkultureller Arbeit? Die Frage klingt banaler als sie ist. Evaluation heißt Bewertung. Sie soll prüfen, so sagt man, ob ein Programm und/oder seine Umsetzung gut war oder weniger gut. Aber schon aus den wenigen bisher genannten Beispielen kann man ablesen, daß das nicht so einfach ist und daß mit der Forderung nach mehr und besserer Evaluation die Frage noch nicht beantwortet ist, was damit erreicht werden soll und kann.

Die Zahlen, die in den genannten Jahresbilanzen veröffentlicht werden, sind offenkundig als Selbstevaluation des DFJW gemeint. Sie sollen zeigen, daß die 42,5 Millionen DM, die der französische und der deut-sche Staat für diese Institution aufwenden, nicht in den Sand gesetzt, sondern gut angelegt sind. Aber kann diese allgemeine Evaluation auf der Ebene quantifizierbarer Daten überhaupt gelingen? Denn die Wirkungen, die von dieser Arbeit ausgehen, sind so eng mit unzähligen anderen Faktoren der Entwicklung in beiden Ländern verknüpft, daß spezifische Effekte (z. B. die Verstärkung der "europäischen" Orientierung "der Jugend") auf dieser allgemeinen Ebene auch mit größter Anstrengung und sehr viel mehr Aufwand nicht meßbar gemacht werden können.

Klaus Eder hat in einem Arbeitspapier der o. g. Forschergruppe formuliert:
"Die klassische Methode der Evaluation von Programmen ist die statistische Auswertung. So wird in der Evaluation von interkulturellen Begegnungsprogrammen die Annahme gemacht, daß der Erfolg von Begegnung in Zahlen ausdrückbar (operationalisierbar) ist. Es wird unterstellt, daß dieses soziale Phänomen zahlenmäßige Eigenschaften hat (wie etwa eine Wahl). Doch solche Messungen sind in der Regel willkürlich. Es gibt keine wissenschaftlich akzeptierte Theorie, die uns beweist, inwiefern gerade eine zahlenmäßige Darstellung einem Gegenstand angemessen sei. In der Regel wird deshalb die - dem gesunden Menschenverstand oder dem Wunschdenken entsprungene - Alltagstheorie herangezogen, daß, je mehr Menschen sich treffen, sie umso besser einander kennenlernen und sich gegenseitig akzeptieren lernen. Daß diese Alltagstheorie so nicht stimmt, wissen die Sozialwissenschaftler. Aber sie ist praktisch gut nutzbar.

Es gibt sozial verstehbare Motive, warum diese zahlenmäßige Darstellung von Begegnungsarbeit so gern benutzt wird (und gut bezahlt wird). Der Grund liegt in der Verführung der Zahl, vor allem in der Verführung von Wachstumszahlen, mit dem Effekt, daß der Gegenstand, die Begegnung, der zahlenmäßigen Darstellung angepaßt und annähernd gleichgesetzt wird. Das führt dann im nachhinein - als soziales Produkt - zu angeblich objektiven Maßstäben: Die Anzahl der Begegnungsereignisse wird zum Indikator des Erfolges der Arbeit gemacht. Dieses Kriterium ist aber nicht nur wissenschaftlich fragwürdig. Es wird auch zunehmend politisch kontraproduktiv, wenn die Wachstumszahlen stagnieren, die Akzeptanzzahlen stagnieren. Man fordert deshalb auch schon bisweilen den Übergang von einer quantitativen zu einer qualitativen Phase der Begegnungspolitik.

Doch was das heißen soll, ist völlig unklar. Das "Qualitative" wird - wie bereits das "Quantitative" - mit Hilfe von Alltagstheorien bestimmt. "Qualitativ" ist dann alles, was irgendwelchen ideellen oder ideologischen Erwartungen entspricht. Dazu gehören Forderungen wie die nach mehr nationalem Selbstbewußtsein, nach der historischen Dimension, nach Sinnfragen allgemein. In jedem Fall erfordern solche qualitativen Gesichtspunkte andere Meßverfahren, andere Methoden der Evaluation als diejenigen, die sich an der Anzahl der Begegnungen ausrichten."

Sind dann Jahresbilanzen, Umfragen und Erfolgsstatistiken sinnlos? Sicher nicht, aber nur dann, wenn nüchtern gesehen wird, was sie zu leisten vermögen. So können Statistiken, wie sie die Tätigkeitsberichte wiedergeben, zwar nicht die Effektivität des DFJW beweisen und gewiß auch nicht die Forderung der "Richtlinien" erfüllen, die "Mitwirkung des Jugendlichen" sicherzustellen . Wohl aber leisten diese Evaluationen, die Aktivitäten des DFJW und deren Nutzung auf allgemeinster Ebene beschreibbar und insofern für die Beteiligten und Interessierten kommunizierbar, diskutierbar zu machen:
- z. B. den Umfang der Nutzung der Angebote durch deutsche Jugendliche im Vergleich mit der Nutzung durch französische Jugendliche beschreibbar zu machen;
- oder die Beteiligung unterschiedlicher Altersgruppen, oder Regionen oder Arbeitsbereiche (z. B. Schule, Jugendverbände, Sport, berufl. Austausch) miteinander vergleichbar zu machen;
- oder die Jahresstatistiken seit den Anfängen des DFJW miteinander vergleichbar zu machen.

Diese Art der Ziele von Evaluation ist keineswegs unbedeutend. Mehr noch als dies bei anderen Organisationen heute ohnehin der Fall ist, sind interkulturell arbeitende Organisationen wie das DFJW unabdingbar auf ständige Selbstreflexion und auf Rückkopplungen zwischen ihren Organisationsstrukturen und ihren Arbeitsfeldern angewiesen. Sonst würde die Gefahr unabweisbar, daß die Bürokratie zum Selbstzweck und die Begegnungspraxis zum bloßen Mittel ihrer Erhaltung wird. Evaluation könnte dann zum bloßen Instrument staatlicher Selbstdarstellung degradiert werden. Insofern sind solche "statistischen" Evaluationsverfahren in allgemeinere Prozesse der Leitung, der Koordination, der öffentlichen Kontrolle und der Weiterentwicklung der Organisationen des internationalen Jugendaustausches eingebettet und hier auch unentbehrlich. Sie sind Kommunikations- und Steuerungsinstrumente neben anderen. Aber sie sind keine objektiven Prüfverfahren, die "neutrale" Meßwerte liefern. Werden sie für letzteres ausgegeben, so überfordert man sie und übersieht zugleich ihre eigentliche Leistung.

Beschreiben und miteinander vergleichbar machen als Ziel von Evaluation ist auch auf anderen Ebenen weniger selbstverständlich, als es scheint, z. B. auf der Ebene der Zusammenarbeit der "Partner" des DFJW. Wie alle Praktiker internationaler Begegnungsarbeit aus oft leidvollen Erfahrungen wissen, ist nämlich die Voraussetzung, daß es jeweils passende Partner "gibt", alles andere als selbstverständlich. Diese "Voraussetzung" ist vielmehr zumeist erst Ergebnis oft mühsamer Prozesse des Abtastens, d.h. der Evaluation mit unvermeidlichen Fehlversuchen - also Folge eines interkulturellen Lernprozesses. Denn diejenigen, die hier, oberflächlich betrachtet, als binationale Partner "zusammenpassen", ja als "Zwillinge" (jumelés) gelten, können bei Versuchen der Zusammenarbeit leicht feststellen, daß das eigentlich zunächst einmal gar nicht stimmt.

- Zum Beispiel ist es offenkundig, daß etwa der Deutsche Bundesjugendring (DBJR) und das Comité National des Associations de Jeunesse et d'Education Populaire (CNAJEP) z. B. von ihrer Geschichte und Organisationsstruktur her ebenso wenig "zusammenpassen" wie die Deutsche Sportjugend und das Comité National Olympique et Sportif Français. Und doch haben sich zwischen beiden Organisationssystemen im Lauf der Jahre vielerlei gewachsene Verbindungen entwickelt als Folge der vielfältigsten Evaluationen von Versuchen, das nicht Zusammenpassende doch vergleichbar und passend zu machen. Dasselbe gilt für fast alle dieser Partnerschaften.

- Zum Beispiel sind die Bildungssysteme von Deutschland und Frankreich so unterschiedlich (z. B. was die Gliederung der Schulstufen von der Vorschule bis zur Universität, was die Schularten, die Träger, die hoheitliche Zuständigkeit der Länder bzw. - in Frankreich - der Éducation Nationale angeht), daß es eher erstaunlich ist, wieviel an Partnerschaft dann doch zustande kommt.

Ohne vielschichtige Evaluationsprozesse, die das jeweils Unterschiedliche beschreiben und vergleichbar machen, wäre das nicht denkbar. D. h. auch hier sind die formell so genannten Evaluationen in hochkomplexe Prozesse von "Versuch und Irrtum", also in evaluative Prozesse im erweiterten Sinne eingebettet. Als Teil und Hilfsmittel der Zusammenarbeit, nicht als objektives Prüfverfahren, haben sie ihren praktischen Sinn, ja ihre Unentbehrlichkeit. Und hier wie auf anderen Ebenen ist es hilfreich, sich an Lao Tses Spruch zu erinnern (s.u. den Beitrag von Hans Nicklas): "Wer nie Schiffbruch erlitten hat, kommt nicht in den Hafen". D. h. wer die Risiken scheut, Passendes zwischen dem Nicht-Zusammen-passenden zu finden, der kann auch nichts für interkulturelle Begegnung tun.

Was für die Partnerschaften auf binationaler Ebene gilt, das gilt erst recht für die konkreten Partnerschaften in den einzelnen Begegnungsprogrammen. Auch hier geht es fast immer um das Zusammenpassen des "eigentlich" nicht Passenden. Immer handelt es sich um "eine unterschiedlich gelagerte Mischung von Unterschieden und Gemeinsamkeiten, wobei diese Mischung ihre Besonderheiten ausmacht" . Die erwähnten zahllosen Erfahrungsberichte über Begegnungsprogramme sind ein reichhaltiges Archiv solcher "Mischungen". Sie sind notwendiger Teil einer kreativen Gestaltung einer Kultur internationaler Partnerschaft, indem sie Erfahrungswissen darüber vermitteln. Aber sie messen und prüfen nichts.

Wenn demnach gesagt wird, solche Erfahrungsberichte seien streng genommen keine Evaluation (s. o.), weil sie nur einzelne Erfahrungen wiedergeben, die nicht im Vergleich mit anderen bewertbar sind, so ist das allenfalls halbrichtig. Denn jeder einzelne Erfahrungsbericht, wenn er nur genau genug ist, beschreibt und vergleicht je konkrete Zugänge von deutscher und französischer Seite, die meist eben unterschiedlich sind, so daß jedes einzelne Programm eigentlich ein Testfall ist, der Auskunft darüber gibt, was "geht" und was "nicht geht". Paradoxerweise stecken gerade in den besonderen Bedingungen, Schwierigkeiten aber auch Erfolgserlebnissen jedes einzelnen Programms und Teilnehmers in aller Regel die interessantesten Erfahrungen interkulturellen Lernens. Was dagegen bei allen ähnlich und problemlos vergleichbar ist, ist in der Regel eher banale Routine.

Dies beleuchtet auch den Stellenwert, den die Evaluation von besonderen Projekten wie "Experimentalprogramme" und "forschungsorientierte Programme" für die übrigen sogenannten "normalen" Begegnungsprogramme haben können. Die besonderen Bedingungen und Zusammensetzung jener Projekte haben oft zu dem schon erwähnten Einwand geführt, die Erfahrungen, die dort gemacht werden, seien eben deshalb auf die "normalen" Begegnungen nicht "übertragbar". Das ist beinahe richtig. Denn wenn jemand versuchen wollte, die Erfahrungen solcher Projekte zu "übertragen", d.h. als objektive Norm und Modell für andere Begegnungsprogramme zu verwenden, dann kann in der Tat nur Unsinn entstehen. Wenn man aber davon ausgehen muß, daß es streng genommen "normale" Programme überhaupt nicht gibt, und daß jede Begegnung nur so gut sein kann, wie sie ihre je besonderen Bedingungen erkennen, nutzen und verarbeiten kann, dann sieht die Sache anders aus. Dann kann es für die "Alltagspraxis" der Begegnungen durchaus hilfreich sein, wenn es Beschreibungen interkultureller Experimente gibt, die mehr Chancen als gewöhnlich hatten, neue Formen und Bereiche interkultureller Erfahrung zu erkunden oder die Grenzen des harmonischen Zusammenlebens zwischen Deutschen und Franzosen auf die Probe zu stellen.

Der Nutzen solcher Evaluationen durch Experimental- und forschungsorientierte Programme liegt auch hier nicht im Prüfen und Messen, sondern darin, daß spezifische Begegnungserfahrungen genauer als üblich beschrieben werden können und dadurch Vergleichsmöglichkeiten entstehen, die die Besonderheit je eigener Begegnungspraxis besser erkennbar machen.

Dasselbe gilt für teilnehmende Beobachtungen, wie sie u.a. von mehreren Mitgliedern der o.g. Forschungsgruppe in einigen jener sogenannten "normalen" Begegnungsprogramme durchgeführt wurden (z. B. Programme mit deutschen und französischen Schulklassen, mit Winzern aus Baden und Bordeaux, mit Kochlehrlingen und mit Austauschprogrammen von Verbänden der Sportjugend). Es wäre ganz unsinnig, solche Beobachtung als objektives Werten und Messen zu verstehen, so wie der Forscher hinter der Einwegscheibe sein Versuchsfeld klassifiziert und mißt. Sinn solcher Beobachtungen kann vielmehr nur sein, den Beobachteten gleichsam einen fremden Blick zur Verfügung zu stellen und dadurch Vergleiche zu ermöglichen. Dieser "fremde", externe Blick des teilnehmenden Forschers ist genauso standortgebunden wie die Sichtweise der Beteiligten. Der evaluative Effekt ergibt sich erst aus dem Vergleich der Sichtweise, so ähnlich wie man in der Geographie Gelände nur dadurch vermessen kann, daß man es von mehreren Standpunkten aus anpeilt.

Aus diesem Grund können übrigens auch die in den zitierten "Richtlinien" formulierten Regeln, nach denen die Zusammenarbeit zwischen dem DFJW und seinen vielen "Partnern" geordnet ist, nur dadurch funktionieren, also "gute" Regeln sein, daß sie selbst Produkt der Evaluation vielfältigster Austauscherfahrungen sind und dementsprechend flexibel gehandhabt und pragmatisch weiterentwickelt werden. Eben dies fordern diese "Richtlinien" ja selbst in ihrer Präambel ausdrücklich. Allein die Tatsache, daß die Arbeitsbeziehungen im internationalen Jugendaustausch prinzipiell auf freiwilliger Zusammenarbeit beruhen und so gut wie keine Möglichkeit besteht, einer Partnerseite den eigenen Willen aufzuzwingen, führt unabdingbar und automatisch dazu, daß Zusammenarbeit nur durch ständige wechselseitige Evaluation möglich ist. Denn weder zwischen den Beteiligten beider Nationen noch zwischen dem DFJW und den "freien Trägern", noch im Verhältnis zu den jugendlichen Teilnehmern sind irgendwelche erzwungenen Formen der Zusammenarbeit praktisch durchführbar, selbst wenn sie (wie z. B. in der Schule) erlaubt wären. Jene wechselseitige Evaluation ist natürlich umso produktiver, je weniger sie nur unter der Hand und stillschweigend geschieht und je mehr die jeweiligen Gründe, aus denen Zusammenarbeit funktioniert - oder nicht funktioniert - wechselseitig zugänglich werden. Eben deshalb ist das Beschreiben und Vergleichbarmachen von Erfahrungen und Sichtweisen so wichtig.

Im Grunde am klarsten, wenn auch selten so reflektiert, ist diese Wechselseitigkeit der Evaluation im Verhältnis zwischen den Organisationen und Angeboten des internationalen Jugendaustausches einerseits und ihren Adressatinnen und Adressaten andererseits, also den Schülern, jungen Berufstätigen, Mitgliedern von Jugendorganisationen etc. zu beobachten. Was immer vom DFJW, seinen Partnern oder auch von uns als beauftragte Forscher an Evaluation des Austausches und der Begegnungen produziert wird (seien es Statistiken, Meinungsumfragen, Beschreibungen von Bildungserlebnissen, von Schwierigkeiten der Verständigung oder anderes) - all dies ist immer schon Reaktion auf "Evaluationen", die diese TeilnehmerInnen an den Programmen und Angeboten machen:

• Sie evaluieren die Informationen, die sie über Angebote internationaler Begegnungsprogramme bekommen, Prospekte, persönliche Einladungen, Erzählungen ihrer Freunde etc. - und nehmen daraufhin teil - oder auch nicht.
• Sie evaluieren ihre Teilnahme-Erfahrungen und reagieren darauf: Sie "beißen an", sie kommen wieder, sie erzählen anderen davon, sie knüpfen an die entstandenen Kontakte zum andern Land an, und daraus entstehen neue Begegnungen.
• Oder nichts von all dem geschieht; statt dessen findet "Abstimmung mit den Füßen" statt, die Angebote kommen nicht an, und auch das ist Folge von Evaluation.

Insofern wird die Forderung der "Richtlinien", nach der "ständige(n) Bereitschaft, die Wandlungen jugendlicher Selbstdarstellung immer neu zur Kenntnis zu nehmen und sich immer neu mit ihnen auseinanderzusetzen" in gewisser Weise automatisch erfüllt. Wer es nicht tut, sieht in diesem Geschäft schnell "alt aus". Das Problem für die Anbieter ist nur, daß all diese individuellen Evaluationen in aller Regel unsichtbar bleiben, jedenfalls für die Anbieter selbst. Sie werden gewöhnlich nicht mitgeteilt, und sind deshalb auch nicht miteinander vergleichbar, es sei denn, die Anbieter kümmern sich darum, diese individuellen Reaktionen sichtbar und vergleichbar zu machen. Und genau das leisten die vielfältigen Evaluationsbemühungen, die eingangs beschrieben wurden, wenn auch lückenhaft und unvollkommen. Wobei sowohl die abstrakten Statistiken wie die Erfahrungsberichte, Einzelstudien, Pilotprogramme, Forschungskolloquien etc. ihre je besonderen Beiträge leisten und nicht gegeneinander ausgespielt werden sollten.

Gemeinsam ist ihnen: Sie organisieren Informationen, Rückmeldungen über die Reaktionen, welche die Aktivitäten des DFJW und seiner Partner bei ihren Adressaten, bei relevanten Öffentlichkeiten, aber auch wechselseitig auslösen. Dies ist eine sehr wichtige Aufgabe, denn, wie gesagt: Ohne daß diese Aufgabe - ausdrücklich und geplant, oder informell - geleistet wird, würde hier überhaupt nichts funktionieren. Welches Funktionieren aber i. S. der "Richtlinien" "gut" genannt werden kann, ist damit nicht gesagt. Solche Rückkopplungsprozesse können z. B. auch dafür sorgen, daß leerlaufende Routine (u. a. in Gestalt von immer gleichen Begegnungsritualen im Jugendaustausch oder von subventioniertem Funktionärstourismus) erfolgreich weiterlaufen kann, die durch andere Interessen gesteuert ist als diejenigen, die "interkulturelles Lernen" befördern.

Deshalb: Selbst wenn es noch sehr viel mehr und sehr viel genaueres Datenmaterial gäbe, das solche Rückkopplungsprozesse durchsichtig und vergleichbar macht, so wäre damit die eigentliche Frage, deren Beantwortung man normalerweise von "Evaluation" erwartet, noch gar nicht berührt, nämlich die Frage der Maßstäbe:

Wie gut ist, welchen Wert hat die Arbeit, die im internationalen Jugendaustausch geleistet wird, und wie kann sie verbessert werden?

Dies führt wieder auf die oben angesprochene Frage nach den Zielen einer "interkulturell" zu nennenden Arbeit zurück:

• Was sind überhaupt Ziele dieser Arbeit, wenn man darunter Konkreteres versteht als gängige Leerformeln wie "Versöhnung", "internationale Verständigung", "Partnerschaft" etc.?
• Und wessen Ziele sind maßgeblich? Die der geldgebenden Regierungen, die der verschiedenen Ministerien, die der Administration des DFJW, die seiner "Partner" (und wenn ja, welcher?), die der Pädagogen, die konkrete Programme durchführen, die der Eltern oder die der einzelnen TeilnehmerInnen?
• Und wenn sie alle je für sich ernst genom-men werden sollen, und das in beiden Ländern: Lassen sich dann überhaupt verbindliche Ziele finden, wenn das Ganze nur als ein System frei ausgehandelter Partnerschaften funktionieren kann, in dem niemand dem anderen Ziele vorschreiben kann?
• Wer bestimmt die Bedingungen, unter denen jeweilige Ziele erreichbar sein können?