 |
|
|
 |
 |
 |
 |
 |
 |
 |
 process in which monitoring and evaluation are needed.&p[images][0]=http://epomm.eu/newsletter/v2/content/2016/0316/img/fb.jpg&p[url]=http%3A%2F%2Fepomm.eu%2Fnewsletter%2Fv2%2Feupdate.php%3Fnl%3D0316%26lan%3Dde "share on facebook")
Liebe Leserin, lieber Leser, Regelmäßiges, kontinuierliches Monitoring, Bewerten und Berichten ist eines der sieben Prinzipien für SUMPs (Sustainable Urban Mobility Plans), vorgegeben von der Europäischen Kommissionen im Urban Mobility Package. In diesem e-Update werden die Phasen eines SUMP-Prozesses betrachtet, die des Monitorings und der Evaluierung bedürfen. Städtebeispiele aus dem EU-Projekt ENDURANCE werden gezeigt, die nützliche Werkzeuge und Dokumente zur Umsetzung beinhalten, speziell aus dem jüngst abgeschlossenen Projekt NISTO. | |
Die letzten Monate von ENDURANCE |
|
 ENDURANCE Erfahrungsaustausch in Barcelona | Nur mehr drei Monate bis zum Projektende von ENDURANCE. Aktuell sind 296 aktive Städte online! Das zeigt, dass die gebotene vielseitige Unterstützung – seien es nun Netzwerktreffen, Schulungen oder Workshops, Strategietransfer und bedarfsorientiertes Service von ExpertInnen ein Erfolg sind. Danke an die 25 nationalen “focal points” (NFPs), welche die Unterstützung an die lokalen bzw. nationalen Erfordernisse angepasst haben. Die Informationen jeder ENDURANCE Stadt können nun auch als PDF Datei heruntergeladen werden. Der portugiesische NFP ist die „ungekrönte“ Nummer 1 im Bereich der “SUMP Bewusstseinsbildung”: 28 Städte haben einen SUMP gestartet bzw. den bestehenden verbessert. Seit 2015 gibt es eine neue Dynamik in der Entwicklung von PMT/SUMPs als Resultat der Anforderungen, die im Partnerübereinkommen zwischen Portugal und der Europäischen Kommission für die Jahre 2014-2020 festgelegt sind. Darin ist die Finanzierung urbaner Mobilitätsmaßnahmen und Aktionen an die vorherige Implementierung eines PMT/SUMPs gebunden. Kurzer zweiseitiger Bericht dazu hier. Auf der ENDURANCE Agenda:
|
Was sagen die SUMP-Richtlinien zu Monitoring und Bewertung? |
|
 M&E Komponenten im SUMP Zyklus; zum Vergrößern drücken | Monitoring, Bewertung und Evaluierung tauchen immer wieder im SUMP Planungszyklus auf, wie auch in den europäischen SUMP Richtlinien (verfügbar in 9 Sprachen) beschrieben:
|
Monitoring, Bewertung und Evaluierung: ein weites Feld unterschiedlicher Aktivitäten |
|
 Darstellung der Radfahrten in Bologna während der European Cycling Challenge 2015. Fotorechte: ECC.   Source: Active Access, www.eltis.org  Stadt Maia, Portugal | Die Begriffe Monitoring und Evaluierung werden oft in einem Atemzug genannt, ohne auf die Unterschiede aufmerksam zu machen. Im Folgenden eine Interpretation dieser und weiterer, relevanter Begrifflichkeiten sowie einige Beispiele von Projekten und Werkzeugen zur Illustration. Monitoring = regelmäßige Messung von Indikatoren, um Zielfortschritte zu überprüfen. Basis ist eine systematische und mehr oder weniger kontinuierliche Datensammlung. Die zeitbezogene Auswertung der Daten zeigt, ob man am richtigen Weg ist oder unerwünschte Entwicklungen auftreten. Das kürzlich gestartete Horizon2020 Projekt CREATE hat zum Ziel, den Evolutionszyklus der Verkehrspolitiken mehrerer Städte über mindestens vier Jahrzehnte aufzuzeigen. Die meisten ENDURANCE-Städte zeigen die Entwicklung des Modal Split auf, manche unter ihnen haben dazu längere Zeitreihen, z.B. Wien und Graz). Verfügbar auf TEMS, dem EPOMM Modal Split Werkzeug. Eine interessante Methode um Daten zur spezifischen Mobilitätssituation zu sammeln, ist das Tracken des NutzerInnenverhaltens via Smart Phone. Beispiele dafür sind RouteCoach in Leuven, Belgien, das B-TRACK-B Projekt sowie die Radzähl-App Flandern und Niederlande. Die während der European Cycling Challenge verwendete “Cycling365 App”, sammelt ebenfalls radspezifische NutzerInnendaten für die lokale Verkehrsplanung. Diese Rohdaten sind nicht immer ganz einfach zu interpretieren. Das NISTO-Projekt entwickelte “Richtlinien zur Umwandlung von Sensordaten von Smart Phones (z.B. GPS) in evaluierbare Indikatoren ”. Evaluierung = systematische Ermittlung des Werts von Maßnahmen sowie deren Signifikanz während und nach deren Implementierung Mag der Unterschied zwischen Datenmonitoring und –evaluierung noch klar sein, ist die Unterscheidung bezüglich eines Prozesses oder eines Ergebnisses schon schwieriger. Einen guten Überblick der Unterschiede zwischen Monitoring und Evaluierung erhalten Sie hier: Genuine Evaluation blogpost. Evaluierung ist Teil eines kontinuierlichen Managementprozesses, bestehend aus Planung, Implementierung und Evaluierung. Im Zyklus treten die drei simultan auf und spielen zusammen, bis die Maßnahme komplettiert ist. Evaluierung zeigt, wie viel und warum Sie von ihren Zielen abweichen und was Sie draus lernen können. Verwandte Begriffe:
Beurteilung = Bewertung eines Systems bzw. einer Prozess- oder auch Personenleistung, der Stärken und Schwächen Der SUMP Prozess beginnt üblicherweise mit einer Selbstbeurteilung der gegenwärtigen Planungspraktiken in einer Stadt. ENDURANCE hat einen Selbstbeurteilungs-Fragebogen für Städte entwickelt, mittels dem der dringlichste Unterstützungsbedarf aufgezeigt wird. Der Fragebogen wurde auch von den ENDURANCE-NFPs ausgefüllt, um eine unabhängige Vorabeinschätzung des SUMP-Status einer Stadt zu erhalten:
Abschätzung, Beurteilung = Beurteilung des Werts oder der Wichtigkeit einer Maßnahme oder eines Projekts – im Bezug auf Monitoring und Evaluierung wird diese Beurteilung VOR der Implementierung durchgeführt, in der Regel um eine fundierte Auswahl von Maßnahmen oder Projekten treffen zu können; auch Ex-Ante Evaluierung genannt. (siehe auch e-Update zu smarten Maßnahmenpaketen und die Konsult Datenbank). Sobald SUMP-Ziele definiert sind, muss die Stadt ein passendes Set an Maßnahmen zur Zielerreichung festlegen. Dafür bedarf es einer Maßnahmenbewertung oder -reihung, welchen Maßnahmen das größte Zielerreichungspotenzial innewohnt. Ein Beispiel: die ENDURANCE Stadt Maia, Portugal, hat eine gemeindeeigene technische Arbeitsgruppe sowie eine Monitoring-Kommission zusammengestellt, bestehend aus externen Einheiten, um Monitoring und Evaluierung auszuführen. Für die Ex-Ante Evaluierung wurden unterschiedliche Szenarien zur Evolution des Mobilitätssystems mit dem Backcasting-Ansatz entwickelt. Beginnend mit den zu erreichenden Zielen (Modal Split und Umweltauswirkungen) wurde das geeignetste Maßnahmenbündel geschnürt, um die Ziele zu erreichen. Eine Multi-Kriterien-Analyse diente zur Auswahl des geeigneten Szenarios. Bremen, Deutschland, Gewinner des European SUMP Award 2014 für das Monitoring im Rahmen eines SUMP, hat in seiner Ex-Ante Evaluierung, eine Analyse der Stärken und Schwächen, Chancen und Risiken (SWOT), eine Szenarienanalyse von fünf ‘ausgeprägten Auswahlen’ und eine Kosten/Nutzen-Analyse in Zusammenarbeit mit einem externen Experten. Das erfolgversprechendste Szenario ist die Forcierung aktiver Mobilität. (Quelle: Eltis, siehe auch die Fallstudien anderer Finalisten Gent und Dresden, sowie den Gewinner des Spezialpreises der Jury Thessaloniki) Verwandte Begriffe:
|
Eine herausfordernde Aufgabe für Städte und Gemeinden |
|
 Stadt Brasov, Rumänien  Tallinn, Estland | Die ENDURANCE NFPs haben festgestellt, dass es für lokale Verwaltungen vielfältige Herausforderungen vor allem in Zusammenhang mit der Beurteilung, dem Monitoring sowie der Evaluierung von SUMPs gibt. Cătălin Frangulea, SUMP Koordinator der ENDURANCE-Stadt Brașov in Rumänien berichtet z.B. von mangelnder Mobilitätsplanungs- und Evaluierungsexpertise bei lokalen Verwaltungen. Technische Angestellte müssen genau wissen, was sie von KonsulentInnen erfragen und erwarten können und, noch wichtiger, was sie mit den Ergebnissen von Evaluierungen und Monitoring (geliefert von KonsulentInnen) anfangen sollen. Daten zu beschaffen ist leicht im Vergleich zur Verarbeitung der Daten. Unser österreichischer NFP, die Österreichische Energieagentur, hat beobachtet, das lokale Mobilitäts- und Verkehrspläne selten Monitoring und Evaluierungsmaßnahmen beinhalten. Selbst wenn, folgen diese selten einem systematischen Ansatz, sondern richten sich nach individuellen Bedürfnissen. Daher standen die Themen Monitoring und Evaluierung im Fokus der ENDURANCE Städtebetreuung und Workshops in Österreich. Die Stadt Wien ist ein gutes Beispiel, wenn es um einen kontinuierlichen Monitoringprozess geht. Dahinter stehen auch politische Schlüsselstrategien wie etwa der Stadtentwicklungsplan (STEP2025). Lesen Sie mehr > Unser NFP in Estland sagt, dass die Kosten von Befragungen eine Barriere darstellen können. Als Teil einer Expertengruppe des estnischen Wirtschaftsministeriums unterstützte ENDURANCE die Entwicklung einer detaillierten Mobilitätsbefragung für die Regionen Tallinn und Tartu unterstützt. Jedoch schlug eine erste Ausschreibung fehl, da die Kosten höher als erwartet waren. Schlussendlich wurde eine kleinere Befragung (mit Haushalts-Mobilitätstagebüchern von 4.000 EinwohnerInnen) zwischen November bis Dezember 2015 durchgeführt und als „open data“ zur Verfügung gestellt. Die Stadt Tallinn und die Regierung arbeiteten eng zusammen, um weitere Befragungen finanzieren zu können, z.B. über Interreg. Norwegische Forschungen zur Evaluierung von Verkehrsinfrastrukturprojekten zeigen, dass substantielle Mittel in Bewertungsmethoden fließen (Kostenschätzung, Verkehrsmodelle, Endverbrauchereinschätzung der Effekte, etc.) und, dass die meisten Länder Richtlinien zu Kosten/Nutzen-Analysen haben. Ironischerweise steht der Aufwand der in Ex-Post Evaluierungen investiert wird selten in einem ausgeglichenen Verhältnis zu den Mitteln die für Ex-ante Evaluierungen aufgewendet werden. (Ex post evaluation of transport projects – experiences from Norway) Ein weiterer wichtiger Teil der Bewertung sind die unterschiedlichen und teils konfliktären Ansichten der Stakeholder. Die Einbindung von BürgerInnen und Stakeholdern ist ein zentrales Element des oben erwähnten SUMP-Gewinners Bremen. Es ist auch ein essentieller Bestandteil des NISTO Werkzeugkoffers , der uns hilft, Synergien aber auch Meinungsunterschiede verschiedener Gruppen zu verstehen. “Die Einbindung von Stakeholdern in den Evaluierungsprozess sowie die Verwendung von Monitoringdaten, um die Öffentlichkeit zu informieren, ist von steigender Bedeutung, wird aber auch als schwierig und potenziell anfällig für Lobbying durch Interessengruppen gesehen,” schreibt das CH4LLENGE Konsortium in ihrem Papier Why is monitoring and evalution a challenge in sustainable urban mobility planning? |
Ergebnis und Empfehlungen |
|
 Quelle: www.eltis.org | Monitoring und Evaluierung ist wichtig für: die Wirtschaftlichkeit, bessere Entscheidungen, Nachschärfungen im Laufe des Prozesses, Benchmarking, Erfolgsnachweise – und manchmal, um Gründe fürs Scheitern aufzuzeigen. Monitoring und Evaluierung sollten ein integraler Bestandteil des Projektmanagements sein. Da Monitoring und Evaluierung oft vernachlässigt werden, hier einige Werkezuge und Hinweise, zu deren Anwendung geraten wird:
|
Veranstaltungshinweise |
|
Weitere Veranstaltungen auf EPOMM Kalender. | |
|
|
|
|
|
|
|