Drogi czytelniku,

Proces regularnego monitorowania, oceniania i raportowania stanowi jedną z siedmiu zasad przygotowania SUMPu (z ang. Sustainable Urban Mobility Plan czyli Planu zrównoważonej mobilności miejskiej), jakie Komisja Europejska zdefiniowała w dokumencie pn. Pakiet Miejskiej Mobilności. W tym wydaniu e-biuletynu przyjrzymy się poszczególnym etapom procesu planowania zrównoważonej mobilności miejskiej, których monitorowanie oraz ewaluacja stanowią nieodłączny element. Przedstawimy również przykłady miast należących do sieci ENDURANCE, a także przydatne narzędzia i dokumenty, zwłaszcza te zastosowane w projekcie NISTO project , który niedawno dobiegł końca.

Ostatnie miesiące projektu ENDURANCE

Zaledwie trzy miesiące pozostały do zakończenia projektu ENDURANCE. Obecnie posiada on aż 296 miast włączonych do internetowej platformy projektu! Świadczy to o tym, że wieloaspektowe wsparcie jakie zapewniamy miastom za pośrednictwem spotkań wewnątrz sieci czy szkoleń, ale także za sprawą przekazywania dobrych praktyk oraz oferty usług eksperckich na żądanie, odnosi sukces. Dzieje się tak w dużej mierze dzięki naszym 25 Krajowym Punktom Kontaktowym (KPK), które ww. wsparcie skroiły na miarę lokalnych i krajowych potrzeb. Informacje nt. każdego z miast przynależnych do sieci ENDURANCE można teraz pobrać w formie pliku pdf.

Nasz portugalski KPK jest obecnie naszym nieoficjalnym numerem 1 jeśli chodzi o podnoszenie świadomości nt. koncepcji SUMP – jak się okazuje, przy jego pomocy aż 28 zdołało rozpocząć przygotowywanie planów zrównoważonej mobilności miejskiej (lub polepszyć już istniejące). W konsekwencji zapisu znajdującego się w Partnerskim Porozumieniu zawartym w perspektywie lat 2014-2020 pomiędzy rządem portugalskim a Komisją Europejską, od roku 2015 mamy w tym kraju do czynienia z dynamicznym rozwojem SUMPów (znanych tam również jako PMT). Dokument ten uprzednio warunkuje finansowanie rozwiązań i działań z zakresu mobilności miejskiej zanim przystąpi się do faktycznej realizacji planów PMT/ SUMP. Krótki dwustronicowy raport na ten temat można znaleźć tutaj.

W harmonogramie ENDURANCE:

• W styczniu tego roku ENDURANCE współorganizował międzynarodową sesję wymiany doświadczeń, w której uczestniczyło pięciu przedstawicieli następujących europejskich aglomeracji : Barcelona, Helsinki, Frankfurt Rhine Main, Greater Manchester oraz Kopenhaga.
• 4 marca Norweski Zarząd Dróg zorganizował w Oslo sesję szkoleniową na temat planowanej strategii działania w odniesieniu do mającej niedługo się ukazać Białej Księgi dotyczącej długoterminowych krajowych planów transportowych (2018-2029).
• Na 23 marca nasza belgijska sieć BEPOMM zaplanowała organizację wycieczki studyjnej do Verviers oraz Liège – dwóch modelowych miast , których przykłady bliżej opisane zostały w tej publikacji nt. SUMP (treść w j. francuskim) stworzonej przez administrację Regionu Walońskiego
• Nasze ostateczne wyniki przedstawimy w następnym wydaniu naszego e-biuletynu jak również podczas konferencji w Bremen, zaplanowanej na 12-13 kwietnia. Już teraz zarejestruj swój udział w konferencji >

Co wytyczne SUMP mówią na temat monitorowania i oceny?

Zgodnie z europejskimi wytycznymi SUMP (treść dostępna w 9 wersjach językowych), monitorowanie, ocena oraz ewaluacja pojawiają się na wielu etapach planowania SUMP:

• Dokonanie samooceny bieżącego procesu planowania (krok 1.3)
• Analiza obecnego stanu mobilności (3.1.)
• Przygotowanie scenariuszy działań oraz ocena skutków ich wdrożenia (3.2)
• Ustanowienie mierzalnych celów (5)
• Ocena opłacalności rozwiązań w oparciu o kryterium cena-skuteczność (6.1, 6.3)
• Jednoczesne monitorowanie procesów planowania i implementacji (8, 9.1)
• Zarządzanie planem działania pod względem jego skuteczności (10.3)
• Dokonanie ewaluacji oraz uczenie się na błędach (11.2, 11.3)

Monitorowanie, ocena oraz ewaluacja jako szeroki wachlarz różnych działań

Terminy monitorowanie i ewaluacja często wymienia się jednym tchem. Wiele osób nie zdaje sobie jednak sprawy z dzielących te dwa pojęcia różnic. Poniżej przedstawiamy naszą interpretację wspomnianych terminów wraz z wyjaśnieniem innych okołoewaluacyjnych określeń, a także kilkoma przykładami projektów i narzędzi dla lepszego zobrazowania ich znaczenia.

Monitorowanie (monitoring)

= Regularny pomiar współczynników służący śledzeniu postępu w procesie osiągania założonych celów.

Systematyczne i zasadniczo nieprzerwanie trwające gromadzenie danych jest w tym wypadku podstawą. Dokonana na czas interpretacja zgromadzonych danych – ewaluacja – pozwala stwierdzić, czy jesteś na właściwej drodze do osiągnięcia zamierzonych celów, czy też może masz do czynienia z jakimiś niepożądanymi skutkami obranej ścieżki działania. Niedawno rozpoczęty w ramach programu Horyzont 2020 projekt pn. CREATE ma na celu opisanie procesu ewolucji sposobu zarządzania w wybranych miastach na przestrzeni co najmniej czterdziestu ostatnich lat. Projekt zmierza m.in. do zobrazowania tego, jak polityka władz doprowadziła do osiągnięcia krytycznego współczynnika samochodów na ulicach każdego z tych miast. Taki rodzaj systematycznego gromadzenie danych jest bardzo rzadki.

Większość miast włączonych do sieci ENDURANCE przedstawiła już swoje podziały modalne, niektóre z nich mają odleglejsze terminy na zgromadzenie potrzebnych statystyk (np. Wiedeń oraz Graz). Wszystkie dostępne na ten temat informacje dostępne są za pośrednictwem TEMS, czyli narzędzia platformy EPOMM prezentującego transportowe podziały modalne miast.

Interesującym sposobem zbierania danych w zakresie bardziej szczegółowych aspektów miejskiej mobilności jest gromadzenie ich za pośrednictwem aplikacji na smartfony, które śledzą zachowania transportowe ich użytkowników. Przykładem mogą tutaj być takie aplikacje jak: RouteCoach w Leuven (Belgia), projekt B-TRACK-B wraz ze zliczającą rowery aplikacją we Flandrii i Holandii. Aplikacja Cycling365, której użyto podczas Europejskiego Wyzwania Rowerowego, służy obecnie miejscowym ekspertom transportowym do gromadzenia danych na temat wykorzystania roweru przez mieszkańców miast. Nieprzetworzone, „surowe” dane spływające z takich aplikacji nie są łatwe w interpretacji. W ramach projektu NISTO przygotowano garść “Wskazówek na temat konwersji danych pochodzących z czujników w smartfonach (np. GPS) na wskaźniki, które mogą posłużyć w procesie ewaluacji”.

Ewaluacja (evaluation)

= Systematyczna identyfikacja korzyści oraz wagi zastosowanego rozwiązania po okresie implementacji.

O ile odróżnienie monitorowania danych od ich ewaluacji nie sprawia zazwyczaj większych problemów, to zadanie to może stać się o wiele trudniejsze w przypadku, gdy mamy do czynienia z procesem w toku lub tak ogólnymi pojęciami jak rezultat czy wydajność. Klarowne omówienie różnic między monitorowaniem a ewaluacją można znaleźć w blogu Genuine Evaluation.

Ewaluacja jest częścią toczącego się procesu zarządzania, składającego się z planowania, wdrażania oraz ewaluacji właśnie. Najlepiej gdy każdy z tych elementów zastępuje poprzedni w postaci nieprzerwanego i równolegle toczącego się cyklu aż do pomyślnego zakończenia przyjętego rozwiązania. Zatem ewaluacja mówi Ci, w jakim stopniu oraz dlaczego oddalasz się od uprzednio założonych celów, a także jaką naukę możesz z takiej sytuacji wynieść.

Termin pokrewny:

• ocena ex-post: Forma ewaluacji dokonanej po upłynięciu określonego czasu od zakończenia projektu stosowana w celu określenia jego skuteczności i trwałości/ciągłości uzyskanych rezultatów.

Ocena (assessment)

= ocena wydajności oraz mocnych i słabych stron danego systemu, procesu lub osoby.

Proces SUMP zwykle rozpoczyna się od samooceny aktualnie stosowanych praktyk planowania. W ramach projektu ENDURANCE powstał kwestionariusz samooceny pomagający miastom w określeniu ich głównych potrzeb w zakresie wsparcia. Kwestionariusz ten został wypełniony także przez krajowe punkty konsultacyjne na zasadzie przeglądu partnerskiego, tak aby SUMP przygotowany w danym mieście uzupełnić o niezależną opinię osoby z zewnątrz.

Terminy pokrewne:

• Systemy zarządzania jakością: powstały w celu oceny procesów organizacyjnych oraz zapewnienia oferty porad i wskazówek na temat tego, jak owe procesy można usprawnić. Często stosowane w połączeniu z audytem. Np. MaxQ przeznaczony do zarządzania mobilnością, EcoMobility SHIFT skupiający się na dziedzinie transport miejskiego, ISEMOA dedykowany dla planistów zajmujących się tworzeniem rozwiązań poprawiających dostępność publicznej przestrzeni i transportu oraz Common Assessment Framework stosowany ogólnie w zarządzaniu jakością w administracji publicznej.
• Audyt: ocena zgodności ze standardami i prawnymi wymogami dokonywana przez zewnętrznego eksperta, w rezultacie której wydawany jest certyfikat. Przykłady audytów to: QUEST oraz ADVANCE w odniesieniu do koncepcji SUMP czy BYPAD dotyczący polityki rowerowej na danym terenie.
• Analiza porównawcza (ang. benchmarking): porównanie wyników ocen dokonanych wewnątrz różnych projektów (patrz np. baza danych MaxEva) platformy EPOMM) lub porównanie wyników pobranych z różnych samorządów (patrz TEMS). W przypadku Holandii jest to np. Zapis wyników w oparciu o koncepcję zrównoważonego rozwoju, w którym osiągnięte na polu mobilności rezultaty poszczególnych samorządów uszeregowano na podstawie dziesięciu kryteriów.

Oszacowanie (appraisal)

= Weryfikacja przydatności oraz znaczenia danego rozwiązania bądź projektu – w kontekście monitorowania i ewaluacji ta forma osądu przeprowadzana jest przed etapem implementacji w celu dokonania świadomego wyboru pomiędzy rozmaitymi dostępnymi rozwiązaniami alternatywnymi. Znana jest również pod nazwą oceny ex-ante..

(zobacz także wydanie naszego e-biuletynu traktującego o „inteligentnych” pakietach rozwiązań oraz zajrzyj do bazy danych projektu Konsult).

Gdy uda się już wyznaczyć cele w ramach danego SUMPu, miasto musi wybrać odpowiedni wachlarz rozwiązań i środków zaradczych, które pozwolą je osiągnąć. Aby to uczynić musi ono owe rozwiązania “oszacować”, czyli niezbędne staje się ustalenie, które z tych rozwiązań mają potencjał realizacji objętych celów. Np. samorząd należącego do projektu ENDURANCE portugalskiego miasta Maia powołał do życia miejską Techniczną Grupę Roboczą oraz Komisję Monitorującą, w skład których weszły zewnętrzne organy mające za zadanie przeprowadzenie procesów monitorowania i ewaluacji. Na potrzeby oceny ex-ante stworzono różne scenariusze prognozujące ewolucję miejskiego systemu transportowego. Dokonano tego przy użyciu metody backcasting. Cele, które założono w dziedzinie podziału modalnego oraz ochrony środowiska, posłużyły za punkt wyjścia. Następnie dobrano do nich zestaw rozwiązań i środków zaradczych, których wdrożenie miało doprowadzić do osiągnięcia uprzednio wytyczonych celów. Przy wyborze określonego scenariusza posłużono się metodą analizy wielokryterialnej.

Niemieckie miasto Bremen, laureat Europejskiej nagrody SUMP w kategorii monitorowanie SUMP 2014, poddało się trzykrotnej ocenie ex-ante. Były to po kolei: analiza SWOT (ang. Strengths, Weaknesses, Opportunities, Threats) - czyli analiza mocnych/słabych stron, szans oraz zagrożeń; analiza scenariuszy, w której porównano pięć “ekstremalnych” modeli działania; a także analiza wydajności kosztów dokonana we współpracy z zewnętrznym ekspertem. Najlepszym scenariuszem okazał się być ten oparty na promocji aktywnej mobilności. (Źródło: Eltis, zobacz także studia przypadku pozostałych finalistów - Ghent oraz Drezna, oraz zdobywcy nagrody specjalnej jury - Salonik)

Terminy pokrewne:

• Analiza wydajności kosztów (ang. cost-benefit analysis -BCA), analiza społecznych kosztów i korzyści (ang. social cost-benefit analysis - SBCA): przeglądu kilku innych metod dokonano w ramach projektu NISTO.
• analiza multikryterialna (ang. multi-criteria analysis - MCA): świadome rozważenie wielu kryteriów takich jak: koszty, gospodarcze korzyści, ale także jakość życia, korzyści zdrowotne, poziom akceptacji społecznej czy poziom trudności implementacyjnej itd. Jak wynika z przeprowadzonej wśród interesariuszy ankiety projektu NISTO, analiza multikryterialna stosowana jest najczęściej. Interaktywne narzędzia MaxExplorer oraz zestaw narzędzi ewaluacyjnych projektu NISTO oferuje pomoc w przeprowadzeniu tego typu analizy.

Wyzwanie dla miast i samorządów

Krajowe punkty konsultacyjne projektu ENDURANCE zidentyfikowały szereg wyzwań, jakie mogą czekać przedstawicieli władz lokalnych w kontekście przeprowadzania ocen, monitorowania i ewaluacji ich SUMPów.

Cătălin Frangulea, koordynator programu SUMP w należącym do sieci ENDURANCE mieście Brașzów w Rumunii donosi , że problemem wśród lokalnych władz samorządowych jest brak planowania na polu mobilności oraz niedostateczna fachowa wiedza, jeśli chodzi o przeprowadzenie procesu ewaluacji. Planiści muszą dokładnie wiedzieć, o co pytać oraz czego oczekiwać od konsultantów, a nawet – co istotniejsze – kadry te winny umieć zrobić dobry użytek z produktów – jakimi są wyniki uzyskane z przeprowadzonych procesów monitorowania i ewaluacji – dostarczanych przez tych konsultantów. Pobranie danych nie nastręcza większych problemów, kuleje natomiast zdolność ich właściwego przetworzenia i wykorzystania.

Nasz austricki KPK - Austriacka Agencja Energetyki - zauważył, że lokalne plany transportowe rzadko zawierają w sobie elementy monitorowania i ewaluacji. A nawet jeśli takowe elementy występują, nie mają one zazwyczaj wiele wspólnego z systematycznym podejściem w planowaniu, lecz opierają się jedynie na odrębnych wymogach indywidualnych. Z tego względu kwestie monitorowania i ewaluacji stały się głównym tematem warsztatów oferowanych w ramach projektu ENDURANCE w Austrii. Wiedeń stanowi jeden z lepszych przykładów toczącego się procesu monitorowania oraz badań w zakresie ewaluacji kluczowych zagadnień polityki miasta, na których oparto tworzenie tamtejszego Miejskiego Planu Rozwoju (STEP 2025).Więcej na jego temat można przeczytać tutaj >

Nasz KPK w Estonii stwierdza, że koszty przeprowadzenia stosowanych badań mogą stanowić istotną barierę. ENDURANCE wspierał rozwijanie szczegółowej metodologii badań ankietowych zarówno dla Tallinna jak i regionu Tartu we współpracy z estońskim Ministerstwem Gospodarki i Komunikacji. Jednakże pierwszy przetarg ogłoszony na przygotowanie badania nie doszedł do skutku ze względu na wyższy od oczekiwanego koszt przedsięwzięcia. Ostatecznie, w listopadzie ubiegłego roku, zakrojone na mniejszą skalę badanie, dotyczące codziennych zachowań transportowych wśród 4000 tallińczyków, zostało zrealizowane w listopadzie oraz grudniu ubiegłego roku. Wyniki uzyskane w jego toku mają być otwarte dla każdego. Współpraca pomiędzy Tallinnem i estońskim rządem nad zapewnieniem środków dla dalszej realizacji tych badań układa się dobrze, czego przykładem jest ich wspólne działanie w projekcie Interreg.

Norweskie badanie na temat ewaluacji projektów dotyczących infrastruktury transportowej pokazuje, że znaczną część środków przeznacza się na poprawę tamtejszych metod szacunkowych takich jak: techniki oszacowania kosztów, modele transportowe, konsumencka opinia na temat uzyskanych efektów itp., a większość krajów dysponuje wytycznymi dotyczącymi przeprowadzania analizy wydajności kosztów. Paradoksalnie ilość środków przeznaczanych na dokonywanie oceny ex-post rzadko dorównuje budżetowi zarezerwowanemu na realizację oceny ex-ante - „(Ocena ex-post projektów transportowych – doświadczenia norweskie)”.

Kolejnym istotnym elementem działań szacunkowych są rozbieżne (sprzeczne ze sobą) opinie interesariuszy. Zaangażowanie obywateli i interesariuszy stanowi centralne ogniwo wspomnianej wcześniej strategii SUMP w zwycięskim mieście Bremen. Jest to także zasadniczy element działań wspieranych przezzestaw narzędzi projektu NISTO , który swoim użytkownikom ma pomóc w zidentyfikowaniu obszarów tak synergii jak i różnicy zdań wśród różnych grup interesu. „Włączanie interesariuszy w proces ewaluacji oraz korzystanie z danych uzyskanych w rezultacie procesu monitorowania w celu informowania opinii publicznej coraz bardziej zyskuje na znaczeniu, jednak nadal postrzegane jest jako działanie niosące ryzyko nacisków ze strony tych grup interesu właśnie” – pisze konsorcjum skupione wokół projektu CH4LLENGE w swoim dokumencie pt. „Dlaczego monitorowanie i ewaluacja stanowią wyzwanie podczas planowania zrównoważonej mobilności miejskiej?”.

Wnioski i rekomendacje

Proces monitorowania i ewaluacji maa znaczenie dla szeregu decydujących czynników takich jak: odpowiedzialność finansowa (czy uzyskaliśmy najlepszy z możliwych stosunek jakości do ceny?), mądrzejsze podejmowanie decyzji, optymalizacja działań w ich toku, przeprowadzanie analizy porównawczej, dowodzenie sukcesu wdrożonych zmian jak również – czasami – przedstawianie przyczyn ich porażki. Monitorowanie i ewaluacja winny być integralną częścią zarządzania projektem.

Jako że są one często zaniedbywane, poniżej przedstawiamy rekomendowane przez nas zestawy narzędzi i informacji, które mogą pomóc ten stan rzeczy zmienić.

• Rozdział poświęcony monitorowaniu i ewaluacji zawarty w wytycznych SUMP zapewnia kontekst dla realizacji tych procesów w ramach tworzenia własnej strategii SUMP.
• Projekt CIVITAS oferuje liczący sobie 179 stron poradnik zatytułowany „Ewaluacja ma znaczenie”.
• MaxSumo stanowi praktyczny poradnik na temat usystematyzowanej oceny projektów i programów mobilności.
• MaxEva to zarówno baza danych oraz narzędzie służące do ewaluacji projektów związanych z mobilnością. Zbudowana w oparciu o projekt MaxSumo. Zestaw ten przygotowany został w ramach platformy EPOMM.
• Ten krótki poradnik projektu NISTO zawiera przykłady jak formułować cele i stosowne wskaźniki.
• Istnieje wiele kryteriów podczas wyboru a następnie przy oszacowaniu obranych rozwiązań i środków zaradczych. Oto garść oferowanych narzędzi.
  • Baza danych projektu KonSult zapewnia łatwe w wyborze instrumenty polityki. Ich opis wraz z analizą multikryterialną został całkowicie uaktualniony w rezultacie prac wykonanych w ramach projektu CH4llenge. Baza oferuje dogłębny opis, jak również szereg przykładów i odniesień, na temat tworzenia polityki transportowej.
  • Platforma EPOMM przygotowała narzędzie MaxExplorer - bazującą na krótkim kwestionariuszu formę wsparcia oferującą wachlarz rozwiązań, które łatwo poddają się analizie multikryterialnej.
  • Projekt NISTO ma do zaproponowania przejrzysty acz rozbudowany zestaw narzędzi pomocnych w przeprowadzeniu analizy multikryterialnej opierającej się na 16 kryteriach zrównoważonego rozwoju pogrupowanych w takie kategoria jak gospodarka, środowisko, społeczeństwo, które w łatwy sposób można dostroić do indywidualnych potrzeb.
• Projekt CH4LLENGE opracował zestaw kursów nt. przeprowadzania samooceny obejmującej swym zakresem cały proces SUMP. Narzędzie dostępne jest tutaj (wymagane zalogowanie się) a krótką instrukcję obsługiznajdziesz tutaj.
• Kluczowe dane powstałe w rezultacie projektu CH4LLENGE dostępne są do pobrania w 9 językach. Wśród nich znaleźć można także część poświęconą monitorowaniu i ewaluacji. Zawierają one ponadto broszurę informacyjną (garść faktów na temat projektu) jak również wyczerpujący podręcznik. Wszystko można znaleźć tutaj.
• Trochę podstawowych danych związanych z analizą wydajności kosztów:
  • W ramach projektu EVIDENCE - Współczesne praktyki w zakresie analizy wydajności kosztów w UE
  • Międzynarodowe Forum Transportowe: „Zrozumieć znaczenie Infrastruktury Transportowej - Wskazówki do międzynarodowych pomiarów porównawczych w dziedzinie wydatków i aktywów” oraz dla przykładu:„Oszacowanie Projektów Transformacyjnych - przypadek projektu Grand Paris Express i wreszcie jako rekomendacja: Poprawiając praktykę stosowania analizy wydajności kosztów w dziedzinie transportu.

Nadchodzące wydarzenia

• Trzecia europejska konferencja SUMP
  12-13 kwietnia 2016 – Bremen, Niemcy
  www.eltis.org
• Ostatnia konferencja SWITCH
  14 kwietnia 2016 – Bremen, Niemcy
  www.polisnetwork.eu
• Dwudziesta europejska konferencja na temat zarządzania mobilnością
  1-3 czerwca 2016 – Ateny, Grecja
  www.ecomm2016.com

Informacje nt. pozostałych wydarzeń można znaleźć w kalendarzu platformy EPOMM.