Caro leitor,

A monitorização regular, avaliação e elaboração de relatórios é um dos sete princípios estabelecidos para os Planos de Mobilidade Urbana Sustentável (SUMP) no Pacote da Mobilidade Urbana da Comissão Europeia. Nesta newsletter vamos explorar as fases do processo de planeamento da mobilidade urbana sustentável (SUMP), em que a monitorização e a avaliação são necessárias. Vamos mostrar exemplos das cidades ENDURANCE e incluir ferramentas úteis e documentos, especialmente a partir do projeto NISTO , que recentemente chegou ao fim.

Os meses finais do ENDURANCE

Faltam apenas três meses para o final do projeto ENDURANCE, que tem agora 296 cidades ativadas online ! Isto prova que o apoio “multi-ângulo” dado às cidades – através de reuniões em rede, formações e workshops, ações de transferência de políticas e serviços especializados a pedido, é um sucesso. Em grande parte graças aos nossos 25 pontos focais nacionais (PFN) que adaptaram o apoio às necessidades locais e nacionais específicas. As informações de cada cidade ENDURANCE podem ser descarregadas agora no site, como um ficheiro pdf.

O nosso Ponto Focal Nacional (PFN) português é o 'reconhecido' número 1 nas campanhas de sensibilização PMT/SUMP: 28 cidades já estão ativas no sentido da promoção do planeamento da mobilidade urbana sustentável. Desde 2015, que existe uma nova dinâmica para o desenvolvimento dos PMT/SUMP como resultado da exigência incluída no Acordo de Parceria 2014-2020 entre Portugal e a CE, que condiciona o financiamento de medidas de mobilidade urbana e de ações à obrigatoriedade de existência prévia de um Plano de Ação para a Mobilidade Urbana Sustentável (PAMUS), a realizar ao nível intermunicipal (NUT III) num espaço de tempo muito curto (4 meses). Em paralelo, algumas cidades e municípios continuam a fazer os seus PMT/ SUMP (usando as respetivas e completas metodologias destes instrumentos e o tempo adequado à sua elaboração e à participação dos stakeholders), designadamente financiados pelo Fundo de Eficiência Energética nacional. Um relatório síntese de duas páginas sobre a monitorização e avaliação no Guia PMT está disponível aqui.

Na agenda do ENDURANCE:

• Em Janeiro de 2015 o projeto ENDURANCE coorganizou uma (sessão de intercâmbio internacional) com representantes de cinco áreas metropolitanas europeias, nomeadamente Barcelona, Helsínquia, Franquefurte, Manchester e Copenhaga.
• Em 4 de Março, a Administração Norueguesa de Estradas organizou uma sessão de formação em Oslo sobre a estratégia urbana proposta para o próximo Livro Branco sobre os planos de transportes nacionais de longo prazo (2018-2029).
• Em 23 de Março de 2016, a nossa rede Belga BEPOMM organizará uma visita local a Verviers e Liége, dois exemplos de cidades em destaque nesta publicação SUMP (link em Francês) organizada pela administração da Região de Valónia.
• Vamos apresentar os resultados finais do projeto na próxima newsletter na Conferência SUMP em Bremen, de 12 a 13 de Abril. Inscreva-se agora na Conferência.

O que o Guia SUMP diz sobre monitorização e avaliação?

A monitorização e avaliação ocorrem em várias etapas do ciclo de planeamento dos SUMP, conforme descrito no (Guia SUMP), disponível em nove idiomas):

• Autoavaliar as atuais práticas de planeamento (passo 1.3)
• Analisar a situação de mobilidade atual (3.1)
• Desenvolver cenários e analisar as consequências (3.2)
• Desenvolver metas mensuráveis (5)
• Estimar a eficácia e a relação qualidade-preço das medidas (6.1, 6.3)
• Planear a monitorização tanto do processo como da implementação (8, 9.1)
• Acompanhar e gerir a qualidade (10.3)
• Avaliar e aprender (11.2, 11.3)

Monitorização e avaliação: uma ampla gama de diferentes atividades

A monitorização e avaliação são termos frequentemente mencionados em conjunto, e muitas pessoas não percebem a diferença entre os dois. Iremos apresentar a nossa interpretação, também de outros termos relacionados com a avaliação, bem como alguns exemplos de projetos e ferramentas que os ilustram

Monitorização

= Medição regular de indicadores de acompanhamento do progresso para atingir os objetivos.

A base é uma recolha de dados sistemática e mais ou menos contínua. A interpretação oportuna dos dados – a avaliação – mostra se se está no caminho certo ou se se tem alguns desenvolvimentos indesejáveis. O projeto do Horizonte 2020, recentemente iniciado CREATE , tem como objetivo descrever o ciclo de evolução política de várias das suas cidades ao longo de um período de pelo menos quatro décadas, de forma a mostrar como chegaram ao “pico dos carros” (peak car). É rara a existência de tal recolha sistemática de dados.

A maioria das cidades ENDURANCE disponibilizou a sua repartição modal, algumas com uma cronologia de evolução mais longa (por exemplo, Viena e Graz). Está tudo disponível no TEMS, a ferramenta de repartição modal da EPOMM.

Uma forma interessante de recolher dados mais específicos sobre a situação da mobilidade é através do uso de aplicações (apps) para smartphones que registam o comportamento do utilizador. Exemplos disso são RouteCoach em Leuven, Bélgica, o projeto B-TRACK-B e a App de Contagem de Bicicletas na Flandres e na Holanda. A app Cycling 365 usada durante o European Cycling Challenge (Desafio Europeu de Ciclismo) também reúne os dados sobre a utilização da bicicleta para os planeadores de transporte locais. Os dados em bruto que saem de uma aplicação não são facilmente interpretados. O projeto NISTO desenvolveu algumas “ Orientações para converter dados do sensor de smartphones (por exemplo, GPS) em indicadores que podem ser usados na avaliação ”.

Avaliação (Evaluation)

= Determinação sistemática das medidas de mérito e significância durante e após a implementação.

Embora a diferença entre os dados de monitorização e os dados de avaliação possa ser bastante óbvia, é mais difícil distinguir os dois quando se trata de processos mais gerais como “outcome” ou “output” (resultado). Uma boa visão geral sobre as diferenças entre a monitorização e a avaliação é dada neste Blogspot Genuíno sobre Avaliação .

A avaliação é uma parte do processo de gestão contínua que consiste no planeamento, implementação e avaliação; idealmente, cada uma substituindo a outra, num ciclo contínuo e simultâneo até à conclusão bem-sucedida da medição. A avaliação diz-lhe quanto e porque se desvia dos seus objetivos, assim como o que pode aprender com isso.

Termo relacionado:

• Avaliação ex-post: Uma avaliação final após passado um determinado período desde a conclusão do projeto, a fim de determinar a sua eficácia e sustentabilidade.

Avaliação/ Balanço (Assessment)

= análise das forças e fraquezas de um sistema, processo ou pessoa.

O processo SUMP começa geralmente com uma autoavaliação das práticas de planeamento atuais. O ENDURANCE desenvolveu um questionário de autoavaliação para as suas cidades, para as ajudar a identificar as suas principais necessidades de apoio. O questionário também foi preenchido pelos pontos focais nacionais do ENDURANCE, para permitir uma avaliação pelos pares (“peer review”) do estado SUMP da cidade através de um observador externo.

Termos relacionados:

• Sistemas de gestão de qualidade: são concebidos para avaliar os processos organizacionais e oferecer orientação sobre como os melhorar, sendo muitas vezes combinados com uma auditoria. Exemplos de sistemas incluem o MaxQ para a gestão da mobilidade, o EcoMobility SHIFT para o desempenho do transporte urbano, oISEMOA para a política de acessibilidade ao espaço público e aos transportes públicos e a Common Assessment Framework para a gestão pública em geral.
• Auditoria: avaliação da conformidade de um conjunto de normas ou requisitos legais, realizada por um perito externo e tendo como resultado, um certificado. São exemplos de auditorias: o QUEST e o ADVANCE] para SUMP, e oBYPAD para as políticas de promoção da bicicleta.
• Avaliação do desempenho: comparação de resultados da avaliação entre diferentes projetos (ver, por exemplo, EPOMM MaxEva database) ou entre municípios (ver novamente TEMS). No Sustainability Score holandês, as performances de mobilidade dos municípios são classificadas e ordenadas de acordo com dez critérios.

Apreciação (Appraisal)

= análise do valor e da importância de uma medida ou projeto - no contexto da monitorização e avaliação esta análise é feita antes da implementação, a fim de ser possível fazer uma escolha informada entre as diferentes medidas potenciais. A isto também se chama avaliação ex-ante.

(Ver também a nossa Newsletter sobre Pacotes de Medidas Inteligentes s e a Konsult database).

Quando os objetivos de um SUMP são determinados, a cidade tem de selecionar um conjunto adequado de medidas. Para isso, precisa de “valorar” as medidas, o que significa saber quais as que terão maior potencial para realizar os objetivos. Um exemplo: o município ENDURANCE da Maia, em Portugal, teve um Grupo Municipal de Trabalho Técnico e uma Comissão de Acompanhamento composta por entidades externas para levar a cabo a monitorização e avaliação. Para a avaliação ex-ante foram desenvolvidos diferentes cenários de evolução do sistema de mobilidade através da técnica de - backcasting. Partindo dos objetivos que se pretendia alcançar no futuro em termos de repartição modal e de impactos ambientais, o conjunto de medidas foi ajustado de forma a que conduzissem à realização destes objetivos. Foi efetuada uma análise multicritério para a escolha entre cenários.

A cidade de Bremen, na Alemanha, vencedora do Prémio Europeu SUMP 2014 para a monitorização em SUMP teve três fases na sua avaliação ex-ante: uma análise das forças, das fraquezas, das oportunidades e ameaças (SWOT), uma análise de cenários com cinco propostas “escolha extrema“, e uma análise custo-benefício em colaboração com um especialista externo. O melhor cenário acabou por ser a promoção da mobilidade ativa. (Fonte: Eltis, ver também os estudos de caso dos outros finalistas Eltis e Dresden, e o vencedor do prémio especial do júri Salónica).

Termos relacionados:

• Análise custo-benefício (ACB), análise de custo-benefício social (ACBA): vários métodos diferentes de avaliação foram tratados pelo projeto NISTO .
• (Análise multicritério) (AMC): ponderação relativa de múltiplos critérios, tais como: custos, benefícios económicos, mas também qualidade de vida, ganhos de saúde, aceitabilidade, dificuldade de implementação, etc. De acordo com o (inquéritos aos atores-chave ) do NISTO, a AMC é o método de valoração mais usado. As ferramentas MaxExplorer, disponíveis no site da EPOMM, bem como a Ferramenta de Avaliação NISTO oferecem uma análise multicritério.

Uma tarefa desafiante para as cidades e municípios

Os pontos focais nacionais (PFN) do projeto ENDURANCE identificaram muitos desafios para as autoridades locais relacionados com a gestão, monitorização e avaliação nos SUMP.

Cătălin Frangulea, o Coordenador SUMP da cidade ENDURANCE de Brașov na Roménia relata, por exemplo, a falta de conhecimentos de planeamento e avaliação de mobilidade nas autoridades locais. A equipa técnica precisa saber exatamente o que pedir e esperar dos consultores, e, ainda mais importante, precisa de ser capaz de fazer uma boa utilização dos produtos - os resultados da monitorização e avaliação - entregues por esses consultores. Os dados podem ser obtidos com um pequeno esforço, mas o que falta é a capacidade de processar os dados.

O nosso (PFN Austríaco), a Agência de Energia da Áustria, constatou que os planos locais de transporte e mobilidade raramente incluem medidas de monitorização e avaliação. E mesmo quando incluem não seguem, por norma, uma abordagem sistemática com base em requisitos individuais. Por isso, a monitorização e a avaliação foram uma prioridade central na orientação e nos workshops oferecidos pelo ENDURANCE na Áustria. A cidade de Viena é um bom exemplo de um processo de monitorização contínua e de desenvolvimento de estudos de avaliação de políticas – chave, para sustentar o Plano de Desenvolvimento Urbano da cidade (STEP2025). Leia mais >

O nosso PFN na Estónia diz que os custos dos levantamentos e inquéritos podem constituir uma barreira. O ENDURANCE apoiou o desenvolvimento de uma metodologia detalhada de inquéritos às deslocações na região de Talin e Tartu, com um Grupo de Peritos do Ministério da Economia e das Comunicações da Estónia. No entanto, um primeiro concurso público falhou porque os custos do inquérito eram superiores ao previsto. Um inquérito às deslocações, mais reduzido, incluindo viagens pendulares de 4000 residentes na cidade de Tallinn, foi realizado durante Novembro e Dezembro de 2015 e será disponibilizado através de dados abertos (open data). Tanto a cidade de Talin como o governo nacional têm cooperado de forma positiva para conjuntamente encontrar financiamento para os inquéritos, designadamente através do Interreg.

Uma investigação norueguesa sobre a avaliação de projetos de infraestruturas de transportes mostra que são dedicados recursos substanciais a melhorar os métodos de cálculo e estimativas (técnicas de estimativa de custos, modelos de transporte, avaliação dos efeitos pelos consumidores, etc.) e que a maioria dos países tem orientações para a realização de Análises Custo-Benefício. Ironicamente, o volume de recursos utilizados na avaliação ex-ante raramente é igualado pelos recursos destinados à avaliações ex post.” ( Avaliação ex-post de projetos de transporte – experiências da Noruega)

Outra parte importante da avaliação são as opiniões divergentes (conflituantes) das partes interessadas (stakeholders). O envolvimento dos cidadãos e dos stakeholders é um elemento central da estratégia do vencedor do prémio SUMP acima mencionado, a cidade de Bremen. É também uma parte essencial da (ferramenta NISTO), que ajuda os utilizadores a identificar sinergias e divergências entre diferentes grupos de interessados. “O envolvimento de grupos de stakeholders no processo de avaliação e a utilização de dados de monitorização para informar o público são questões tidas como de crescente importância, mas vistos como difíceis e potencialmente propensos a pressões de grupos de interesse,” escreve o consórcio CH4LLENGE no seu artigo (Porque é que a monitorização e a avaliação são um desafio no planeamento da mobilidade urbana sustentável? )

Conclusão e recomendações

A monitorização e a avaliação são importantes: para a prestação de contas (accountability) (demos o melhor valor ao dinheiro?) para melhores tomadas de decisão, otimização do percurso ao longo do caminho, benchmarking, demonstrando sucessos- e às vezes - mostrando razões para os insucessos. Monitorização e avaliação devem ser uma parte integrante da gestão de projeto.

Como a monitorização e avaliação são muitas vezes negligenciadas, indicamos algumas ferramentas e informações cuja utilização recomendamos.

• A (parte de monitorização e avaliação ) no Guia SUMP, fornece o contexto para a monitorização e a avaliação de um SUMP. Em Portugal as Diretrizes Nacionais para a Mobilidade e o Guia para a elaboração dos PMT, fornecem igualmente o contexto nacional da monitorização e avaliação
• O CIVITAS oferece o seu extenso guião de 179 páginas sobre “Evaluation matters”.
• MaxSumo é um guia prático para uma avaliação que inclui o processo.
• MaxEva é uma base de dados de avaliação e uma ferramenta de avaliação para projetos de mobilidade, com base no MaxSumo, ambos disponibilizados pela EPOMM.
• Este pequeno guia do projeto NISTO dá exemplos para a seleção de metas e indicadores ajustados.
• Para selecionar e, em seguida, avaliar as medidas, podem ser aplicados muitos critérios e são oferecidas diversas ferramentas.
  • A Base de Dados KonSult proporciona a seleção fácil de instrumentos de política. A sua descrição e a análise multicritério (AMC) foi completamente atualizada pelo projeto CH4LLENGE. Por tipo de políticas, oferecem a descrição detalhada de projetos, exemplos e referências.
  • A EPOMM disponibiliza o MaxExplorer, uma ferramenta que baseada num retrato rápido oferece uma gama de medidas, em que pode ser aplicada uma análise multicritério.
  • Finalmente, o NISTO oferece uma transparente, mas elaborada em profundidade análise multi-critério (AMC), com base em 16 critérios de sustentabilidade agrupados pelos temas de economia, ambiente e sociedade, que podem ser ajustados individualmente.
• O projeto CH4LLENGE desenvolveu ainda uma autoavaliação para a totalidade do processo SUMP. Encontre a (ferramenta aqui) (login necessário) e uma (breve introdução aqui).
• O projeto CH4LLENGE também tem os seus resultados-chave disponíveis para serem descarregados, em 9 idiomas, entre eles a parte de monitorização e avaliação. Contém uma brochura síntese, assim como um manual detalhado. Encontre tudo (aqui).
• Algumas noções básicas sobre a análise custo-benefício:
  • Projeto EVIDENCE análise custo-benefício - Prática corrente na UE
  • Fórum Internacional dos Transportes (ITF): Entender o Valor das Infraestruturas de Transportes - Guidelines for an international comparative measurement of spending and assets e como exemplo: Appraising Transformational Projects - The Case of the Grand Paris Express e, finalmente, como recomendação: Improving the Practice of Cost Benefit Analysis in Transport.

Próximos eventos

• 3ª Conferência Europeia SUMP
  12-13 abril 2016 - Bremen, Alemanha
  www.eltis.org
• Conferência Final SWITCH
  14 de abril de 2016 - Bremen, Alemanha
  www.polisnetwork.eu
• 20ª Conferência Europeia de Gestão da Mobilidade
  1-3 Junho – Atenas, Grécia
  www.ecomm2016.com

Para mais eventos, por favor visite calendário da EPOMM.