A avaliação de políticas e programas sociais tem se fortalecido no Brasil nas últimas décadas, como consequência da ampliação do escopo e da escala das políticas públicas. Como mostrou a experiência histórica dos países europeus, há mais de 70 anos, a institucionalização do Estado de bem-estar foi um determinante-chave dos avanços teóricos e metodológicos no campo da avaliação de políticas e programas públicos. No caso brasileiro, a Constituição Federal de 1988 é um marco nesse sentido, ao instituir um conjunto abrangente de direitos sociais e princípios básicos de atuação do Estado no combate à pobreza, na mitigação da desigualdade e na garantia de serviços de educação, saúde e assistência social à população.

Assim, ao longo dos últimos 30 anos, passou a ser cada vez mais frequente a utilização de diferentes instrumentos e tipos de avaliações, como diagnósticos sobre públicos-alvo de programas, painéis de indicadores de monitoramento, avaliações de implementação e análises de resultados e impactos de iniciativas do governo federal, de alguns estados e de municípios de maior porte. Esse avanço institucional da avaliação foi acompanhado de um importante alargamento das perspectivas analíticas e metodológicas do campo, de modo a atender de forma mais apropriada a diversidade e complexidade das intervenções públicas1 O curso de avaliação sistêmica oferecido na plataforma EAD do Itaú Social é uma oportunidade para revisitar esse processo de institucionalização da avaliação no Brasil. .

A discussão sobre critérios e valores avaliativos, contudo, está pouco presente nas comunidades epistêmica e de práticas do campo. É revelador, nesse sentido, que o conjunto de critérios proposto pela OCDE (Organização para a Cooperação e Desenvolvimento Econômico) para avaliação de projetos de desenvolvimento seja pouco referido e usado de forma completa no Brasil, embora seja empregado, por exemplo, entre as agências multilaterais das Nações Unidas há três décadas. Essa proposta foi formulada por um comitê de especialistas em 1991, reunidos sob os auspícios da OCDE, para se constituir em um marco referencial conciso, universal e adaptável nos estudos avaliativos então em forte ascensão pelo mundo. Segundo a proposta, a avaliação de projetos sociais, programas e políticas públicas deveria considerar pelo menos cinco dimensões analíticas ou valorativas: eficácia, efetividade, eficiência, relevância e sustentabilidade2 Veja esse conjunto de critérios em PNUD. Manual de Planificación, Seguimiento y Evaluación de los resultados de Desarrollo. Nova York, 2009, p.169-170. Pode-se ter um quadro síntese desses critérios em: https://www.oecd.org/dac/evaluation/daccriteriaforevaluatingdevelopmentassistance.htm . .

Três dessas dimensões — eficácia, efetividade e eficiência — são bem conhecidas no Brasil, ainda que não tão regularmente aplicadas de forma conjunta em pesquisas avaliativas no país. De forma simplificada, a eficácia de um programa ou projeto é um atributo relacionado ao grau de cumprimento de seus objetivos ou de atendimento da demanda motivadora do programa. A efetividade diz respeito aos efeitos de médio e longo prazo sobre os beneficiários e a sociedade, direta ou indiretamente atribuíveis ao programa ou projeto. A eficiência, por outro lado, está associada à forma como os recursos são utilizados na produção dos resultados do programa.

No contexto de restrição fiscal dos próximos anos, avaliações orientadas por um conjunto mais plural de critérios — como relevância e sustentabilidade — podem oferecer argumentação robusta para a continuidade de programas ou de seus componentes

Meta-análises3 Vide conceito de meta-análise no glossário sobre avaliação , escrito por Angela Dannemann. de avaliações realizadas nos últimos 15 anos no Brasil permitem identificar esses três critérios em vários programas públicos. O Bolsa Família é um desses programas, reconhecido por sua eficácia em atender às famílias mais pobres e pela efetividade relevada em termos dos efeitos em educação e saúde das crianças e em outras dimensões sociais4 JANNUZZI, P.M.; PINTO, A. Bolsa Família e seus impactos nas condições de vida da população brasileira: uma síntese dos principais achados da pesquisa de avaliação de impacto do Bolsa Família II In: Programa Bolsa Família: dez anos de inclusão e cidadania. Brasília: IPEA, 2013, v.1, p. 179-192. . Também é um programa eficiente, considerando sua escala, o baixo erro de inclusão de famílias menos pobres e o custo administrativo para sua gestão e controle. Outro exemplo vem do programa Mais Médicos, que, no curto tempo em que operou, revelou-se eficaz no atendimento primário de saúde à população de pequenos municípios no Norte e Nordeste, assim como de periferias das grandes metrópoles, até então desassistidas desse serviço essencial5 GIRARDI,S . et al. Impacto do Programa Mais Médicos na redução da escassez de médicos em Atenção Primária à Saúde.Ciência & Saúde Coletiva, 21(9):2675-2684, 2016. . Tivesse durado mais tempo, sua efetividade em termos de melhoria dos indicadores de saúde seria mais evidente. Mais um caso de programa escrutinizado por avaliações com foco nos três critérios mais usuais no país foi o Água Para Todos. Ele é conhecido pela instalação de cisternas no semiárido, tendo se revelado eficaz na cobertura da população demandante e efetivo nos seus efeitos sobre condições de vida e saúde das famílias beneficiárias. Carece, no entanto, de maior eficiência em suas operações, com uma estrutura de governança mais articulada entre governos federal, estaduais e municipais6 RUEDIGER, M. A. (Coord.). Análise da efetividade do Água para Todos: avaliação de mérito quanto à eficácia, à eficiência e à sustentabilidade. Rio de Janeiro: FGV DAPP, 2018. .

Os outros dois critérios avaliativos da proposta da OCDE – relevância da intervenção e sustentabilidade de seus efeitos — são aparentemente menos conhecidos, pelo que sugere a pouca frequência com que são referidos e aplicados em avaliação de programas no Brasil. A relevância de um programa ou projeto está associada ao seu grau de pertinência em relação às demandas públicas prioritárias, isto é, à sua aderência à agenda de prioridades políticas de determinada sociedade. A sustentabilidade se refere à capacidade do programa ou projeto de gerar mudanças permanentes na realidade em que atua.

Fossem considerados esses outros dois critérios, o Bolsa Família, o Mais Médicos e o Água Para Todos seriam ainda mais meritórios. Afinal, para começar, esses programas são pertinentes por atender a demandas públicas concretas, garantidas inclusive na Constituição e em outros marcos normativos, como o combate à pobreza, a garantia do atendimento universal à saúde e o acesso ao alimento (e à água). Não se legitimam por se constituírem em modalidades de investimento em capital humano, com impacto ou retorno econômico potencial. São meritórios em si, por garantirem direitos que todo brasileiro deveria usufruir pelo contrato social de 1988. Para um ente público, prover um serviço que garanta o usufruto de um direito é, em si, um aspecto meritório e relevante a ser considerado na avaliação. Mesma lógica se aplica a um projeto social de uma organização privada ou não governamental: a legitimidade da iniciativa é tão maior quanto mais aderente à sua missão institucional. Naturalmente, melhor ainda se, em um caso ou noutro, o serviço ou projeto sejam operados de forma mais eficaz, eficiente e efetiva possível. Assim, mais gente poderá se beneficiar pelos efeitos diretos e indiretos da intervenção.

Relevância é, pois, uma dimensão a ser mais regularmente incorporada na agenda da avaliação de políticas e programas no país. Talvez se ache dispensável reafirmar a pertinência, legitimidade ou adequação de uma iniciativa frente à demanda ou questão que motivou sua proposição. Não é. Em tempos normais ou de recursos escassos, é sempre necessário avaliar ações, projetos e programas por seu mérito potencial – até mesmo ex-ante — na mitigação de iniquidades sociais no país ou pelo fato de viabilizarem soluções para demandas já legitimadas em normas públicas, experiências e tratados internacionais. Relevância pode ser uma dimensão fundamental a se investigar na avaliação de programas no campo do fomento cultural, na preservação do meio ambiente e até mesmo na educação (iniciativas de ampliação de jornada escolar, de extensão de atividades de socialização e recreação, de redução de turmas etc). Trata-se do critério técnico com mais força política para se contrapor às cobranças inescapáveis de eficácia e eficiência e aquelas nem tanto justificáveis de efetividade ou impacto de um programa, sobretudo nas fases de sua implementação.

Os programas mencionados anteriormente também se destacam por trazerem em seu desenho a preocupação com a perenidade dos seus efeitos iniciais. Mas sustentabilidade da mudança social depende também do “tempo de exposição” dos beneficiários aos programas, assim como a contribuição de outras políticas públicas articuladas com eles. O Bolsa Família pressionou a estruturação de melhores serviços educacionais e de saúde nos municípios mais pobres, melhorando o ingresso escolar de crianças na idade certa e postergando ou mitigando a evasão de parcela significativa delas. Essas crianças têm tido e terão mais oportunidades que seus pais, quebrando potencialmente o ciclo vicioso da pobreza. Além disso, as transferências monetárias do programa criaram mercado consumidor – e empregos — onde antes não existia. Ou seja, o programa prevê “portas de saída”, tão mais amplas quanto mais as famílias beneficiárias possam acessar outras políticas, como, entre outras, o Pronatec (Programa Nacional de Acesso ao Ensino Técnico e Emprego).

Sustentabilidade é outra dimensão a destacar do Mais Médicos, pois o programa previu, já em seu desenho, ações para ampliação de oferta de vagas e de instituições de nível superior nas áreas de medicina, enfermagem e odontologia de forma capilarizada pelo interior do país. Assim, profissionais de saúde estariam sendo formados em localidades mais próximas das áreas desassistidas. Na sua formulação original, o programa Água Para Todos também tinha assegurada parte da sustentabilidade dos seus efeitos, pois previa atividades de capacitação de famílias na construção e manutenção de suas cisternas, além de provimento de informação sobre acesso a políticas de fomento à agricultura familiar. O programa também acoplou, em sua expansão para a região amazônica, a instalação sanitária para evitar a contaminação da água das cisternas. Mas a sustentabilidade dos efeitos no semiárido requereria uma estratégia complementar de provimento de água por caminhão-pipa pelas prefeituras no período de estiagem prolongada.

Todos esses programas citados – relevantes em si — poderiam ser mais simples e mais baratos sem esses componentes adicionais em seus desenhos. Mas seriam seguramente menos sustentáveis em preservar as transformações sociais que suscitaram. Em geral, no desenho de programas e projetos, menos não é mais.

No contexto de restrição fiscal dos próximos anos, avaliações orientadas por um conjunto mais plural de critérios — como relevância e sustentabilidade — podem oferecer argumentação robusta para a continuidade de programas ou de seus componentes, face às teses de “inevitabilidade de adequação orçamentária” ou da “necessidade de melhoria da eficiência do gasto”.

A experiência recente no país indica que a demonstração de evidências concretas de eficiência, eficácia e efetividade levantadas em avaliações não foram suficientes para a preservação de programas meritórios como o Mais Médicos, Água Para Todos, Pronatec, entre outros. Talvez a argumentação tenha que ser de natureza mais técnica-política, e nesse sentido critérios como relevância e sustentabilidade podem certamente ajudar.