Avaliação de programas sociais e políticas públicas

• Avaliação de programas e políticas

  O campo da avaliação tem significativo acúmulo teórico e metodológico, e conta com a contribuição de diferentes vertentes do conhecimento. Assim, o presente glossário não tem a pretensão de sintetizar todo este arcabouço, mas inaugurar um espaço de diálogo em que será possível mobilizar conceitos-chave do tema e estabelecer conexões com a avaliação no cotidiano de programas sociais de iniciativa público-privada.

  A avaliação – como método de coleta e análise de informações para gerar aprendizados e apoiar a tomada de decisões – pode oferecer insumos importantes às organizações frente a demandas sociais em contextos cada vez mais complexos e dinâmicos. A relevância do tema se dá pela necessidade permanente de aferir a eficácia de programas e políticas (alcance dos objetivos propostos), a eficiência (adequação desses resultados face aos custos relacionados) e a efetividade (transformação promovida) (Jannuzzi, 2014).

  Alguns princípios devem nortear a avaliação, transcendendo o caráter apenas técnico e incorporando aspectos políticos. Por exemplo: 1) o uso efetivo dos resultados para aprimorar a gestão; 2) métodos como meio e não como fim, essencialmente adequados às necessidades emergentes dos variados cenários; 3) visão sistêmica, com atenção ao ciclo de vida dos programas e políticas; 4) valorização da participação dos atores envolvidos e 5) transparência: comunicação dos resultados como forma de gerar mudança (Itaú Social, 2020).

• Avaliação diagnóstica

  A avaliação ex ante, ou diagnóstica, é utilizada para subsidiar o planejamento de iniciativas sociais, já que busca identificar as questões emergentes dos diversos contextos, suas possíveis causas e elementos-chave a serem considerados nos planos estratégicos dessas intervenções. Trata-se de etapa essencial para otimizar recursos em prol de uma alocação que, de fato, responda às necessidades da população à qual se destina.

  Algumas metodologias podem apoiar esta etapa da avaliação, no que se refere à identificação de um panorama geral da situação encontrada, por exemplo, a Teoria da Mudança ou Marco lógico (Organizational Research Services, 2004).

  A análise ex ante é efetiva não só no desenvolvimento de novas políticas e programas, mas em situações de expansão e aperfeiçoamento de desenho/escopo. Além disso, antes de começar qualquer intervenção, a coleta de dados para estabelecimento de uma linha de base é fundamental para que avanços sejam monitorados a partir desse referencial.

• Avaliação experimental e quase experimental

  Muito utilizados na medicina, estes métodos também são praticados na avaliação de políticas públicas e programas sociais, pois buscam identificar o impacto alcançado isolando possíveis efeitos externos. A vantagem desta metodologia está justamente na relação de causalidade, pois se vale do pareamento entre dois grupos muito parecidos estatisticamente para aferir o impacto decorrente do programa ou política. Para isso, conta com um grupo de tratamento (participantes do programa) e um grupo de controle (não participantes do programa), de forma que o resultado da comparação entre eles ofereça respostas sobre o que teria acontecido na trajetória do participante caso ele não tivesse ingressado no programa ou política (Menezes Filho, 2016).

  A avaliação experimental acontece quando a escolha do grupo de controle e tratamento se dá por meio de um sorteio, compondo grupos estatisticamente semelhantes. Enquanto isso, na avaliação quase experimental, a composição do grupo de controle não ocorre de forma aleatória, sendo necessário utilizar técnicas econométricas para isolar os efeitos ocasionados pelas possíveis diferenças entre os grupos (Menezes Filho, 2016).

• Avaliação formativa e somativa

  Embora a avaliação seja frequentemente lembrada pelo seu aspecto somativo – ou seja, quando é realizada na conclusão de alguma implementação, pautando decisões sobre a continuidade (ou não) de políticas e programas sociais –, seu caráter formativo é estratégico para a realização de ajustes ao longo do projeto, já que permite aprendizados e reflexões que também incluem os atores envolvidos.

  Uma metáfora muito interessante que nos ajuda a sintetizar este conceito se refere à sopa e ao cozinheiro, isto é, quando a sopa é provada pelos convidados, a avaliação é somativa, mas, quando o cozinheiro a experimenta, a avaliação é formativa (Scriven, 2020).

  Cabe aqui ressaltar aspectos relativos ao monitoramento. Embora esse conceito esteja bastante entrelaçado com a prática da avaliação em si, ele pode ser comparado a um termômetro, que indica o status geral do programa por meio do acompanhamento contínuo de um conjunto sintético de informações da implementação. O painel fornecido pelo monitoramento mostra a necessidade de ajustes imediatos ou a investigação aprofundada de uma avaliação (Jannuzzi, 2014).

• Indicadores de avaliação

  De forma pragmática, os indicadores de avaliação representam as transformações que a iniciativa social pretende alcançar. Tecnicamente, podem ser qualitativos ou quantitativos, e têm a função de sintetizar a realidade numa variável que possa ser observada, de forma a acompanhar a sua evolução.

  Na prática das avaliações sociais, a definição de indicadores compatíveis com os objetivos de programas e políticas é uma etapa muito desafiadora, pois demanda um exercício intenso de simplificação de fenômenos dotados de significativa complexidade, sem perdas importantes do seu sentido original.

  Atentar-se para o ciclo de vida dos programas pode ser uma bússola valiosa para navegar na construção de indicadores capazes de refletir diferentes dimensões avaliativas. Nesse sentido, é preciso considerar a intencionalidade de cada etapa programada, elegendo indicadores de processo – que dizem sobre a qualidade da implementação –, indicadores de resultados intermediários – cujo foco está em efeitos de curto e médio prazo – e indicadores de impacto, cuja ênfase está na transformação social esperada, com vistas aos efeitos de longo prazo (Itaú Social, 2020).

• Meta-análise

  Trata-se de um processo de síntese de pesquisa, de forma a consolidar os resultados de uma gama de estudos – habitualmente quantitativos – a partir de parâmetros previamente definidos. Este tipo de análise é válido na tarefa de apontar tendências nas respostas sobre determinada questão, convergências ou divergências, com base no acúmulo bibliográfico. No entanto, alguns autores alertam para a necessidade de evidenciar as bases de julgamento para seleção ou exclusão de estudos específicos (Scriven, 2020).

  Ao longo dos anos, o Itaú Social desenvolveu uma série de estudos meta-analíticos sobre temas caros à educação, como, por exemplo, a relação entre artes e esportes e o desenvolvimento integral (2019), os impactos da leitura parental na primeira infância (2014), entre outros.

• Métodos mistos

  Diferentes paradigmas influenciam a avaliação como campo do conhecimento, de forma que abordagens qualitativas e quantitativas figuram nesse contexto e dizem muito sobre as lentes de interpretação utilizadas em cada caso. Os métodos mistos combinam as duas abordagens por meio do planejamento de diferentes procedimentos de coleta e análise de informações, com o propósito de conseguir apreender evidências em contextos complexos, como aqueles em que as políticas sociais ocorrem.

  A escolha desse tipo de análise, porém, não se limita à consideração de informações de distintas naturezas, mas a uma ampliação de perspectiva, capaz de perceber que essa escolha específica também informa a maneira como seus resultados serão aferidos, compreendidos e reportados (Mertens, 2018).

  O uso de métodos mistos permite a superação dos limites de cada tipo de análise, quantitativo e qualitativo, usados separadamente (Creswell e Clark, 2018). Oferece ainda possibilidades de dupla verificação a partir de diferentes perspectivas (coletas de dados quantitativos e qualitativos para checar a semelhança entre os resultados). Em alguns casos possibilita o aprofundamento de resultados encontrados (grupos focais podem explicar razões e significados de resultados quantitativos, por exemplo) e pode oferecer subsídios para o desenho de novas avaliações e instrumentos de coleta de dados.

• Razão custo-benefício e custo-efetividade

  Ainda que existam diferentes metodologias para mensuração dos custos de uma iniciativa social, uma pergunta norteadora é: considerando o impacto almejado, o programa avaliado realmente é a melhor forma de aplicar os recursos? Para responder a essa questão, é preciso apreender os diferentes tipos de custo de um programa e compará-los aos benefícios gerados para o público participante, a partir do impacto aferido.

  Um custo importante a ser considerado no caso de programas e políticas sociais é o custo de oportunidade, já que muitos valores aportados em torno de uma atividade social não dependem de uma rubrica orçamentária, mas contam com recursos valiosos que precisam ser contabilizados no escopo do projeto. São exemplos desses custos a mão de obra voluntária, o uso de algum espaço cedido sem custos, entre outros (Peixoto, 2016).

  Uma das abordagens possíveis para razão custo-benefício, a avaliação do retorno econômico, considera como benefício a valoração monetária do impacto encontrado no projeto, projetando a partir daí alguns cenários futuros. Neste caso, a divisão do benefício pelos custos do projeto é capaz de demonstrar o retorno para a sociedade a partir de cada real investido (Peixoto, 2016).

  Em outros casos, quando não é possível ou não é compatível contabilizar economicamente o impacto do projeto ou política, a solução é adotar a razão custo-efetividade. Nesta abordagem é feita a divisão do impacto encontrado pelo custo econômico da iniciativa. Dessa forma, o resultado é a “unidade de impacto que se obtém a partir de cada real gasto” (Peixoto, 2016, p. 248).

Leia mais