Como evidência empírica afeta decisões sobre políticas públicas

Nas últimas décadas, temos visto um enorme crescimento no número de avaliações que buscam medir os impactos de políticas governamentais e programas de ONGs. Essas pesquisas têm gerado amplo conhecimento sobre quais tipos de programas funcionam e quais não funcionam para melhorar indicadores nas áreas de educação, saúde, entre outras. No entanto, será que gestores públicos têm interesse em saber os resultados dessas avaliações? Será que essas avaliações mudam as convicções dos gestores quanto à eficácia da política avaliada? E finalmente, será que evidências que comprovem a eficácia de uma política realmente aumentam sua adoção por gestores?

Para que a sociedade possa se beneficiar de evidências sobre políticas públicas, é importante que as respostas às perguntas acima sejam positivas. Entretanto, é possível que gestores usem resultados de avaliações de forma seletiva, apenas para “confirmar” suas convicções, não mudando de opinião. Gestores podem até mudar de opinião, mas as barreiras para a adoção da política comprovadamente eficaz podem ser de outra natureza, de forma que o aprendizado trazido pelas evidências não tenha importância de fato na tomada de decisão. Por isso, este trabalho mostra que a falta de acesso a evidências empíricas é um obstáculo à adoção de políticas comprovadamente eficazes em governos municipais no Brasil.

Os pesquisadores firmaram uma parceria com a CNM e participaram de 15 de suas conferências entre 2016 e 2018 para realizar dois experimentos. Um dos experimentos mediu o impacto de fornecer informações sobre resultados de avaliações de impacto sobre a adoção de uma política pública (experimento “adoção de políticas”). O outro experimento foi desenhado para medir como participantes processam e valorizam resultados de avaliação de impacto (experimento “demanda/crenças”). A implementação dos experimentos contou com o apoio logístico do JPAL-LAC.

No experimento "adoção de políticas", pesquisadores convidaram 881 prefeitos para uma sessão informativa sobre evidências durante o Seminário Novos Gestores 2016, evento da CNM. Esses prefeitos convidados foram selecionados aleatoriamente dentre um total de 1.818 prefeitos participantes do evento da CNM. A sessão de 30 minutos descreveu uma intervenção específica — cartas lembrando contribuintes sobre suas obrigações tributárias — e os resultados de um conjunto de avaliações de impacto rigorosas que demonstram que cartas lembrete aumentam a probabilidade de que os contribuintes paguem seus tributos em dia. De 15 a 24 meses após a sessão, os pesquisadores ligaram para todos os 1.818 prefeitos, bem como para funcionários responsáveis pela política tributária de cada um dos municípios. Assim, mensuraram se a política de carta lembrete havia sido adotada no município e as crenças dos gestores quanto à eficácia da mesma.

No experimento “demanda/crenças”, buscou-se entender o quão sofisticado é o uso da evidência apresentada. Será que os gestores valorizam e respondem aos atributos da evidência oferecida, ou aceitam quaisquer informações dadas pelos pesquisadores? Pesquisadores compartilharam resultados de avaliações de impacto de diferentes programas de desenvolvimento na primeira infância com líderes de 657 municípios, como prefeitos, legisladores locais e funcionários municipais. Os participantes utilizaram tablets para lerem instruções e responderem um questionário interativo de 20 minutos que havia sido desenvolvido para:

1. Medir a disposição dos participantes em "pagar" pelos resultados de pesquisas sobre esses programas – uma medida do quanto valorizavam a informação (usando bilhetes de um sorteio como moeda de troca, uma prática comum em pesquisa);
2. Verificar se atualizaram suas crenças quando receberam novas informações; e
3. Confirmar se essa atualização de crenças e esse interesse na pesquisa respondeu aos atributos da pesquisa, como tamanho da amostra, local do estudo e efeito encontrado.

No geral, os resultados sugerem que os formuladores de políticas públicas estão interessados em resultados de pesquisas, estão dispostos a rever suas crenças e a agir com base em evidências empíricas.

Mais de um terço (38%) dos prefeitos convidados para a sessão informativa sobre evidências optou por participar. Os pesquisadores descobriram que a participação na sessão aumentou em 10 pontos percentuais a probabilidade de os municípios implementarem cartas lembrete sobre pagamento de tributos (a política informada na sessão)— , um aumento de 33% em relação ao grupo que não foi convidado para a sessão.

No experimento “demanda/crenças”, quase todos os participantes (98%) estavam dispostos a “pagar” pelo menos um bilhete de sorteio para saber os resultados de uma avaliação de impacto sobre uma intervenção de desenvolvimento na primeira infância. Os formuladores de políticas públicas consideraram as informações de estudos com grandes amostras mais valiosas, e não valorizaram de forma diferente os estudos realizados na Colômbia e na Jamaica relativamente a estudos realizados nos Estados Unidos.

Podem existir diferentes barreiras à não adoção de políticas públicas eficazes em municípios brasileiros, desde a falta de capacidade técnica à falta de desejo político. Os resultados demonstram que (a falta de) acesso a evidências científicas é uma barreira relevante na elaboração e implementação de políticas públicas. Ainda mais, mostramos que a comunicação direta com gestores pode ser um instrumento eficaz para tornar políticas públicas com base em evidência uma realidade em municípios brasileiros.

Formuladores de políticas públicas, entidades que coordenam e apoiam governos municipais e organizações que trabalham para compartilhar evidências geradas por avaliações de impacto. Os autores iniciaram uma colaboração com o IPEA para descreverem essa pesquisa em mais detalhes em um capítulo no livro “O que informa as políticas públicas federais”, organizado pelo IPEA e outras instituições.

Hjort, Jonas, Diana Moreira, Gautam Rao, and Juan Francisco Santini. “How Research Affects Policy: Experimental Evidence from 2,150 Brazilian Municipalities.” NBER Working Paper No. 25491, July 2019.