Como evidência empírica afeta decisões sobre políticas públicas?

Diana Moreira e Juan Francisco Santini

Paper

Como evidência empírica afeta decisões sobre políticas públicas?

How Research Affects Policy: Experimental Evidence from 2,150 Brazilian Municipalities

autores

Jonas Hjort, Diana Moreira, Gautam Rao e Juan Francisco Santini

Área e sub-área

Economia Política, Governança, Políticas Públicas

Publicado em

The National Bureau of Economic Research em Junho de 2019

Link para o original

Este paper, publicado na série de textos para discussão do NBER (National Bureau of Economic Research), mostra que formuladores de políticas públicas têm interesse em pesquisas de avaliações de impacto e estão dispostos a rever suas ações e agir com base nas evidências produzidas pela ciência.

A pesquisa chegou à conclusão depois de realizar experimentos em parceria com a Confederação Nacional de Municípios (CNM). Os experimentos mostraram que i) gestores públicos locais — entre eles prefeitos, legisladores e secretários de governo — estavam dispostos a “pagar” para saber os resultados de uma avaliação e, posteriormente, a atualizar suas crenças em base às evidências apresentadas; ii) prefeitos que foram convidados a participar de uma sessão sobre evidência empírica de uma política simples que facilita arrecadação tributária local acabaram adotando a política em maior número do que prefeitos que não foram convidados.

A qual pergunta a pesquisa responde

Nas últimas décadas, temos visto um enorme crescimento no número de avaliações que buscam medir os impactos de políticas governamentais, programas de ONGs e outros implementadores. Essas pesquisas têm gerado amplo conhecimento sobre quais tipos de programas funcionam e quais não funcionam para melhorar indicadores nas áreas de educação, saúde, entre outras. No entanto, será que gestores públicos têm interesse em saber os resultados dessas avaliações? Será que essas avaliações mudam as convicções dos gestores quanto à eficácia da política avaliada? E finalmente, será que evidências que comprovem a eficácia de uma política realmente aumentam sua adoção por gestores?

Por que isso é relevante?

Para que a sociedade possa se beneficiar de evidências sobre políticas públicas, é importante que as respostas às perguntas acima sejam positivas. Entretanto, é possível que gestores usem resultados de avaliações de forma seletiva, apenas para “confirmar” suas convicções, não mudando de opinião. Gestores podem até mudar de opinião, mas as barreiras para a adoção da política comprovadamente eficaz pode ser de outra natureza, de forma que o aprendizado trazido pelas evidências não tenha importância de fato na tomada de decisão. Por isso, este trabalho mostra que a falta de acesso a evidências empíricas é um obstáculo à adoção de políticas comprovadamente eficazes em governos municipais no Brasil.

Resumo da pesquisa

Os pesquisadores firmaram uma parceria com a CNM e participaram de 15 de suas conferências entre 2016 e 2018 para realizar dois experimentos. Um dos experimentos mediu o impacto de fornecer informações sobre resultados de avaliações de impacto sobre a adoção de uma política pública (experimento “adoção de políticas”). O outro experimento foi desenhado para medir como participantes processam e valorizam resultados de avaliação de impacto (experimento “demanda/crenças”). A implementação dos experimentos contou com o apoio logístico do JPAL-LAC.

No experimento "adoção de políticas", pesquisadores convidaram 881 prefeitos para uma sessão informativa sobre evidências durante o Seminários Novos Gestores 2016, evento da CNM. Esses prefeitos convidados foram selecionados aleatoriamente dentre um total de 1.818 prefeitos participantes do evento da CNM. A sessão de 30 minutos descreveu uma intervenção específica — cartas lembrando contribuintes sobre suas obrigações tributárias — e os resultados de um conjunto de avaliações de impacto rigorosas que demonstram que cartas lembrete aumentam a probabilidade de que os contribuintes paguem seus tributos em dia. De 15 a 24 meses após a sessão, os pesquisadores ligaram para todos os 1818 prefeitos, bem como para funcionários responsáveis pela política tributária de cada um dos municípios. Assim, mensuraram se a política de carta lembrete havia sido adotada no município e as crenças dos gestores quanto à eficácia da mesma.

No experimento “demanda/crenças”, buscou-se entender o quão sofisticado é o uso da evidência apresentada. Será que os gestores valorizam e respondem aos atributos da evidência oferecida, ou aceitam quaisquer informações dadas pelos pesquisadores? Pesquisadores compartilharam resultados de avaliações de impacto de diferentes programas de desenvolvimento na primeira infância com líderes de 657 municípios, como prefeitos, legisladores locais e funcionários municipais. Os participantes utilizaram tablets para ler instruções e responder um questionário interativo de 20 minutos que havia sido desenvolvido para:

  1. Medir a disposição dos participantes em "pagar" pelos resultados de pesquisas sobre esses programas – uma medida do quanto eles valorizavam a informação (usando bilhetes de um sorteio como moeda de troca, uma prática comum em pesquisa);
  2. Verificar se eles atualizaram suas crenças quando receberam novas informações; e
  3. Confirmar se essa atualização de crenças e esse interesse na pesquisa respondeu aos atributos da pesquisa, como tamanho da amostra, local do estudo e efeito encontrado.

Quais foram as conclusões?

No geral, os resultados sugerem que os formuladores de políticas públicas estão interessados em resultados de pesquisas, estão dispostos a rever suas crenças e a agir com base em evidências empíricas.

Mais de um terço (38%) dos prefeitos convidados para a sessão informativa sobre evidências optou por participar. Os pesquisadores descobriram que a participação na sessão aumentou em 10 pontos percentuais a probabilidade de os municípios implementarem cartas lembrete sobre pagamento de tributos (a política informada na sessão)— , um aumento de 33% em relação ao grupo que não foi convidado para a sessão.

No experimento “demanda/crenças”, quase todos os participantes (98%) estavam dispostos a “pagar” pelo menos um bilhete de sorteio para saber aprender os resultados de uma avaliação de impacto sobre uma intervenção de desenvolvimento na primeira infância. Os formuladores de políticas públicas consideraram as informações de estudos com grandes amostras mais valiosos, mas não valorizaram de forma diferente os estudos realizados na Colombia e Jamaica relativamente a estudos realizados nos Estados Unidos.

Podem existir diferentes barreiras à não adoção de políticas públicas eficazes em municípios brasileiros, desde a falta de capacidade técnica à falta de desejo político. Os resultados demonstram que (a falta de) acesso a evidências científicas é uma barreira relevante na elaboração e implementação de políticas públicas. Ainda mais, mostramos que a comunicação direta com gestores pode ser um instrumento eficaz para tornar políticas públicas com base em evidência uma realidade em municípios brasileiros.

Quem deveria conhecer os seus resultados?

Formuladores de políticas públicas, entidades que coordenam e apoiam governos municipais e organizações trabalhando para compartilhar evidências geradas por avaliações de impacto. Diana e Juan estão iniciando uma colaboração com o IPEA para descrever essa pesquisa em mais detalhe em um capítulo no livro “O que informa as políticas públicas federais” organizado pelo IPEA e outras instituições.

Referências

Hjort, Jonas, Diana Moreira, Gautam Rao, and Juan Francisco Santini. “How Research Affects Policy: Experimental Evidence from 2,150 Brazilian Municipalities.” NBER Working Paper No. 25491, July 2019.

Diana Moreira é professora no Departamento de Economia na Universidade da California – Davis e é afiliada ao Center for Effective Global Action (CEGA), pesquisadora convidada do JPAL-LAC e participante da rede Lemann Fellows. Tem mestrado pela PUC-Rio e doutorado pela Universidade de Harvard, onde especializou-se em tópicos relacionados a governança no setor público e mobilidade social. No passado, trabalhou no Banco Mundial em Washington D.C. apoiando países nas regiões da América Latina e Sul da Ásia.

Juan Francisco Santini é pós-doutorando da Innovations for Poverty Action (IPA). É formado em economia pela Universidade Nacional de La Plata, tem mestrado pela Universidade de Houston e pela Universidade do CEMA, doutorado pela PUC-Rio, e foi pesquisador visitante da Universidade de Harvard. Antes de ingressar na IPA, trabalhou como consultor para o Banco Mundial e o Banco Interamericano de Desenvolvimento em diferentes avaliações de impacto na Argentina e no Brasil.

Parceiros

AfroBiotaBPBESBrazil LAB Princeton UniversityCátedra Josuê de CastroCENERGIA/COPPE/UFRJCEM - Cepid/FAPESPCPTEClimate Policy InitiativeDRCLAS - HarvardIEPSJ-PalLAUT