Avaliação e uso de evidências em educação

Priscilla Bacalhau
A pesquisadora e doutora em economia Priscilla Bacalhau recomenda cinco leituras sobre avaliação e uso de evidências em educação

Ao implementar uma política ou projeto educacional, os formuladores têm em mente alguns resultados esperados para as escolas e estudantes envolvidos na ação. Em geral, não há como ter certeza dos impactos que a intervenção educacional irá causar, mas essa é uma questão que deve estar presente em todo o processo de formulação de políticas públicas.

Além de olhar para o que acontece dentro da escola e nos sistemas educacionais, é preciso ampliar o conhecimento sobre as evidências científicas que possam embasar o desenho e a implementação das ações. A avaliação de políticas educacionais tem um importante papel em auxiliar na prestação de contas para a sociedade, direcionar os gestores públicos para tomadas de decisões mais efetivas, dar validação para programas novos e identificar melhores práticas.

As referências indicadas aqui são uma introdução ao tema e podem auxiliar no processo de identificação de evidências sobre o que funciona em educação, aspectos que devem ser levados em conta na avaliação de programas educacionais e como gestores e sociedade podem se apropriar dos dados existentes.

Relatório sobre o desenvolvimento mundial de 2018: aprendizagem para realizar a promessa da educação

Banco Mundial (World Bank, 2018)

Neste Relatório sobre o Desenvolvimento Mundial de 2018, com sumário executivo disponível em português, o Banco Mundial aborda a crise de aprendizagem na educação global — apesar da expansão da escolaridade, com mais crianças e jovens frequentando a escola. Os dados apontam que os jovens estão estudando, mas não estão aprendendo. No Brasil, por exemplo, estima-se que levará 75 anos para que os jovens brasileiros de 15 anos atinjam a pontuação média em matemática dos países ricos. O texto discorre sobre as causas imediatas da crise, como deficits de recursos e investimentos, gestão e governança da educação precárias e causas sistêmicas mais profundas, como interesses políticos divergentes do avanço da aprendizagem. Por outro lado, os autores apresentam informações de vários países do mundo que obtiveram sucesso em amenizar a crise escolar e apresentaram melhoras substanciais graças a esforços baseados em evidências.

Para enfrentar a situação, o Banco Mundial argumenta é preciso avaliar a aprendizagem e torná-la um objetivo em todos os esforços relacionados à educação, uma prioridade nacional. Menos da metade dos países analisados no relatório têm sistemas de avaliação estruturados para acompanhar a aprendizagem dos estudantes ao longo do tempo. Sem avaliação, não é possível monitorar o progresso dos estudantes, orientar o trabalho dos professores e, em última instância, direcionar para orientar tomadas de decisão de políticas baseadas em evidências.

Improving Education Outcomes in Developing Countries: Evidence, Knowledge Gaps, and Policy Implications

Paul W. Glewwe e Karthik Muralidharan (Handbook of the Economics of Education, vol. 5, pp. 653-743. Elsevier, 2016)

Este capítulo do livro “Handbook of the Economics of Education” é uma revisão sistemática de literatura 1 sobre os efeitos de determinadas intervenções dos governos nos resultados da educação em países em desenvolvimento, além de suas implicações para políticas públicas. Os autores avaliam quatro tipos de intervenções:

  1. Focadas nas famílias, como o Bolsa Família no Brasil, que é um programa de transferência de renda condicional;
  2. Voltadas para insumos escolares, como construção de novas escolas e fornecimento de materiais pedagógicos;
  3. Voltadas a aprimorar práticas pedagógicas; e
  4. Focadas em melhorar a governança escolar.

A análise das evidências indica que diferentes tipos de intervenção podem levar a resultados positivos de escolaridade e aprendizagem, como programas que reduzam o custo familiar de matricular as crianças na escola ou que deem instrução complementar para alunos com menores resultados. Contudo, os autores ressaltam que existe uma variação nos custos entre as intervenções, e uma análise de custo-efetividade deve ser levada em consideração na priorização do gasto público de forma eficiente.

Assim como este texto, várias revisões de literatura sobre os efeitos de intervenções em resultados de educação foram publicadas na década de 2010. Essas revisões são muitas vezes elaboradas pelas chamadas clearing houses internacionais, que são instituições que reúnem e avaliam a informação com base em critérios transparentes e difundem os resultados para uso da sociedade. Alguns exemplos são What Works Clearinghouse, The Campbell Collaboration, J-PAL e 3ie. O capítulo do “Handbook” contribui ao sistematizar evidências relevantes, interpretar seus resultados e apresentar recomendações para futuras pesquisas e para a formulação e implementação de políticas educacionais em países em desenvolvimento.

Caminhos para a qualidade da educação pública: impactos e evidências

Org. Instituto Unibanco (Fundação Santillana, 2017)

O livro reúne artigos de gestores e pesquisadores participantes do seminário internacional "Caminhos para a qualidade da educação pública: impactos e evidências", realizado em 2016 pelo Instituto Unibanco. Com artigos assinados tanto por especialistas brasileiros quanto estrangeiros, a publicação discute diversos aspectos do uso de evidências na educação, desde a produção do conhecimento até a implementação de políticas públicas com base em evidências, citando casos nacionais e internacionais.

Em uma seção voltada ao processo de produção do conhecimento para aprimorar projetos educacionais, o livro aborda, por meio de textos de pesquisadores especialistas em avaliação, alguns modelos e desafios para gerar resultados confiáveis que possam ser utilizados na educação, com foco na avaliação de impacto experimental 2 . Outra seção traz uma apresentação sobre meta-análises 3 e como elas podem ser utilizadas para priorizar investimentos educacionais. Os capítulos da seção apresentam um histórico de algumas instituições que trabalham com pesquisas educacionais e como o uso de evidências tem se consolidado no campo da política pública. A publicação traz ainda o ponto de vista de gestores públicos educacionais brasileiros e estrangeiros, compartilhando suas experiências sobre o uso de evidências em seus sistemas e trazendo a discussão teórica para mais perto da realidade.

Contexto escolar e indicadores educacionais: condições desiguais para a efetivação de uma política de avaliação educacional

Maria Teresa Gonzaga Alves e José Francisco Soares (Educação e Pesquisa, 2013)

Neste artigo, os autores buscam analisar a relação entre o Ideb (Índice de Desenvolvimento da Educação Básica), indicador de qualidade desenvolvido pelo governo federal, e o contexto escolar brasileiro, tanto em termos de características das escolas quanto de nível socioeconômico dos estudantes.

As conclusões apontam que há uma correlação negativa entre nível socioeconômico e resultados da escola em avaliações de larga escala, como a Prova Brasil — ou seja, as escolas cujos estudantes estão em situação mais vulnerável apresentam pior desempenho. Condições de infraestrutura e de complexidade de gestão da escola também estão associadas significativamente com os resultados dos estudantes nas avaliações. Os autores argumentam que, apesar do avanço no estabelecimento de uma medida de qualidade para acompanhar a educação no Brasil, o Ideb foca exclusivamente nos resultados e deixa de considerar o contexto das escolas e, em especial, dos estudantes — que pode afetar diretamente seu desempenho.

O Ideb, sendo um indicador de qualidade sintético, é vinculado a diversas políticas educacionais, como o Plano Nacional de Educação, e pode também ser associado a condicionalidades de repasse de recursos para as escolas. Assim, o texto faz uma defesa do uso mais amplo dos dados e evidências para a formulação de políticas públicas educacionais, levando em conta as características socioeconômicas dos alunos e as desigualdades existentes.

Criando uma cultura para o uso de evidência: lições do J-PAL sobre parcerias com governos na América Latina

Samantha Carter, Iqbal Dhaliwal, Julu Katticaran, Claudia Macías e Claire Walsh (J-PAL, 2018)

O J-PAL (The Abdul Latif Jameel Poverty Action Lab) é um centro de pesquisa global que trabalha para reduzir a pobreza e garantir que a política seja informada e baseada por evidências científicas. O centro realiza avaliações de impacto para responder a perguntas críticas na luta contra a pobreza, incluindo intervenções na área de educação.

Neste documento do centro de pesquisa, com sumário executivo disponível em português, os autores compartilham exemplos e lições aprendidas sobre a construção de uma cultura de dados e uso de evidências nas decisões governamentais em países da América Latina e Caribe. Por meio de entrevistas com 40 funcionários de 15 organizações do setor público na região, o texto apresenta lições sobre como governos têm encontrado soluções para superar barreiras no uso de dados e evidências nas políticas públicas.

Os resultados podem dar suporte para o entendimento do uso de evidências na formulação e implementação de políticas públicas, inclusive de políticas educacionais. Para governos, há indicações de que é importante alocar recursos para o uso de evidências e assegurar que haja pessoas dedicadas a incorporá-las no desenho de políticas públicas, além de investir em colaboração com organizações e pesquisadores voltados para o tema. Para organizações que promovem políticas públicas informadas por evidências, há a lição de que aumentar a geração e o uso de dados é um processo gradual, que deve respeitar a capacidade dos governos.

Priscilla Bacalhau é doutora em economia pela FGV EESP e foi pesquisadora visitante na Escola de Educação da Universidade de Stanford. Atua como consultora para a equipe de Educação do Banco Mundial e presta assistência técnica em avaliação de impacto pela FGV EESP Clear para Brasil e África Lusófona. É pesquisadora convidada do CPTE (Centro de Pesquisa Transdisciplinar em Educação) do Instituto Unibanco.

Leia mais

Parceiros

AfroBiotaBPBESCEM - Cepid/FAPESPCENERGIA/COPPE/UFRJCPTEDRCLAS - HarvardIEPSLAUT

Apoiadores

Fundação Maria Cecilia Souto VidigalFundação Tide SetubalGalo da manhãInstituto IbirapitangaInstituto UnibancoItaú Social