José Henrique Souza
Analisando algumas avaliações que são implementadas, tanto no Brasil quanto no exterior, notamos que sempre existe uma “filosofia” que orienta cada avaliação. A seguir apresentamos alguns critérios que têm sido apresentados e utilizados, sobretudo por agências de fomento nos Estados Unidos e nos países da OCDE.
Adicionalidade
A ação das agências públicas de fomento pode modificar o grau de desenvolvimento de uma empresa, segmento ou setor trazendo melhorias para a sociedade 6 e para a própria empresa. Ocorre que tais melhorias não apareceriam ou se dariam em menor quantidade ou mais tardiamente não fosse justamente a ação da agência pública de fomento. Desse modo, a ação da agência pública provoca um benefício adicional ao processo de desenvolvimento.
O quadro a seguir ilustra o efeito da adicionalidade.
Fonte: TAFTIE, 1997: 14
Para estimar a adicionalidade pode-se comparar atores (regiões, segmentos ou empresas) que tenha recebido recursos com um grupo não apoiado pela agência. Em outros casos pode-se estimar o que poderia ter ocorrido sem o apoio público.
Um esquema apresentado e utilizado por Jaffe (1996) e Ruegg (1998) no Departamento de Comércio do governo americano (U. S. Department of Commerce, National Institute of Standart and Technology), apresenta a adicionalidade de uma forma mais detalhada. Nele podemos ver que os ganhos de um apoio público se espalham por inúmeros agentes econômicos.
Eficácia
As agências de fomento necessitam avaliar se administram seus projetos de uma maneira eficaz. Para isso precisam verificar se os trâmites e a liberação dos recursos dos projetos que apóiam estão de acordo com os cronogramas estabelecidos. Essas informações podem ser encontras nos próprios bancos de dados dos setores operacionais das agências.
Outras informações necessárias dizem respeito à qualidade do serviço prestado pela agência como: os trâmites burocráticos, o atendimento e a assessoria. Informações que podem ser aferidas através de pesquisas com usuários. Esse tipo de avaliação, para evitar um viés simpático à instituição, requer o uso de especialistas externos.
Eficiência 7
A agência de fomento precisa saber se seu apoio alcançou os objetivos pretendidos e se esses objetivos foram bem diagnosticados. É necessário verificar se o fomento atingiu os objetivos propostos pela agência ou foram gerados outros tipos de resultados. Para enfrentar esse desafio, muitas agências de fomento vêm medindo a relação entre o custo do apoio concedido e os resultados totais obtidos (efeitos diretos e indiretos) para definir se suas ações são eficientes.
A montagem de uma avaliação implica em inúmeras questões técnicas e conceituais que podem, quando não forem bem solucionadas, travar o andamento dos trabalhos. Optamos por apresentar três questões técnicas que consideramos extremamente importantes no que diz respeito à capacidade dos processos de avaliação chegarem a resultados satisfatórios.
Hiato Temporal
Para os projetos que apresentam resultados e impactos imediatos pode-se coletar informações no início, durante e após o seu término. Entretanto, muitos impactos podem demorar vários anos para se manifestar. Para avaliá-los muitas agências fazem estimativas sobre os impactos prováveis no futuro ou acompanham os dados de uma empresa por um período determinado após a finalização do projeto.
Fontes de Informações e Executores da Avaliação
O Sistema de Avaliação pode utilizar três fontes principais de informações: as empresas, a própria agência e os avaliadores externos. Pudemos verificar, na literatura sobre o assunto e nas entrevistas que realizamos, que cada fonte de informação apresenta vantagens e desvantagens.
As empresas e demais agentes que solicitam apoio público tendem a exagerar as estimativas e a avaliação dos resultados dos projetos. Esse problema pode ser contrabalançado pelo uso de avaliadores externos e através de estudos de casos capazes de gerar informações e conclusões mais detalhadas, profundas e precisas. A desvantagem é que estes recursos representam um custo muito elevado e a agência precisaria construir uma rede confiável e flexível de avaliadores capaz de tratar com um amplo leque de temas. Também para que o sistema de avaliação esteja vinculado ao aprendizado, ao planejamento e à prestação de contas é necessário que ele conte com funcionários da própria instituição.
Não há fonte de informação livre de tendências. Por isso, o ideal seria que o sistema de avaliação utilizasse mais de um ponto de vista já que o papel e a confiabilidade de cada fonte dependem da fase da avaliação e do tipo de informação que se quer colher.
Atribuição e Causalidade
Existe uma probabilidade muito pequena de que as agências de fomento cheguem a dados muito precisos sobre os impactos de seu apoio. É quase impossível isolar os resultados de projetos executados em conjunto com outros projetos. Do mesmo modo é difícil detectar impactos de ações sobre fatores que sofrem interferência do ambiente. Por isso, já estaria de bom tamanho se fosse possível verificar se o agente econômico apoiado não executaria o projeto ou em que grau ele seria executado sem o apoio. O ideal, obviamente, seria identificar a proporção do resultado do projeto que pode ser atribuído ao apoio público.
Como é quase impossível “isolar” os benefícios atribuíveis ao apoio público a saída mais plausível e menos custosa parece ser a estimativa. Assim, os executores do projeto podem estimar os ganhos atribuídos exclusivamente ao apoio recebido. Para que essas estimativas não se transformem em puro exercício de adivinhação, seria aconselhável que, da mesma forma como ocorre com agências norte americanas8, se utilizasse séries de dados históricos sobre as empresas apoiadas e sobre empresas não apoiadas (grupos de comparação). Essa tática também pode induzir as empresas apoiadas a responder os questionários de avaliação. É o que ocorre, por exemplo, no Industrial Technology Institute (ITI) em Ann Arbor, Michigan (Shapira et al. 1996: 203). No ITI as empresas apoiadas podem comparar seus dados econômicos e tecnológicos aos dados agregados de empresas do mesmo segmento. A disponibilidade dos dados das avaliações, para o grupo de empresas participantes das avaliações, permite que as empresas façam “benchmarking”, o que estimula novas empresas a colaborarem com o Sistema de Avaliação do ITI.
6 Como, por exemplo: geração de renda e emprego, respeito ambiental, aumento na segurança do trabalho, exportações, melhoria na qualidade dos produtos, barateamento dos preços, etc.
7 Alguns especialistas utilizam o conceito de efetividade (“effectivenesss”) para denominar os benefícios sociais gerados pelo apoio público. Ver, por exemplo: FAYL et al., 1998: 95.