ISSN 0798 1015

Vol. 39 (Nº 23) Ano 2018. Pág. 9

Descredenciamento dos cursos de Pós-Graduação stricto sensu do Brasil: impactos e motivos

Disqualify of courses graduate programs in Brazil: Impacts and reasons

Izildinha Souza MIRANDA 1

Recebido: 31/01/2018 • Aprovado: 20/02/2018

Conteúdo

1. Introdução

2. Metodologia

3. Resultados e Discussão

4. Conclusões

Agradecimentos

Referências bibliográficas

1. Introdução

A pós-graduação no Brasil abrange duas categorias diferentes, a pós-graduação latu sensu, que se refere aos cursos de especialização e residência, e a pós-graduação stricto sensu, que se refere aos cursos de mestrado e doutorado. Apenas os cursos stricto sensu conferem grau de formação aos alunos; as políticas para esses cursos estão ligadas àquelas voltadas ao desenvolvimento científico e tecnológico do país. Essas características propiciaram um fortalecimento da pós-graduação stricto sensu, com todas as ações reunidas em um Sistema Nacional de Pós-Graduação (SNPG), sob a responsabilidade da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes), que em muitos momentos trabalha em conjunto com o Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPQ).

A evolução da pós-graduação stricto sensu do Brasil, desde suas origens até a presente data, tem sido mostrada por vários autores (Cury, 2005; Favero, 2006; Hostins, 2006; Morosini, 2009; Porto Junior & Leite, 2016; Nobre & Freitas, 2017) e é inegável o crescimento e consolidação da pós-graduação brasileira nas últimas décadas, principalmente devido ao papel fundamental desempenhado pela Capes, seja no que concerne à elaboração e gestão das políticas públicas de pós-graduação no país, seja na execução das mesmas (Porto Junior & Leite, 2016).

Para iniciar um curso de pós-graduação stricto sensu uma Instituição de Ensino e/ou Pesquisa (IEs) deve apresentar uma proposta que após avaliada e aprovada, pela Capes, recebe o credenciamento do Conselho Federal de Educação para ofertar o curso. A partir desse momento o curso é avaliado periodicamente para conquistar o recredenciamento, que atualmente ocorre a cada quatro anos. A última avaliação ocorreu em 2017, referentes aos anos de 2013 a 2016.

Todas as atividades ligadas à avaliação são reunidas em um Sistema de Avaliação da Pós-graduação (SAPG) cujos resultados têm obtido grande repercussão, pois afeta diretamente as IEs, seja na distribuição de subsídios financeiros voltados aos cursos de pós-graduação (Porto Junior & Leite, 2016), seja na nota do Índice Geral de Cursos (IGC), que é um indicador institucional que expressa, de maneira sintetizada, a qualidade dos cursos de graduação e pós-graduação de uma instituição de ensino superior (INEP, 2008; Bittencourt et al., 2009, 2012). O IGC é altamente correlacionado à média dos conceitos Capes das instituições (Bittencourt et al., 2012).

A avaliação é classificatória e comparativa, sendo realizada por avaliadores externos aos Programas de Pós-Graduação (PPG’s) e à Capes, e tem como objetivos principais:  a) contribuir para a garantia da qualidade da pós-graduação brasileira; b) retratar a situação da pós-graduação brasileira no quadriênio de forma clara e efetiva; c) contribuir para o desenvolvimento de cada programa e área em particular e da pós-graduação brasileira em geral; d) fornecer subsídios para a definição de planos e programas de desenvolvimento e a realização de investimentos no SNPG (Brasil, 2017).

Embora muitas críticas sejam feitas ao sistema de avaliação, especialmente devido a maior valorização da pesquisa e publicações científicas (Moreira et al., 2004; Freitas, 2011; Patrus et al., 2015; Ponce et al., 2017), um de seus pontos fortes é a exigência da apresentação do planejamento de cada PPG. Nesse planejamento é importante apresentar as ações que serão realizadas, as propostas para o desenvolvimento nacional e estratégias de desenvolvimento e manutenção do programa (Martins et al., 2013). Após a avaliação, as comissões avaliadoras fornecem, a cada PPG avaliado, as apreciações criteriosas sobre os pontos fortes e os pontos fracos de seu desempenho, no contexto do conjunto dos programas existentes dentro de uma área de conhecimento específica, e antepõe-lhe desafios e metas para o futuro (Brasil, 2017). Assim, o sistema de avaliação da Capes tornou-se o grande planejador estratégico dos PPG’s e um indutor da maior parte de suas estratégias (Maccari et al., 2015).

Compreender o sistema de avaliação é imprescindível para que os PPG’s possam definir estratégias condizentes com os seus objetivos (Fagá & Quoniam, 2015); nesse sentido, esse artigo tem o objetivo de analisar os resultados da avaliação quadrienal de 2017, no sentido de quantificar o impacto da avaliação sobre (a) a distribuição regional dos cursos; (b) as diferentes áreas de conhecimento; e, (c) as diferentes IEs; assim como analisar os principais motivos que levaram ao descredenciamento dos cursos.

A avaliação Quadrienal de 2017 obedeceu três marcos legais: o primeiro é Portaria No 81, de 3 de junho de 2016, que define as categorias de docentes que compõem os Programas de Pós-Graduação (PPG's) stricto sensu (Brasil, 2016); o segundo é a Portaria Portaria No 91, de 29 de junho de 2015, que fixa normas e procedimentos para submissão, avaliação, divulgação e envio dos resultados da avaliação ao Conselho Nacional, e inicio de funcionamento dos programas novos de pós-graduação, em níveis de mestrado e doutorado (Brasil, 2015); e o terceiro, e o mais importante é a Portaria No 59, de 22 de março de 2017, que estabelece o Regulamento para a Avaliação Quadrienal 2017 (Brasil, 2017). 

Para elaboração deste artigo utilizou-se de uma análise documental sobre os relatórios da Avaliação Quadrienal de 2017, tanto para os cursos de mestrado e doutorado acadêmico, quanto para os cursos de mestrado profissional (Disponível em: http://avaliacaoquadrienal.capes.gov.br/resultado-da-avaliacao-quadrienal-2017-2) e sobre as fichas de avaliação de cada programa descredenciado, ou seja aqueles que tiraram notas 1 e 2 (Disponível em:  https://sucupira.capes.gov.br/sucupira/public/consultas/avaliacao/ consultaFichaAvaliacao.jsf). As informações contidas nesses documentos foram sistematizadas e analisadas quantitativamente em busca do alcance dos objetivos.

Para quantificar o impacto da avaliação sobre a distribuição regional dos cursos, das diferentes áreas de conhecimento e sobre as diferentes IEs foi utilizado o percentual de cursos descredenciados em relação aos cursos avaliados. O número de cursos descredenciados também foi relacionado ao tamanho das IEs, medido pelo número de cursos avaliados. Importante ressaltar que a quantificação utilizou o número de cursos e não o número de programas, uma vez que um programa pode ter um ou dois cursos.

Para analisar os principais motivos que levaram ao descredenciamento dos cursos foram processadas as informações contidas nas Fichas de avaliação de cada programa; adicionalmente, foram contabilizadas as notas de cada quesito e também a nota da qualidade dos dados. Cada Ficha de Avaliação refere-se a um PPG, mas as notas finais são separadas por curso (mestrado e doutorado), por isso os resultados foram processados por curso.

Foram cinco os quesitos avaliados: (1) Proposta do Programa; (2) Corpo Docente; (3) Corpo Discente, Teses e Dissertações, para os cursos acadêmicos, ou Corpo Discente e Trabalho de Conclusão, para os cursos de mestrado profissional; (4) Produção intelectual; e (5) Inserção Social. Em cada quesito é avaliado entre três a cinco itens indicadores do quesito, que juntos geram a nota ao quesito, que pode ser Muito Bom (MB), Bom (B), Regular (R), Fraco (F) ou Insuficiente (I). A nota final do curso é resultado da avaliação dos cinco quesitos e varia de 1 a 7, sendo que ao receber notas > 3 os cursos conquistam o recredenciamento no SNPG e ao receber notas 1 e 2 os cursos são descredenciados (Brasil, 2017).

Embora não seja utilizado na composição da nota final, a comissão avaliadora fornece notas sobre a qualidade dos dados apresentados nos relatórios anuais que compuseram o quadriênio, neste caso, nos relatórios de 2013, 2014, 2015 e 2016; as notas também variam de Muito Bom a Insuficiente. Em cada quesito e também na qualidade dos dados, a nota final é acompanhada por uma justificativa fornecida pela Comissão Avaliadora, e para os PPG’s que apresentaram recurso contestando a nota recebida, uma segunda justificativa (da Reconsideração) também é apresentada (Brasil, 2017).

Para discutir os resultados encontrados utilizou-se da análise dos três documentos legais que regiram o processo de avaliação, além da literatura existente e da experiência vivida pela própria autora como pró-reitora por 8 anos na Universidade Federal Rural da Amazônia.

Na avaliação quadrienal de 2017 foram avaliados 4.175 PPG’s, sendo 2128 com os dois cursos acadêmicos (mestrado e doutorado), 1.270 apenas com mestrado, 74 apenas com doutorado e 703 com mestrado profissional. Desses, foram descredenciados 146 cursos, sendo 55 e 50 cursos de mestrado e doutorado acadêmicos, respectivamente, e 41 cursos de mestrado profissional. Entre os cursos acadêmicos, a maioria do mestrado (49) foram de programas que ofertavam apenas o curso de mestrado; o contrário foi observado com os cursos de doutorado, que em sua maioria (48) pertence a programas que ofertavam cursos nos dois níveis (mestrado e doutorado). Apenas cinco PPG’s tiveram os dois níveis, mestrado e doutorado, descredenciados.

Os cursos descredenciados estavam concentrados em poucas áreas de avaliação. Das 49 áreas de avaliação existentes na CAPES, 34 apresentaram cursos descredenciados; destas, apenas 6 áreas de avaliação concentraram 50,7% de todos os 146 cursos, são elas: Interdisciplinar; Engenharias III; Medicina I; Administração Pública e de Empresas, Ciências Contábeis e Turismo; Biodiversidade; Engenharias I (Tabela 1).  Entre os cursos de mestrado profissional a concentração é ainda maior, apenas 4 áreas de avaliação reprovaram 28 cursos. Essa concentração ocorreu porque essas áreas possuem muitos cursos; contudo é possível perceber que o impacto da perda foi bem maior em algumas áreas, como em Engenharias III (8,7%), Medicina I (6,1%), Sociologia (5,9%) e Interdisciplinar (5,5%).

Tabela 1
Número de Cursos de mestrado (M) e doutorado (D) acadêmico e mestrado
profissional (MP) do Brasil descredenciados na Avaliação de 2017, por área de avaliação.
% Perda da área = percentual de cursos descredenciados em relação ao total avaliado na área.

É sabido que a distribuição dos cursos de pós-graduação é bastante desigual entre as regiões brasileiras; essa distribuição desigual se manteve similar após a avaliação (Figura 1), resultado que demonstra que a avaliação foi proporcionalmente bem equilibrada entre as regiões do Brasil, regiões com mais cursos também tiveram mais cursos descredenciados.

Esses resultados mantem as desigualdades regionais e entre as áreas que já eram apresentadas antes da avaliação, embora contribuam para minimizar a desigualdade encontrada entre as áreas. Combater as desigualdades, tanto regionais como entre áreas, é uma das propostas do VI Plano Nacional de Pós-Graduação (PNPG-2011–2020) (Brasil, 2010), mas parece que esse objetivo ainda está longe de ser alcançado, considerando que a avaliação de 2017 é a penúltima do período ao qual se refere este PNPG. Por outro lado, o fato do resultado da avaliação ter mantido as proporções anteriores não permitiu o aumento da desigualdade, o que é muito bom. Vale lembrar que existem outros argumentos para assegurar a redução das desigualdades (Castro, 2010; Oliveira et al., 2014), embora não podemos menosprezar o momento da avaliação. A desigualdade entre as regiões não é encontrada apenas no SNPG, é um aspecto do desequilíbrio total de um país desigual e injusto, por força do modelo de desenvolvimento econômico e social historicamente implantado (Ramalho & Madeira, 2005).


Figura 1
Distribuição percentual de Cursos de mestrado e doutorado acadêmico (azul)
e mestrado profissional (verde) entre as cinco regiões do Brasil, antes e após a avaliação de 2017.

Os cursos descredenciados pertencem a 77 instituições de Ensino e/ou pesquisas (IEs) diferentes, sendo que a maioria delas (48) tiveram apenas um curso descredenciado; dez IEs tiveram dois cursos; outras nove IEs tiveram três cursos; sete IEs tiveram quatro cursos; duas IEs tiveram sete cursos; e, uma IES teve nove cursos descredenciados.  O impacto da perda dos cursos sobre a IEs foi bem maior naquelas IEs que possuem poucos cursos (Tabela 2). Obviamente as 27 IEs que tinham entre um e três cursos a perda foi de 33 a 100%; e o contrário, as 48 IEs (62,3%) que tinham muitos cursos (acima de cinco cursos), tiveram um percentual de perda baixo (concentrado entre 1 e 10% de perda). Contudo, vale destacar algumas IEs medianas que tiveram um percentual de perda expressivo, tais como: Universidade Anhanguera de São Paulo (tinha 8 cursos – 37,5% descredenciados), Universidade Federal de Roraima (tinha 12 cursos – 25% descredenciados), Universidade Federal do Triângulo Mineiro (tinha 15 cursos – 20% descredenciados) e Universidade Federal do Amazonas (tinha 48 cursos – 14,6% descredenciados).

Tabela 2
Número de Instituições de Ensino e Pesquisa (IEs) do Brasil que tiveram Cursos de
Pós-Graduação (PG) descredenciados na Avaliação de 2017 por tamanho da IEs
e percentual de perda dos cursos.

1. Tamanho da IEs foi medido pelo número de cursos de PG avaliado;
2. Percentual de perda de cursos é a relação percentual entre os número de cursos reprovados pelo total de cursos avaliados na IEs.
3. % de IES foi calculado sobre o total de IEs que tiveram cursos descredenciados = 77

A maioria dos cursos descredenciados possuíam no máximo 10 anos de criação (52% dos cursos de doutorado; 65,5% dos mestrados acadêmicos; e 78% dos mestrado profissionais). Muitos cursos descredenciados (65 cursos – 44,5%) podem ser considerados não-consolidados, pois tinham entre 1 e sete anos de criação; entre esses, 19 cursos se destacam pois estavam passando pelo primeiro ciclo de avaliação, inclusive 3 e 5 deles foram criados em 2015 e 2016, respectivamente. Essa concentração de cursos jovens é maior entre os cursos de mestrado profissional, que apresentou 51% dos cursos descredenciados entre aqueles que possuem no máximo 7 anos de criação (Tabela 3).

Tabela 3
Número de Cursos de mestrado (M) e doutorado (D) acadêmico e mestrado
profissional (MP) do Brasil descredenciados na Avaliação de 2017 por período de criação do curso.

1 Os períodos aqui apresentados são similares aos ciclos avaliativos dos cursos de pós-graduação da Capes

O maior impacto da perda dos cursos sobre as IEs que possuem poucos cursos pode estar relacionado a dois fatores. O primeiro deles é a experiência que a IEs possui em pesquisa e pós-graduação, assim como suas ferramentas de gestão e autoavaliação; e o segundo é o próprio tempo de vida dos cursos, que também denota experiência do corpo docente. O tempo dos cursos pode influenciar muito a produção intelectual, importante quesito na avaliação, principalmente se considerarmos o tempo de formação do corpo docente (se jovens ou maduros), o tempo de criação do curso, além do tempo de dedicação do corpo docente (se parcial ou integral) conforme colocado por Fagá & Quoniam (2015). Por todos esses motivos que envolvem o tempo, seria interessante que a mudança de nota de um curso realmente ocorresse somente após um período que permitisse a consolidação do mesmo, especialmente a avaliação do quesito Produção intelectual.

A experiência da IEs é muito importante nesse processo, contudo, deve ser visto com cautela. A Universidade Federal do Amazonas lançou um Programa de Apoio à Consolidação e ao Avanço da Qualidade da Pós-Graduação (PACPG/Ufam) composto por vários projetos adotados a partir de 2013; esse PACPG/Ufam ainda válido, visa à consolidação da pós-graduação stricto sensu da Ufam com a melhoria dos conceitos Capes dos PPG’s entre 2013 e 2021. Segundo Oliveira et al. (2014)

“Espera-se, com a implantação do PACPG/Ufam, que, no primeiro triênio de avaliação (2013-2015), não menos de 50% dos PPGs da Ufam subam seus conceitos Capes. O padrão, portanto, é o conceito Capes, base para o País. Em associação a esse esforço de busca de qualidade, planeja-se também a criação de 12 cursos de doutorado nos próximos três anos, o que representará o dobro dos atualmente existentes na Ufam” (p. 120).

Os resultados institucionais na avaliação de 2017 não foram bons para a Ufam, conseguiu elevar a nota de apenas 1 curso, e ainda teve 7 cursos fechados; além de não ter conseguido a criação dos cursos de doutorado planejados.

As ferramentas de gestão são muito importantes, mas elas envolvem diferentes níveis hierárquicos da gestão universitária. As reitorias e as pró-reitorias podem lançar bons programas para fortalecer seus cursos de pós-graduação, mas se a gestão interna do curso não se apropriar das ações propostas o programa não surtirá efeito sobre o curso. Embora os docentes e discentes tenham um importante papel nesse processo, a grande importância do coordenador de curso, independente do nível de formação do curso que coordena, tem sido destacado por diversos autores (Marquesin et al., 2008; Castro & Krüger, 2014; Fonseca & Fonseca, 2016). No caso dos cursos de pós-graduação stricto sensu (mestrado e doutorado), além das funções rotineiras, ligadas às dimensões política, gerencial, acadêmica e institucional, como categorizado por Castro & Krüger (2014), a produção do relatório junto à plataforma sucupira tem uma grande importância.

Os motivos que levaram ao descredenciamento dos 146 cursos foram diversificados; contudo foi possível reuni-los em quatro grupos distintos: o primeiro se refere às notas mínimas em determinados quesitos, estabelecidas no Regulamento da Avaliação Quadrienal (Brasil, 2017). Entre esses motivos destacam os cursos de mestrado (acadêmico e profissional) que tiraram nota Fraco nos quesitos 3 e 4 (Corpo Discente e Produção Intelectual), quando a recomendação é de no mínimo nota Bom para esses quesitos; e, os cursos de doutorado que tiraram nota Regular nesses mesmos quesitos (Tabela 4), o que permitiria que os mesmos ficassem com nota 3, contudo o Regulamento recomenda

“No caso de Programas nota 3 que possuam cursos de doutorado e de mestrado, o curso de doutorado, a critério da comissão de avaliação, poderá́ ser descredenciado, com a atribuição da nota 2, mantido em funcionamento o curso de mestrado, com nota 3” (Brasil, 2017; Anexo, item 2.2, alínea f, p. 51);

em outras palavras, cursos de doutorado deve obter no mínimo nota 4. Embora quase todos os cursos descredenciados tenham se enquadrado em um ou mais desses motivos (Tabela 4), existem cursos que não estão nesse grupo.

O segundo grupo de motivos está ligado à existência de crise interna apresentada por 18 cursos; muitos deles não ofertaram processo seletivo, para entrada de novos alunos nos últimos anos, e/ou não enviaram todos os relatórios anuais. A maioria desses cursos apresentou um pedido de reconsideração, principalmente prometendo se reestruturar nos próximos anos.

Tabela 4
Número de Cursos de mestrado (M) e doutorado (D) acadêmico e mestrado
profissional (MP) do Brasil descredenciados na Avaliação Quadrienal da Capes em
2017 por recomendações específicas, constantes no Regulamento da Avaliação
Quadrienal, publicado na Portaria No 59, de 22 de março de 2017 (Brasil, 2017).

1 A soma de cursos é maior que o número de cursos descredenciados pois um curso pode se enquadrar em mais de uma recomendação

O terceiro grupo de motivos foi a mudança da proposta original aprovada pela CAPES no momento de criação do curso. Seis cursos apresentaram mudanças, principalmente no Corpo Docente, nas linhas de pesquisas e disciplinas. Cinco desses cursos foram criados em 2015 e 2016, apenas um foi criado em 2012; todos eles muito jovens.  Embora o Regulamento da Avaliação Quadrienal (Brasil, 2017) preconiza que a avaliação seria apenas para cursos em funcionamento por três anos (para os cursos acadêmicos) ou dois anos (para os cursos profissionais), a Portaria No 91, de 29 de julho de 2015 (Brasil, 2015) que fixa normas e procedimentos para cursos novos permite a avaliação “...as notas assim permanecerão até o processo de avaliação subsequente...” (Art. 10o, p.15). Devido a essa permissão, o Regulamento afirma

“Em princípio, a CAPES considera inapropriado que um curso de mestrado ou de doutorado com período de funcionamento inferior ao ciclo avaliativo venha a ter reduzida a nota a ele atribuída quando da sua aprovação inicial ... Essa cautela não se aplica, porém, aos casos em que for constatada flagrante irregularidade ou má́-fé́ ou em que for comprovado relevante descompasso entre a proposta e as condições aprovadas ...”(Brasil, 2017, Anexo, item Recomendações Gerais, alínea a, p.52).

Por fim, não menos importante, o quarto grupo de motivos que levou os cursos ao descredenciamento foi a qualidade dos relatórios apresentados. As notas emitidas pelas comissões de avaliações sobre a qualidade dos dados apresentados nos relatórios tem uma relação direta com as notas recebidas em cada quesito (Figura 2).

A maioria dos cursos, no pedido de reconsideração, admitiram erros ou falta de informações nos relatórios apresentados, inclusive muitos deles enviaram novos dados para apreciação, fato não permitido pelo Regulamento da Avaliação Quadrienal. Vale lembrar que os relatórios 2013, 2014 e 2015 tiveram várias oportunidades de correções, apenas o relatório de 2016 foi apresentado uma única vez.

 Figura 2
Percentual de cursos que obtiveram as notas Muito Bom (MB), Bom (B), Regular (R),
Fraco (F) e Insuficiente (I) diante da qualidade dos dados, que também varia de
Muito Bom a Insuficiente, na Avaliação Quadrienal da CAPES em 2017. A linha diagonal
separa a figura em dois lados, no lado inferior predominam os cursos com notas mais
elevadas e o lado superior predominam os cursos com notas inferiores; essa
linha auxilia a visualização da relação entre notas e qualidade dos dados.

A maioria dos relatórios com qualidade dos dados Muito bom ou Bom também receberam boas notas; por outro lado, se a qualidade dos dados é Fraca ou Insuficiente a nota também foi baixa. Essa relação é muito forte nos quesitos Proposta do Programa, onde 49% dos cursos que apresentaram qualidade dos dados entre Fraca e Insuficiente também ficaram com nota Insuficiente. Nos quesitos Corpo Docente, Corpo Discente e Produção Intelectual isso se repete, sendo que 50%, 61% e 50%, respectivamente, dos cursos que apresentaram qualidade dos dados entre Fraco e Insuficiente também ficaram com nota Insuficiente. No quesito Inserção Social os cursos que apresentaram qualidade dos dados Insuficiente receberam no máximo nota Regular (Figura 2).

Vale destacar que o quesito Produção intelectual foi o único que mesmo com Muito Bom e Bom na qualidade dos dados a nota do curso foi concentrada em Regular e Fraco. Embora esse quesito seja muito importante na avaliação foi constatado que existem cursos descredenciados com notas Muito Bom e Bom (15 cursos) e, nesses casos, a qualidade dos dados também foi mais alta, entre Muito Bom e Regular (Figura 2). A maioria dos cursos com qualidade dos dados entre Regular e Insuficiente, repetiram produtos bibliográficos, não identificaram os alunos egressos e não informaram de forma adequada e consistente os produtos técnicos, especialmente para os cursos acadêmicos. Essas falhas contribuíram para baixar a nota dos cursos.

Conforme os resultados acima, a qualidade das informações apresentadas no relatório é parte fundamental para um curso de mestrado e doutorado obter o recredenciamento. Brandão (2012) fez uma análise sobre o sistema anual de monitoramento e avaliação dos PPG’s stricto sensu da Universidade Federal de Juiz de Fora e constatou que

“o processo de preenchimento do formulário Coleta CAPES é um ponto importante a ser salientado, pois muitos programas mostraram dificuldades nesse preenchimento, chegando mesmo a preencherem de maneira errada ou de forma incompleta, omitindo dados essenciais e mesmo falta de conhecimento do que escrever nos campos dos formulários” (p. 83).

Com certeza essa dificuldade não é exclusiva da Universidade Federal de Juiz de Fora, pelo contrário, a maioria dos cursos descredenciados na avaliação de 2017 apresentaram problemas na qualidade dos dados apresentados.

Cursos de capacitação para o adequado preenchimento do relatório, destinados aos coordenadores e secretários dos cursos; e, o acompanhamento de um consultor externo, especialista no preenchimento do Coleta Capes (formulário eletrônico para entrega dos relatórios anuais), para orientar e sanar dúvidas sobre o preenchimento, tem sido utilizado por várias universidades e com bons resultados. Contudo, é necessário que o coordenador do curso esteja predisposto a essas ações, caso contrário essas ações não trarão benefícios, uma vez que o coordenador é o responsável pelo preenchimento do Coleta Capes (Capes/DAV, 2016).

As ações de monitoramento e avaliação dos PPG’s stricto sensu da Universidade Federal de Juiz de Fora, apresentadas por Brandão (2012), foram bem sucedidas, pois ao comparar as notas dos cursos avaliados em 2013 e também avaliados em 2017 é visto que a maioria dos seus 53 cursos ou mantiveram (75% dos cursos) ou elevaram as notas (19%), apenas três cursos (6%) tiveram notas reduzidas, inclusive com um deles sendo descredenciados. Como a política da Instituição é a mesma para todos os cursos, esperava-se que os relatórios fossem todos de boa qualidade. Entretanto, nos cursos que tiveram as notas reduzidas a qualidade dos dados foi regular em pelo menos dois quesitos.

Exemplo similar ocorreu na Universidade Federal Rural da Amazônia que implantou alguns projetos bem sucedidos dentro do programa de apoio aos cursos de pós-graduação entre 2009 e 2016. Como resultado da avaliação de 2017 foi visto que a maioria dos seus nove cursos avaliados ou mantiveram (33% dos cursos) ou elevaram as notas (44%), contudo dois cursos tiveram notas reduzidas; esses dois cursos pertencem a um mesmo PPG, ou seja, unidos a um mesmo relatório. Em tempo hábil para correções dos relatórios, a pró-reitoria realizou uma avaliação externa ao curso, e diagnosticou erros ou ausência de informações nos relatórios; contudo, não houveram as correções dos mesmos.

Como as ferramentas da gestão universitária envolvem diferentes níveis hierárquicos, tais como as pró-reitorias e coordenadorias de cursos, o sistema de avaliação da Capes deveria considerar com mais ênfase essa questão, expressando claramente o papel do coordenador e das pró-reitorias no processo de avaliação. Como a responsabilidade de entrega dos relatórios é do coordenador (Capes/DAV, 2016), a homologação das pró-reitorias possui mais um significado político do que gerencial, acadêmico ou institucional, com base nas dimensões das ações conforme utilizadas por Castro & Krüger (2014) e Delpino et al. (2008). De qualquer forma essa é uma questão que necessita de mais debates e sem dúvidas precisa evoluir, especialmente na gestão das IEs participantes do SNPG.

Por fim, é importante destacar que o processo de autoavaliação democrática e participativa é imprescindível antes, durante e no final do processo da avaliação quadrienal, pois permitiria a tomada de consciência das potencialidades e limitações dos PPG’s (Tavares et al., 2011). Assim, os PPG’s poderiam planejar e definir estratégias condizentes com os seus objetivos, como abordado por Maccari et al. (2015).

Em 2001 foram convidados observadores estrangeiros para analisar o sistema de avaliação da Capes; como resultados apresentaram um relatório com apreciações, comentários e sugestões para melhorar o sistema, entre elas a autoavaliação. Esse trabalho foi sistematizado por Spagnolo & Calhau (2002) e foi tema do trabalho de Moreira et al. (2004). Percebe-se nas justificativas apresentadas pelas Comissões Avaliadoras da Quadrienal de 2017 que a autoavaliação passou a ter uma maior importância. Houve uma evolução tanto na apresentação por parte dos PPG’s, como na cobrança por parte das comissões. Contudo, ainda é uma ação muito tímida frente a outros itens da avaliação.

Entre as sugestões apresentadas pelos observadores estrangeiros, pelo menos duas deveriam ser resgatadas pela Capes e/ou pelas IEs para que a evolução seja ainda maior: (a) sínteses críticas por capítulos (ou quesitos), isto é, referentes aos principais itens da avaliação, e não apenas uma apreciação crítica global, como ainda é apresentada até os dias de hoje; e, (b) a existência de comissões independentes das coordenações de pós-graduação, com a incumbência de realizar regularmente a autoavaliação. Estas comissões, funcionando como instância de autorregulacão, são instrumentos fundamentais no desenvolvimento de um sistema interno de promoção da qualidade dentro de cada instituição realmente preocupada com a formação de recursos humanos e não apenas com o sistema de avaliação da Capes como apontado por Moreira et al. (2004).

A avaliação quadrienal de 2017 manteve a desigualdade observada na distribuição regional dos cursos e nas diferentes áreas de conhecimento, o que por um lado mostra sua imparcialidade, mas por outro lado mostra a necessidade de reforçar outras ações que visam reduzir a desigualdade.

As IEs pequenas, com poucos cursos de pós-graduação, e os cursos mais novos, mesmo que ofertados em IEs grandes, foram os que sofreram maior impacto com a avaliação. Por isso, esses cursos deveriam melhorar suas estratégias de gestão que visam , em especial aquelas que fortalecem os cursos frente à formação dos discentes e frente aos critérios estabelecidos pelo sistema de avaliação da Capes.

Os motivos que levaram ao descredenciamento foram diversificados; porém foi possível categorizá-los em quatro grupos distintos: 1) Cumprimento de notas mínimas em determinados quesitos, estabelecidas no Regulamento da Avaliação Quadrienal; 2) Existência de crise interna nos cursos, levando a não apresentação de relatórios e a não oferta de processos seletivos; 3) Mudança da proposta original aprovada no momento de criação do curso; e, 4) Qualidade dos dados apresentados nos relatórios anuais.

Como a qualidade dos dados foi diretamente relacionada às notas recebidas em cada quesito, é necessária uma atenção especial no preenchimento dos dados e na redação dos relatórios anuais, pois apresentar um bom relatório é tão importante quanto cumprir com os critérios mínimos exigidos pela Capes.

Agradeço aos professores Fábio Leão, Fabiano Emmert, Igor Do Vale e Mariana Oliveira pelos valiosos comentários sobre o manuscrito.

Bittencourt, H. R., Casartelli, A. O., Rodrigues, A. C. M. (2009). Sobre o Índice Geral de Cursos (IGC). Avaliação, 14(3), 667-682, 2009.

Bittencourt, H. R., Audy, J. L., Rodrigues, A. C. M., Casartelli, A. O. (2012). Indicadores institucionais e a avaliação da Pós-Graduação. RBPG, 9(18), 597-614. DOI: http://dx.doi.org/10.21713/2358-2332.2012.v9.353

Brandão, M. C. S. (2012). Sistema anual de monitoramento e avaliação dos programas de pós-graduação stricto sensu da Universidade Federal de Juiz de Fora. 2012. 120 f. Dissertação (Mestrado Profissional em Gestão e Avaliação da Educação Pública) - Universidade Federal de Juiz de Fora, Minas Gerais.

Brasil (2010). Ministério da Educação. Coordenação de Aperfeiçoamento de Pessoal de Nível Superior. Plano Nacional de Pós-graduação – PNPG 2011-2020. Brasília: Capes, v. 1. ISBN – 978-85-88468-15- 3.

Brasil (2015). Coordenação de Aperfeiçoamento de Pessoal de Nível Superior. Portaria No 91, de 29 de julho de 2015. Fixa normas e procedimentos para submissão, avaliação, divulgação e envio dos resultados da avaliação ao Conselho Nacional, e inicio de funcionamento dos programas novos de pós-graduação, em níveis de mestrado e doutorado. Brasília: Diário Oficial da União nº 145, seção 1, pág. 14-15 de 31 de julho de 2015.

Brasil (2016). Coordenação de Aperfeiçoamento de Pessoal de Nível Superior. Portaria No 81, de 3 de junho de 2016. Define as categorias de docentes que compõem os Programas de Pós-Graduação (PPG's) stricto sensu. Brasília: Diário Oficial da União nº 106, seção 1, pág. 14 de 6 de junho de 2016.

Brasil (2017). Coordenação de Aperfeiçoamento de Pessoal de Nível Superior. Portaria No 59, de 22 de março de 2017. Estabelece Regulamento para a Avaliação Quadrienal 2017. Brasília: Diário Oficial da União nº 59, seção 1, pág. 51-56 de 27 de março de 2017.

Castro, L. A. B. (2010). O desequilíbrio regional brasileiro e as redes de pesquisa e pós-graduação. Pp. 217-258. In: Brasil. Ministério da Educação. Coordenação de Aperfeiçoamento de Pessoal de Nível Superior. Plano Nacional de Pós-graduação – PNPG 2011-2020. Brasília: Capes, v. 2. Disponível em: https://www.capes.gov.br/images/stories/download/PNPG_Miolo_V2.pdf Obtido em 10 jan. 2018.

Capes/DAV (2016). Coleta de dados: Conceitos e orientações – Manual de preenchimento da Plataforma Sucupira. Versão 2.0, Atualizada em 23/12/2016. Brasília: Coordenação de Aperfeiçoamento de Pessoal de Nível Superior / Diretoria de Avaliação. Disponível em:  https://sucupira.capes.gov.br/sucupira/public/index.jsf.  Obtido em: 15 Jan 2018

Castro, A. T. K. A., Krüger, L. G. (2014). Atribuições e desafios do coordenador de curso de graduação EAD: caminhos possíveis a uma gestão democrática no ensino superior. Revista EDaPECI, 14(1), 134-149.

Cury, C. R. J. (2005). Quadragésimo ano do parecer CFE no 977/65. Revista Brasileira de Educação, 30, 7-20. Disponível em: http://www.scielo.br/pdf/rbedu/n30/a02n30.pdf.

Delpino, R., Candido, M. L. B., Mota, A. C., Campos, L., Dejuste, M. T. (2008). Ensino Superior: O Novo Perfil do Coordenador de Curso. In: Encontro Latino Americano de Pós-Graduação, 2008. Anais. Universidade do Vale do Paraiba, São José dos Campos. Disponível em: http://www.inicepg.univap.br/cd/INIC_2008/anais/arquivosEPG/EPG00823_01_O.pdf     Obtido em 03 Jan 2018

Fagá, I. T., Quoniam, L. M. (2015). A relação entre produção científica e avaliação da Capes: um estudo cientométrico de um programa das Engenharias II e de um programa interdisciplinar. RBPG, 12(29), 651-679. DOI: http://dx.doi.org/10.21713/2358-2332.2015.v12.827

Fávero, M. L. A. (2006). A universidade do Brasil: das origens à Reforma Universitária de 1968. Educar, 28, 17-36. Disponível em: http://www.scielo.br/pdf/er/n28/a03n28  Obtido em 10 jan. 2018.

Fonseca, M.; Fonseca, D. M. (2016). A gestão acadêmica da pós-graduação lato sensu: o papel do coordenador para a qualidade dos cursos. Educ. Pesqui., 42(1), 151-164. DOI: http://dx.doi.org/10.1590/S1517-9702201603136263

Freitas, S. F. T. (2011). Mais algumas notas sobre a transição da pós-graduação. RBPG, 8(15), 19 – 32. DOI: http://dx.doi.org/10.21713/2358-2332.2011.v8.209

Hostins, R. C. L. (2006). Os Planos Nacionais de Pós-graduação (PNPG) e suas repercussões na Pós-graduação brasileira. Perspectiva, 24(1), 133-160. Disponível em: https://periodicos.ufsc.br/index.php/perspectiva/article/view/10315/9578   

INEP (2008). Nota Técnica No 39/2017/CGCQES/DAES. Sobre o Cálculo do Índice Geral de Cursos. Brasília, DF: Inep. Disponível em: http://download.inep.gov.br/educacao_superior/enade/notas_tecnicas/2016/nota_tecnica_n39_2017_cgcqes_daes_calculo_igc.pdf Obtido em: 10 Jan 2018

Maccari, E. A., Martins, C. B., Almeida, M. I. R. (2015). Comparativo entre os sistemas de avaliação da Association to Advance Collegiate Schools of Business (Estados Unidos) e da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Brasil) e o seu uso pelos coordenadores de programas. RBPG, 12(27), 39-66. DOI: http://dx.doi.org/10.21713/2358-2332.2015.v12.564

Marquesin, D. F. B., Penteado, A. F., Baptista, D. C. (2008). O Coordenador de Curso da Instituição de Ensino Superior: atribuições e expectativas. Revista de Educação, 11(12), 7-21. Disponível em: http://www.pgsskroton.com.br/seer/index.php/educ/article/view/1917/1821

Martins, C. B., Maccari, E. A., Storopoli, J. E, Andrade, R. O. B. (2013). Influência das Estratégias e recursos para o desenvolvimento dos programas de pós-graduação da área de Adminsitração, Ciências Contábeis e Turismo no período de 2001 a 2009. Revista Gestão Universitária na América Latina, 6(3), 146- 168. DOI: http://dx.doi.org/10.5007/1983-4535.2013v6n3p146

Moreira, C. O. F., Hortale, V. A., Hartz, Z. A. (2004). Avaliação da Pós-Graduação: buscando consenso. RBPG, 1(1), 26-40. DOI: http://dx.doi.org/10.21713/2358-2332.2004.v1.20

Morosini, M. C. (2009). A Pós-graduação no Brasil: formação e desafios. Revista Argentina de Educación Superior, 1(1), 125-152. Disponível em: http://flacso.redelivre.org.br/files/2012/07/518.pdf  Obtido em 03 Jan 2018

Nobre, L. N., Freitas, R. R. (2017). A evolução da pós-graduação no Brasil: Histórico, Pol;iticas e Avaliação. Brazilian Journal of Production Engineering, 3(2), 18-30. Disponível em: http://periodicos.ufes.br/BJPE/article/view/v3n2_3/pdf 

Oliveira, S. S. B., Oliveira Filho, E. C., Bentes, A. N. (2014). A elevação da qualidade da pós-graduação: uma proposta da Universidade Federal do Amazonas. RBPG, 11(23), 107-126. DOI: http://dx.doi.org/10.21713/2358-2332.2014.v11.524

Patrus, R., Dantas, D. C., Shigaki, H. B. (2015). O produtivismo acadêmico e seus impactos na pós- graduação stricto sensu: uma ameaça à solidariedade entre pares? Cadernos EBAPE.BR, 13(1), 1-18. DOI: http://dx.doi.org/10.1590/1679-39518866

Ponce, B. J., Almeida, M. E. B., Freitas, S. A., Silva, C. B., Anjos, D., Pietri, E. … Lemes, S. S. (2017). Sobre a melhoria da produção e da avaliação de periódicos científicos no Brasil. Ensaio: aval. pol. públ. Educ., 25(97), 1032-1044. DOI: http://dx.doi.org/10.1590/s0104-40362017002501032

Porto Junior, F. G. R., Leite, J. R. S. (2016). A consolidação do sistema de pós-graduação no Brasil e os investimentos realizados pela CAPES em bolsas e auxílio à pesquisa. Revista Espacios. 37(29), p.15, 2016. Obtido em: http://www.revistaespacios.com/a16v37n29/16372915.html

Ramalho, B. L., Madeira, V. P. C. (2005). A pós-graduação em educação no Norte e Nordeste: desafios, avanços e perspectivas. Revista Brasileira de Educação, 30, 70-81. DOI: http://dx.doi.org/10.1590/S1413-24782005000300006

Spagnolo, F., Calhau, M. G. (2002). Observadores internacionais avaliam a avaliação da CAPES. Brasília (DF): Infocapes, v. 10, n. 1, p. 7-34. Disponível em: https://www.capes.gov.br/images/stories/download/bolsas/Infocapes10_1_2002.doc Obtido em: 28 Dez 2017

Tavares, M. G. M.; Oliveira, M. A. A.; Seiffert, O. M. L. B. (2011). Avaliação da educação superior na revista Ensaio: Avaliação e Políticas Públicas em Educação: ênfases e tendências. Ensaio: aval. pol. públ. Educ., 19(71), 233-258. Disponível em: http://flacso.redelivre.org.br/files/2012/07/541.pdf Obtido em: 10 Jan 2018

1. Bióloga, Professora do Instituto Socioambiental e dos Recursos Hídricos, Universidade Federal Rural da Amazônia. izildinha.miranda@ufra.edu.br