Prof. Ricardo Carneiro: Reflexões sobre a avaliação da Pós-Graduação no Brasil pela CAPES

Diante da enfervescência dessa discussão nos mais diversos departamentos das nossas universidades e, considerando que estamos em pleno processo de criação de um curso de pós-graduação na FDRP, reproduzo a crítica de um renomado professor da Unicamp aos critérios de avaliação dos cursos de mestrado e doutorado empreendida trienalmente pela CAPES. Apesar de referir-se na maior parte do texto aos cursos da área de Economia, muitas das suas observações aplicam-se ao direito e a outras ciências sociais. 

______________________________________________

Notas sobre os critérios de avaliação da pós-graduação em Economia pela CAPES

Ricardo de Medeiros Carneiro

Ao longo do processo de discussão e implementação da reforma da pós-graduação do IE-Unicamp e, recentemente, com a definição do corpo docente cadastrado na CAPES em reunião da Congregação, os critérios pelos quais esta instituição avalia os cursos de pós-graduação têm sido um tema de discussão recorrente. Nestas notas, sem a pretensão de tratar exaustivamente do tema, procura-se levantar alguns aspectos controversos desses critérios no que tange especificamente à área de Economia. Seu objetivo maior é estimular a discussão e a apresentação de novas contribuições para o aprofundamento do diagnóstico sobre um tema crucial para nossa atividade como professores e pesquisadores.

Algumas indagações gerais

O ponto de partida é uma observação de natureza geral: o peso atribuído pela CAPES às publicações como critério de desempenho dos programas de pós-graduação. Esta prioridade tem direcionado as atividades da pós-graduação para as publicações, mas os resultados, olhados pela ótica da qualidade, deixam muito a desejar e têm sido objeto de reiteradas críticas por parte de renomados cientistas brasileiros. Ouçamos o que diz um dos mais importantes cientistas brasileiros da atualidade, Miguel Nicolelis em entrevista ao Estadão: “Nós publicamos mais do que a Suíça. Mas o impacto da ciência suíça é muito maior. Basta ver o número de prêmios Nobel lá. E eles têm apenas cinco milhões de habitantes. Na academia brasileira, as recompensas dependem do que eu chamo de "índice gravitacional de publicação": quanto mais pesado o currículo, melhor.

Ou seja, o cientista precisa colecionar o maior número de publicações - sem importar tanto seu conteúdo. Não pode ser assim. O mérito tem de ser julgado pelo impacto nacional ou internacional de uma pesquisa. Não podemos dizer: quem publica mais, leva o bolo. Porque aí o sujeito começa a publicar em qualquer revista. Não é difícil. A publicação científica é um negócio como qualquer outro. Mesmo se você considerar as revistas de maior impacto. Também não adianta criar e usar um índice numérico de citações (que mede o número de citações dos artigos de um determinado cientista)”.

A crítica de outro importante cientista brasileiro, Maurício Rocha-e-Silva, concentra-se em demonstrar como os critérios da CAPES terminam por discriminar os periódicos nacionais e a própria ciência brasileira. Em editorial de respeitável revista de Medicina brasileira (CLINICS 2 2009;64(8):721-4), da qual é editor, e cujo sugestivo título é “O NOVO QUALIS, QUE NÃO TEM NADA A VER COM A CIÊNCIA DO BRASIL. CARTA ABERTA AO PRESIDENTE DA CAPES”, questiona exaustivamente a montagem do QUALIS para a área de Medicina. A análise estatística por ele realizada, sugere o descolamento da classificação dos periódicos com a produção científica nacional, decorrente em boa medida dos critérios utilizados. Estes últimos seriam inadequados porque, ao serem excessivamente abstratos, não considerariam nem a especificidade da ciência produzida no país no que tange às suas prioridades e meios de divulgação, nem tampouco a própria diversidade das subáreas na sua vocação para produzir o tipo de resultado valorizado pelos critérios genéricos. A base desses últimos seria, exclusivamente, o fator de impacto no Journal Citation Report (JCR) do quartil superior dos periódicos de cada área e sub-área. Além de excluir a grande maioria dos periódicos nacionais, o critério induz à confusão entre a qualidade do periódico e a do artigo publicado.

Sua conclusão é inequívoca: “Correndo riscos por defender a preservação dos promissores periódicos brasileiros, vou repetir o que tenho escrito e dito (inclusive diante do Council for Science Editors): uma boa coleção de revistas autóctones é, cada vez mais, imperativo de soberania científica nacional. Nações que não as têm vão depender da boa vontade do primeiro mundo para publicar. Ou seja, vai continuar difícil publicar o que não interessa aos lá de cima; mais difícil ainda publicar o que interessa tanto aos lá de cima que é melhor engavetar e deixar os old friends “ganhar” a corrida. Todos sabemos que isso ocorre!”

A pós-graduação, como espaço universitário de produção e transmissão do conhecimento, é constituída pela articulação entre ensino e pesquisa, sem privilégios de uma dimensão sobre a outra. Entretanto, não é isto que transparece da leitura dos critérios da CAPES explicitados no quadro abaixo. Nele se vê que o grande peso, de pelo menos 70%, em todos os programas, independentemente da área, se refere a publicações de professores e alunos, além das teses desses últimos. As teses, aliás de indiscutível relevância, tem peso reduzidíssimo. Na área de Economia, por exemplo, conforme explicitado no Relatório de Avaliação Trienal 2007-2009, as publicações respondem por 56% do peso total da avaliação, dividida da seguinte forma: 35% para o indicador geral de Produção Intelectual e 21% para a produção discente publicada em periódicos. Ficam para as teses per se apenas 14% do peso da avaliação.

Nos itens que se aproximam, mesmo que indiretamente, do ensino ou da transmissão do conhecimento, o peso é, ou muito pequeno, como na avaliação da Inserção Social e Relevância, ou inexistente, como na Proposta do Programa. Nesta última, aparecem itens cruciais para o ensino, mas a sua ponderação para a nota atribuída aos programas de pós-graduação é zero. Aspectos decisivos como os listados a seguir, discriminados no documento de área da Economia, são na prática desconsiderados ou nivelados por baixo. São eles:

1. Coerência, consistência, abrangência e atualização das áreas de concentração, linhas de pesquisa, projetos em andamento e proposta curricular.

2. Planejamento do programa com vistas a seu desenvolvimento futuro, contemplando os desafios internacionais da área na produção do conhecimento, seus propósitos na melhor formação de seus alunos, suas metas quanto à inserção social mais rica dos seus egressos, conforme os parâmetros da área.

3. Infraestrutura para ensino e pesquisa, e, se for o caso, para a extensão.

Área		Antropologia	História	Sociologia	Economia	Astronomia/ Física	Computação
Peso do quesito	Proposta do programa	0	0	0	0	0	0
	Corpo Docente	20	20	20	20	20	20
	Corpo Discente, Teses e dissertações	30	35	30	35	35	30
	Produção intelectual	40	35	40	35	35	40
	Inserção Social e Relevância	10	10	10	10	10	10

Os defensores dos critérios da CAPES poderiam arguir que a avaliação pelas publicações, vale dizer, por um tipo de resultado do programa, além de ser mais fácil, por sua natureza quantitativa, de alguma forma incorpora ou sintetiza a qualidade do ensino. A tese é discutível exatamente porque a avaliação é unilateral, feita com bases em resultados puramente quantitativos, o que pode, dependendo da área, levar a distorções, como veremos adiante.

O peso ínfimo, de apenas 10% na ponderação da nota, atribuído à Inserção social e relevância sugere um descaso para com as prioridades do país e da comunidade. Vejamos quais são os quesitos desse item:

1. Inserção e impacto regional e/ou nacional do programa

2. Integração e cooperação com outros programas e centros de pesquisa e desenvolvimento profissional ligados à área de conhecimento do programa, com vistas ao desenvolvimento da pesquisa e da pós-graduação.

3. Visibilidade ou transparência do programa dada à sua atuação.

Afinal, não é relevante avaliar as prioridades segundo as quais os recursos de um país, a maior parte públicos, estão sendo alocados? O pouco significado desses critérios não pode conduzir a situações nas quais se produz um conhecimento de boa qualidade, mas que serve sobretudo a grandes empresas ou laboratórios transnacionais, ou mesmo a países desenvolvidos?

A esse respeito é crucial considerar que o conhecimento no mundo atual é produzido crescentemente sob a forma de redes de pesquisa, à semelhança do outsourcing das empresas.

Logo, cabe perguntar, em qual elo da cadeia nos situamos? Agregamos valor de fato, além de dominar parte significativa do conhecimento, ou apenas atuamos como as maquilas? Posto de outra maneira: não é possível fazer ciência ou produzir conhecimento de boa qualidade com prioridades definidas? Se a resposta a esta questão é positiva, os aspectos qualitativos dos programas de pós-graduação, dentre eles os dois apontados acima, teriam que ganhar mais relevância na sua avaliação. E isto certamente ampliaria a relevância dos meios de divulgação científica nacionais cuja revalorização seria indispensável.

 A praga dos artigos

Quando se examina o ranking de classificação de periódicos de maneira comparativa utilizando-se como contraponto à Economia algumas ciências sociais, além da Física e da Computação, fica evidente que a Economia guarda afinidades maiores com o segundo e não com o primeiro conjunto. Ou seja, a semelhança nos critérios de classificação leva a pensar que a Economia, tanto quanto a Física ou a Computação, é uma ciência a-histórica. As evidências quanto a isto estão, em primeiro lugar, no peso muito elevado dos periódicos em língua estrangeira que compõem o Qualis das diversas áreas. Parece bastante correto pensar que para a Física e para a Computação, a linguagem e o objeto – mas nem sempre as prioridades – tornem o idioma e o local das publicações indiferentes. Seria isto também verdadeiro para as ciências sociais?

Qualis de áreas selecionadas: origem dos periódicos por estrato
Estrato	Origem	Antropologia	História	Economia	Astronomia/Física	Computação
A1	Nacional	9	10	0	0	0
	Internacional	24	16	28	30	99
A2	Nacional	4	19	0	0	0
	Internacional	37	30	36	60	112
B1	Nacional	36	37	0	0	0
	Internacional	17	48	56	153	193
B2	Nacional	28	54	26	0	3
	Internacional	28	51	53	101	312
B3	Nacional	47	121	17	0	0
	Internacional	18	60	54	87	64
B4	Nacional	77	161	24	2	10
	Internacional	19	40	45	63	54
B5	Nacional	94	431	66	6	12
	Internacional	5	27	43	68	26
C	Nacional	8	90	36	38	75
	Internacional	2	3	7	110	43
Total	Nacional	303	923	169	46	100
	Internacional	150	275	322	672	903
	Total Geral	453	1198	491	718	1003

 Os números do quadro acima evidenciam a distância da Economia ante as ciências sociais por vários indicadores. A proporção entre o total de periódicos nacionais e estrangeiros, por exemplo, ou o peso que os periódicos estrangeiros têm nos estratos mais elevados. Na economia, os periódicos nacionais vão aparecer apenas no estrato B2. Na Antropologia e na história eles já estão presentes desde os níveis mais altos e, nesse estrato particular já têm número idêntico na primeira e maioria, na segunda. Veja-se como é distinta a hierarquização na Física e na Computação, das quais, aliás, a Economia se aproxima também por esse critério.

Outro aspecto ainda menos justificável diz respeito à atribuição de pontos aos artigos de acordo com a classificação dos periódicos. Na área de Economia esses critérios desvalorizam ainda mais os periódicos nacionais, como se pode verificar no quadro abaixo. Nesta área, a progressão decrescente dos pontos é muito menos generosa com os periódicos nacionais do que nas demais áreas, inclusive na Física e Computação. Dito de outra maneira, publicar em periódicos nacionais vale muito menos do que nas demais áreas e muito menos ainda quando se compara com as ciências sociais. 

Área/Classificação		Antropologia	História	Economia	Astronomia/Física	Computação
Pontos por estrato	A1	100	100	100	100	100
	A2	85	85	80	85	85
	B1	70	70	60	70	70
	B2	60	55	40	55	55
	B3	40	40	25	35	35
	B4	30	25	15	15	15
	B5	10	10	5	5	5
	C	0	0	0	0	0

O aviltamento do livro

Um dos aspectos mais criticáveis na avaliação da área de Economia diz respeito ao rebaixamento do livro. O quadro abaixo apresenta um comparativo com as áreas de Sociologia Antropologia. Cabe destacar que boa parte das áreas nas ciências da natureza ou nas ciências a lógica como Matemática ou Computação, não avaliam a publicação de livros por não considerarem esta de forma de publicação como relevante. No outro extremo temos a área da História, na qual a publicação de livros é tão relevante que merece uma reavaliação periódica dos critérios de classificação e pontuação. 

Voltando para os dados do quadro, os pontos atribuídos aos livros na Economia além de menos da metade daqueles da Antropologia e Sociologia têm uma equivalência com a pontuação de artigos profundamente distorcida. Compare-se, por exemplo, os estratos L4 e L3 dos livros, que correspondem a obras consideradas como de grande impacto. Esses livros valem mais ou menos o mesmo do que artigos de classificação B3. O que a classificação da CAPES na área de Economia está portanto dizendo é que um excelente ou um bom livro vale tanto quanto um artigo mediano. Um verdadeiro absurdo.

Ademais, a pouca relevância atribuída aos livros não para aí. Há um limite quantitativo para a imputação de pontos tanto a livros quanto a capítulos de livros. Na área de Economia, o estrato total de pontos para os livros e capítulos não pode exceder 40% dos pontos atribuídos à soma de livros e periódicos. Ou seja, ela está limitada pelo número de pontos conseguidos pela publicação de artigos. Pode-se argumentar que a classificação de livros é muito mais difícil e problemática do que a de artigos. Embora haja alguma verdade nessa afirmativa, é mais verdadeiro ainda afirmar que nas ciências sociais um bom livro é superior ao bom artigo por conta da sua amplitude ou abrangência. A não consideração desse princípio distorce significativa e injustificadamente os critérios de avaliação da produção do conhecimento da CAPES na área de Economia.

Publicar ou perecer X publicar e perecer

A consideração das informações contidas nestas notas sugerem que a avaliação dos cursos de pós-graduação em Economia por parte da CAPES está marcada por fortes distorções. A primeira delas é geral e comum a todas as áreas: o excessivo peso conferido às publicações como critério de aferição de qualidade. A segunda é específica e se refere ao caráter singular da Economia ante as demais ciências sociais e ao seu distanciamento delas.

Atribuir às publicações o peso conferido pela CAPES tem produzido na academia brasileira um comportamento singular que se expressa na inversão entre meios e fins: o grau de relevância de uma pesquisa é medido pela sua capacidade de se transformar, no menor espaço de tempo possível, em artigos de periódicos indexados. Os pontos da CAPES se transformaram numa espécie de moeda da academia. Esta não mais produz por critérios de relevância definidos a priori pelos cientistas e pela comunidade. Produz-se apenas o que rende uma forma particular de dinheiro: os pontos da CAPES. Ora, se é assim, caberia perguntar: cui bono?

O distanciamento da Economia das demais ciências sociais nos critérios de avaliação dos programas é um agravante ao problema apontado acima. Privilegiar o artigo frente ao livro e, nos primeiros, os periódicos estrangeiros ante os nacionais, levará necessariamente à simplificação, ou mesmo à descaracterização do objeto da economia enquanto ciência social e, portanto, histórica.

Quem produzirá as sínteses interpretativas da nossa história passada e presente? Qual a relevância que terão para os periódicos internacionais e seus referees, os temas do desenvolvimento econômico brasileiro? Ou latino-americanos? Estaremos condenados então a produzir modelos abstratos e a-históricos como os das ciências da natureza? Afinal, a economia, como área do conhecimento, tal qual a concebemos, perecerá?