Prof. Ricardo Carneiro: Reflexões sobre a avaliação da Pós-Graduação no Brasil pela CAPES

Diante da enfervescência dessa discussão nos mais diversos departamentos das nossas universidades e, considerando que estamos em pleno processo de criação de um curso de pós-graduação na FDRP, reproduzo a crítica de um renomado professor da Unicamp aos critérios de avaliação dos cursos de mestrado e doutorado empreendida trienalmente pela CAPES. Apesar de referir-se na maior parte do texto aos cursos da área de Economia, muitas das suas observações aplicam-se ao direito e a outras ciências sociais. 

______________________________________________

Notas sobre os critérios de avaliação da pós-graduação em Economia pela CAPES

Ricardo de Medeiros Carneiro

Ao longo do processo de discussão e implementação da reforma da pós-graduação do IE-Unicamp e, recentemente, com a definição do corpo docente cadastrado na CAPES em reunião da Congregação, os critérios pelos quais esta instituição avalia os cursos de pós-graduação têm sido um tema de discussão recorrente. Nestas notas, sem a pretensão de tratar exaustivamente do tema, procura-se levantar alguns aspectos controversos desses critérios no que tange especificamente à área de Economia. Seu objetivo maior é estimular a discussão e a apresentação de novas contribuições para o aprofundamento do diagnóstico sobre um tema crucial para nossa atividade como professores e pesquisadores.

Algumas indagações gerais

O ponto de partida é uma observação de natureza geral: o peso atribuído pela CAPES às publicações como critério de desempenho dos programas de pós-graduação. Esta prioridade tem direcionado as atividades da pós-graduação para as publicações, mas os resultados, olhados pela ótica da qualidade, deixam muito a desejar e têm sido objeto de reiteradas críticas por parte de renomados cientistas brasileiros. Ouçamos o que diz um dos mais importantes cientistas brasileiros da atualidade, Miguel Nicolelis em entrevista ao Estadão: “Nós publicamos mais do que a Suíça. Mas o impacto da ciência suíça é muito maior. Basta ver o número de prêmios Nobel lá. E eles têm apenas cinco milhões de habitantes. Na academia brasileira, as recompensas dependem do que eu chamo de "índice gravitacional de publicação": quanto mais pesado o currículo, melhor.

Ou seja, o cientista precisa colecionar o maior número de publicações - sem importar tanto seu conteúdo. Não pode ser assim. O mérito tem de ser julgado pelo impacto nacional ou internacional de uma pesquisa. Não podemos dizer: quem publica mais, leva o bolo. Porque aí o sujeito começa a publicar em qualquer revista. Não é difícil. A publicação científica é um negócio como qualquer outro. Mesmo se você considerar as revistas de maior impacto. Também não adianta criar e usar um índice numérico de citações (que mede o número de citações dos artigos de um determinado cientista)”.

A crítica de outro importante cientista brasileiro, Maurício Rocha-e-Silva, concentra-se em demonstrar como os critérios da CAPES terminam por discriminar os periódicos nacionais e a própria ciência brasileira. Em editorial de respeitável revista de Medicina brasileira (CLINICS 2 2009;64(8):721-4), da qual é editor, e cujo sugestivo título é “O NOVO QUALIS, QUE NÃO TEM NADA A VER COM A CIÊNCIA DO BRASIL. CARTA ABERTA AO PRESIDENTE DA CAPES”, questiona exaustivamente a montagem do QUALIS para a área de Medicina. A análise estatística por ele realizada, sugere o descolamento da classificação dos periódicos com a produção científica nacional, decorrente em boa medida dos critérios utilizados. Estes últimos seriam inadequados porque, ao serem excessivamente abstratos, não considerariam nem a especificidade da ciência produzida no país no que tange às suas prioridades e meios de divulgação, nem tampouco a própria diversidade das subáreas na sua vocação para produzir o tipo de resultado valorizado pelos critérios genéricos. A base desses últimos seria, exclusivamente, o fator de impacto no Journal Citation Report (JCR) do quartil superior dos periódicos de cada área e sub-área. Além de excluir a grande maioria dos periódicos nacionais, o critério induz à confusão entre a qualidade do periódico e a do artigo publicado.

Sua conclusão é inequívoca: “Correndo riscos por defender a preservação dos promissores periódicos brasileiros, vou repetir o que tenho escrito e dito (inclusive diante do Council for Science Editors): uma boa coleção de revistas autóctones é, cada vez mais, imperativo de soberania científica nacional. Nações que não as têm vão depender da boa vontade do primeiro mundo para publicar. Ou seja, vai continuar difícil publicar o que não interessa aos lá de cima; mais difícil ainda publicar o que interessa tanto aos lá de cima que é melhor engavetar e deixar os old friends “ganhar” a corrida. Todos sabemos que isso ocorre!”

A pós-graduação, como espaço universitário de produção e transmissão do conhecimento, é constituída pela articulação entre ensino e pesquisa, sem privilégios de uma dimensão sobre a outra. Entretanto, não é isto que transparece da leitura dos critérios da CAPES explicitados no quadro abaixo. Nele se vê que o grande peso, de pelo menos 70%, em todos os programas, independentemente da área, se refere a publicações de professores e alunos, além das teses desses últimos. As teses, aliás de indiscutível relevância, tem peso reduzidíssimo. Na área de Economia, por exemplo, conforme explicitado no Relatório de Avaliação Trienal 2007-2009, as publicações respondem por 56% do peso total da avaliação, dividida da seguinte forma: 35% para o indicador geral de Produção Intelectual e 21% para a produção discente publicada em periódicos. Ficam para as teses per se apenas 14% do peso da avaliação.

Nos itens que se aproximam, mesmo que indiretamente, do ensino ou da transmissão do conhecimento, o peso é, ou muito pequeno, como na avaliação da Inserção Social e Relevância, ou inexistente, como na Proposta do Programa. Nesta última, aparecem itens cruciais para o ensino, mas a sua ponderação para a nota atribuída aos programas de pós-graduação é zero. Aspectos decisivos como os listados a seguir, discriminados no documento de área da Economia, são na prática desconsiderados ou nivelados por baixo. São eles:

1. Coerência, consistência, abrangência e atualização das áreas de concentração, linhas de pesquisa, projetos em andamento e proposta curricular.

2. Planejamento do programa com vistas a seu desenvolvimento futuro, contemplando os desafios internacionais da área na produção do conhecimento, seus propósitos na melhor formação de seus alunos, suas metas quanto à inserção social mais rica dos seus egressos, conforme os parâmetros da área.

3. Infraestrutura para ensino e pesquisa, e, se for o caso, para a extensão.

Área		Antropologia	História	Sociologia	Economia	Astronomia/ Física	Computação
Peso do quesito	Proposta do programa	0	0	0	0	0	0
	Corpo Docente	20	20	20	20	20	20
	Corpo Discente, Teses e dissertações	30	35	30	35	35	30
	Produção intelectual	40	35	40	35	35	40
	Inserção Social e Relevância	10	10	10	10	10	10

Os defensores dos critérios da CAPES poderiam arguir que a avaliação pelas publicações, vale dizer, por um tipo de resultado do programa, além de ser mais fácil, por sua natureza quantitativa, de alguma forma incorpora ou sintetiza a qualidade do ensino. A tese é discutível exatamente porque a avaliação é unilateral, feita com bases em resultados puramente quantitativos, o que pode, dependendo da área, levar a distorções, como veremos adiante.

O peso ínfimo, de apenas 10% na ponderação da nota, atribuído à Inserção social e relevância sugere um descaso para com as prioridades do país e da comunidade. Vejamos quais são os quesitos desse item:

1. Inserção e impacto regional e/ou nacional do programa

2. Integração e cooperação com outros programas e centros de pesquisa e desenvolvimento profissional ligados à área de conhecimento do programa, com vistas ao desenvolvimento da pesquisa e da pós-graduação.

3. Visibilidade ou transparência do programa dada à sua atuação.

Afinal, não é relevante avaliar as prioridades segundo as quais os recursos de um país, a maior parte públicos, estão sendo alocados? O pouco significado desses critérios não pode conduzir a situações nas quais se produz um conhecimento de boa qualidade, mas que serve sobretudo a grandes empresas ou laboratórios transnacionais, ou mesmo a países desenvolvidos?

A esse respeito é crucial considerar que o conhecimento no mundo atual é produzido crescentemente sob a forma de redes de pesquisa, à semelhança do outsourcing das empresas.

Logo, cabe perguntar, em qual elo da cadeia nos situamos? Agregamos valor de fato, além de dominar parte significativa do conhecimento, ou apenas atuamos como as maquilas? Posto de outra maneira: não é possível fazer ciência ou produzir conhecimento de boa qualidade com prioridades definidas? Se a resposta a esta questão é positiva, os aspectos qualitativos dos programas de pós-graduação, dentre eles os dois apontados acima, teriam que ganhar mais relevância na sua avaliação. E isto certamente ampliaria a relevância dos meios de divulgação científica nacionais cuja revalorização seria indispensável.

 A praga dos artigos

Quando se examina o ranking de classificação de periódicos de maneira comparativa utilizando-se como contraponto à Economia algumas ciências sociais, além da Física e da Computação, fica evidente que a Economia guarda afinidades maiores com o segundo e não com o primeiro conjunto. Ou seja, a semelhança nos critérios de classificação leva a pensar que a Economia, tanto quanto a Física ou a Computação, é uma ciência a-histórica. As evidências quanto a isto estão, em primeiro lugar, no peso muito elevado dos periódicos em língua estrangeira que compõem o Qualis das diversas áreas. Parece bastante correto pensar que para a Física e para a Computação, a linguagem e o objeto – mas nem sempre as prioridades – tornem o idioma e o local das publicações indiferentes. Seria isto também verdadeiro para as ciências sociais?

Qualis de áreas selecionadas: origem dos periódicos por estrato
Estrato	Origem	Antropologia	História	Economia	Astronomia/Física	Computação
A1	Nacional	9	10	0	0	0
	Internacional	24	16	28	30	99
A2	Nacional	4	19	0	0	0
	Internacional	37	30	36	60	112
B1	Nacional	36	37	0	0	0
	Internacional	17	48	56	153	193
B2	Nacional	28	54	26	0	3
	Internacional	28	51	53	101	312
B3	Nacional	47	121	17	0	0
	Internacional	18	60	54	87	64
B4	Nacional	77	161	24	2	10
	Internacional	19	40	45	63	54
B5	Nacional	94	431	66	6	12
	Internacional	5	27	43	68	26
C	Nacional	8	90	36	38	75
	Internacional	2	3	7	110	43
Total	Nacional	303	923	169	46	100
	Internacional	150	275	322	672	903
	Total Geral	453	1198	491	718	1003

 Os números do quadro acima evidenciam a distância da Economia ante as ciências sociais por vários indicadores. A proporção entre o total de periódicos nacionais e estrangeiros, por exemplo, ou o peso que os periódicos estrangeiros têm nos estratos mais elevados. Na economia, os periódicos nacionais vão aparecer apenas no estrato B2. Na Antropologia e na história eles já estão presentes desde os níveis mais altos e, nesse estrato particular já têm número idêntico na primeira e maioria, na segunda. Veja-se como é distinta a hierarquização na Física e na Computação, das quais, aliás, a Economia se aproxima também por esse critério.

Outro aspecto ainda menos justificável diz respeito à atribuição de pontos aos artigos de acordo com a classificação dos periódicos. Na área de Economia esses critérios desvalorizam ainda mais os periódicos nacionais, como se pode verificar no quadro abaixo. Nesta área, a progressão decrescente dos pontos é muito menos generosa com os periódicos nacionais do que nas demais áreas, inclusive na Física e Computação. Dito de outra maneira, publicar em periódicos nacionais vale muito menos do que nas demais áreas e muito menos ainda quando se compara com as ciências sociais. 

Área/Classificação		Antropologia	História	Economia	Astronomia/Física	Computação
Pontos por estrato	A1	100	100	100	100	100
	A2	85	85	80	85	85
	B1	70	70	60	70	70
	B2	60	55	40	55	55
	B3	40	40	25	35	35
	B4	30	25	15	15	15
	B5	10	10	5	5	5
	C	0	0	0	0	0

O aviltamento do livro

Um dos aspectos mais criticáveis na avaliação da área de Economia diz respeito ao rebaixamento do livro. O quadro abaixo apresenta um comparativo com as áreas de Sociologia Antropologia. Cabe destacar que boa parte das áreas nas ciências da natureza ou nas ciências a lógica como Matemática ou Computação, não avaliam a publicação de livros por não considerarem esta de forma de publicação como relevante. No outro extremo temos a área da História, na qual a publicação de livros é tão relevante que merece uma reavaliação periódica dos critérios de classificação e pontuação. 

Voltando para os dados do quadro, os pontos atribuídos aos livros na Economia além de menos da metade daqueles da Antropologia e Sociologia têm uma equivalência com a pontuação de artigos profundamente distorcida. Compare-se, por exemplo, os estratos L4 e L3 dos livros, que correspondem a obras consideradas como de grande impacto. Esses livros valem mais ou menos o mesmo do que artigos de classificação B3. O que a classificação da CAPES na área de Economia está portanto dizendo é que um excelente ou um bom livro vale tanto quanto um artigo mediano. Um verdadeiro absurdo.

Ademais, a pouca relevância atribuída aos livros não para aí. Há um limite quantitativo para a imputação de pontos tanto a livros quanto a capítulos de livros. Na área de Economia, o estrato total de pontos para os livros e capítulos não pode exceder 40% dos pontos atribuídos à soma de livros e periódicos. Ou seja, ela está limitada pelo número de pontos conseguidos pela publicação de artigos. Pode-se argumentar que a classificação de livros é muito mais difícil e problemática do que a de artigos. Embora haja alguma verdade nessa afirmativa, é mais verdadeiro ainda afirmar que nas ciências sociais um bom livro é superior ao bom artigo por conta da sua amplitude ou abrangência. A não consideração desse princípio distorce significativa e injustificadamente os critérios de avaliação da produção do conhecimento da CAPES na área de Economia.

Publicar ou perecer X publicar e perecer

A consideração das informações contidas nestas notas sugerem que a avaliação dos cursos de pós-graduação em Economia por parte da CAPES está marcada por fortes distorções. A primeira delas é geral e comum a todas as áreas: o excessivo peso conferido às publicações como critério de aferição de qualidade. A segunda é específica e se refere ao caráter singular da Economia ante as demais ciências sociais e ao seu distanciamento delas.

Atribuir às publicações o peso conferido pela CAPES tem produzido na academia brasileira um comportamento singular que se expressa na inversão entre meios e fins: o grau de relevância de uma pesquisa é medido pela sua capacidade de se transformar, no menor espaço de tempo possível, em artigos de periódicos indexados. Os pontos da CAPES se transformaram numa espécie de moeda da academia. Esta não mais produz por critérios de relevância definidos a priori pelos cientistas e pela comunidade. Produz-se apenas o que rende uma forma particular de dinheiro: os pontos da CAPES. Ora, se é assim, caberia perguntar: cui bono?

O distanciamento da Economia das demais ciências sociais nos critérios de avaliação dos programas é um agravante ao problema apontado acima. Privilegiar o artigo frente ao livro e, nos primeiros, os periódicos estrangeiros ante os nacionais, levará necessariamente à simplificação, ou mesmo à descaracterização do objeto da economia enquanto ciência social e, portanto, histórica.

Quem produzirá as sínteses interpretativas da nossa história passada e presente? Qual a relevância que terão para os periódicos internacionais e seus referees, os temas do desenvolvimento econômico brasileiro? Ou latino-americanos? Estaremos condenados então a produzir modelos abstratos e a-históricos como os das ciências da natureza? Afinal, a economia, como área do conhecimento, tal qual a concebemos, perecerá?

Revista Science: Sobre as finalidades dos métodos de ensino e de seleção

Editorial da renomada revista Science, de 24/06/2011, questiona métodos educacionais voltados à preparação dos alunos para provas de múltipla escolha como forma de ingresso nas universidades de maior prestígio. Totalmente aplicável ao que se pratica em muitas escolas e faculdades brasileiras, cada vez mais afeitas à "cultura de cursinho", as críticas levantadas pela pesquisadora Deborah Stipek (Universidade Stanford) estão repercutindo sobre inúmeras instituições, que estão rediscutindo seus métodos de ensino e de seleção.

Segue artigo em inglês sobre o tema, publicado pela Sociedade Americana para o Avanço da Ciência (http://www.aaas.org/news/releases/2011/0623sp_education.shtml)

_________________________________________________________________________________

Science: Competitive Pressures on Students Take Joy out of Learning

Kathy Wren
http://www.aaas.org/

Under pressure to earn the high grades and test scores necessary for a coveted spot at a prestigious university, high school students are anxious and exhausted. They’re also missing out on academic experiences that encourage a desire to learn and pursue their passions—the real routes to success, according to Deborah Stipek, dean of the Stanford University School of Education.

Writing in an editorial in the 24 June issue of Science, Stipek said that the competitive pressures placed on young people in school are damaging many otherwise promising lives. In the effort to stand out on their college applications, students are taking multiple Advanced Placement classes, studying around the clock for high grades, and further overextending themselves trying to excel in extracurricular activities.

The results include debilitating anxiety, drug use, and a culture of cheating, as detailed in the documentary, Race to Nowhere, for which Stipek was interviewed.

It isn’t only the emotional toll on students that concerns Stipek, who has been doing research for 35 years on issues related to engaging students’ interest and motivation.

“Research on motivation makes it clear that focusing entirely on performance, whether grades or test scores, destroys whatever intrinsic interest the subject matter might have had,” she writes in the Editorial.

“We’ve drummed out that curiosity and energy and enthusiasm for learning,” she elaborated in a 21 June teleconference for journalists.

Advanced Placement courses are a good example of this problem, according to Stipek. Students only earn college credit if they score sufficiently high in the final exam. In many teachers’ and students’ minds, she said, these are basically test preparation courses, “which completely undermines the opportunity for students to go deeply into topics that they are really interested in.”

Stipek recalled her daughter’s response upon completing her French AP test. Rather than looking forward traveling or having a useful skill, she was relieved that she’d never have to speak French again.

On a societal level, this emphasis on grades and test scores has led to a cottage industry of tutoring, test preparation courses, and college application support that may contribute further to the achievement gap between students from affluent and low-income families. Even more broadly, such an emphasis “discourages innovative, critical, creative kinds of thinking, which is a problem for the future of the country,” Stipek said.

Solutions to the problem will need to come from many directions, involving teachers’ approaches in the classroom, revised homework policies, and testing schedules. School administrators should provide emotional and mental health resources, and extracurricular activities that foster students’ interests without the high stakes of grades and tests. Counselors should help students find colleges that match their interests and talents.

Families must also realize that there is more to being a happy successful person than attending a prestigious university.

“I really think that we’re doing a great disservice to young people by giving them the message that if they don’t get into one of those top colleges they’re at a loss for their future success and happiness,” Stipek said, “because most will not get into those colleges.”

When asked what she’d tell families nervous about job prospects for graduates who didn’t attend one of these top colleges, she said: “There’s just no evidence that you have to go to an elite college to get a good job. Most people don’t go to elite colleges. If they look around at the people they know, they’re going to find that the most successful people came from all kinds of backgrounds, all kinds of college experiences. Some of the most innovative sort of superheroes in this country didn’t finish college.”

Revista Piauí: A avaliação da produção dos pesquisadores brasileiros

Sopa de Letrinhas

Por Bernardo Esteves (Revista Piauí), em 17/06/2011

Perguntar a um professor universitário o que ele acha do sistema de avaliação da produtividade dos pesquisadores brasileiros é garantia de um longo e acalorado debate. É difícil encontrar um deles que não tenha uma única crítica aos critérios adotados. Na semana passada, dezenas de pesquisadores se reuniram na UFRJ para discutir esse sistema e refletir sobre como torná-lo mais adequado à realidade da ciência brasileira.

No Brasil, a avaliação de pesquisadores e programas de pós-graduação é feita por duas agências federais de estímulo à pesquisa: o CNPq e a Capes . Os critérios usados são essencialmente quantitativos. A publicação de artigos em revistas especializadas é um dos itens mais valorizados: quanto mais papers publica um cientista, maior sua pontuação. A quantidade de vezes que um trabalho é citado por outros cientistas também é levada em conta, bem como o impacto do periódico em que o artigo é publicado.

O resultado desse processo é um ranking baseado num festival de letras e números que pode confundir quem não for da área – e que frequentemente determina a distribuição de recursos para projetos de pesquisa e programas de pós-graduação. Os pesquisadores mais produtivos são classificados como 1A, 1B, 1C e 1D, uma casta acima dos de ranking 2. Na avaliação das revistas especializadas, inverte-se a ordem da letra e do número: um periódico A1 é mais prestigioso que um B3, por exemplo.

A adoção desses critérios reproduz no Brasil um modelo institucional implantado nos Estados Unidos ao longo da segunda metade do século 20. Resgatar a dimensão histórica desse sistema de avaliação – que soa natural para muitos – foi justamente um dos propósitos do encontro realizado semana passada no Rio de Janeiro, promovido pela Sociedade Brasileira de História das Ciências e pelo núcleo de estudos dessa disciplina da UFRJ. O que se viu, nas mesas redondas e no debate com a plateia, foi um festival de críticas ao sistema de avaliação.

O engenheiro de sistemas Henrique Cukierman, da UFRJ, criticou a operação que faz os critérios de avaliação soarem neutros para os pesquisadores. “Publicar em uma revista A1 se torna natural, ao mesmo tempo em que se apaga a problematização das eventuais razões e vantagens decorrentes de uma tal publicação”, disse. “Ficam os números e os gráficos, vai-se a legenda que os explica, tornando-os auto-explicáveis.”

O matemático Otávio Carpinteiro, da Universidade Federal de Itajubá (Unifei), criticou os critérios de avaliação por medirem os professores universitários apenas por seu desempenho na pesquisa, deixando de lado outras competências fundamentais, como a de dar boas aulas. “Não há bolsas de produtividade para ensino, extensão ou administração”, ironizou.

Já Rafael Alcadipani, pesquisador da área de administração da Fundação Getúlio Vargas, vê com preocupação o perfil dos alunos obcecados com a produção de artigos que estão sendo formados pelas universidades. “Essa é uma geração perdida”, acredita ele. “Estamos perdendo o foco fundamental, que é a produção de conhecimento, pensar, estudar.”

Critérios distintos para cada disciplina

A especialista em política científica Lea Velho, pesquisadora da Unicamp, lembrou que é preciso levar em conta as práticas distintas de publicação e citação vigentes nas diferentes áreas da ciência. “O reconhecimento dessa diversidade é fundamental para o estabelecimento dos sistemas de avaliação do desempenho científico”, defendeu ela.

A Capes tenta, a seu modo, usar critérios diferenciados para avaliar áreas da ciência que usam práticas distintas na produção do conhecimento. Durante o evento da UFRJ, a coordenadora-geral de avaliação da agência apresentou o “Qualis artístico”, usado para avaliar a produção dos pesquisadores da área de artes.

Rafael Alcadipani ironizou essa iniciativa em sua fala. “Imagina só: mês que vem vai ter um concerto B2 na Sala São Paulo. Na semana seguinte, uma peça de teatro A1 vai se apresentar no Teatro do Amazonas. O que estamos fazendo?”, provocou a plateia, que reagiu com risos ruidosos.

O historiador Luiz Carlos Soares, pesquisador da Universidade Federal Fluminense (UFF) que trabalhou durante três anos na Capes como coordenador adjunto da área de história, criticou a ironia de Alcadipani e saiu em defesa da agência de fomento durante o debate. Em uma conversa telefônica dias depois do evento, ele me explicou seu ponto de vista.

“A crítica demonstra desconhecimento do Qualis artístico, que foi um ganho importantíssimo para os pesquisadores da área de artes”, explicou Soares. “Ele não foi estabelecido para avaliar a qualidade de uma peça ou música, mas propõe critérios específicos pra avaliar a produção dos pesquisadores vinculados aos programas de pós-graduação dessa área.”