Nossas universidades produzem milhares de pesquisas, mas impacto global é pequeno
Imensa quantidade de publicações científicas, por si só, não tem qualquer significado
Nos primeiros meses de 2019, publiquei uma série de artigos nos quais apresentei a lastimável situação do impacto da ciência nacional. Acostumamo-nos a ouvir os governos do PT alardearem que o Brasil estava em 13º lugar no ranking de produção científica mundial. Essa posição foi, de fato, alcançada em 2009/2010 – época de grande “júbilo” de nossa ciência aos olhos da extrema-imprensa e do governo.
O problema é que essa imensa quantidade de publicações científicas, por si só, não tem qualquer significado. Passamos de 18,5 mil artigos em 2002 para 68,7 mil em 2015 – um aumento de 270%. No ano seguinte, foram 72,1 mil artigos, mas caímos para a 14º posição mundial. Ao analisarmos o ranking de impacto científico medido em citações por publicação (ou CPP, citations per paper), a história é outra. Posicionamo-nos em 2016 no 53º lugar no ranking CPP de 66 países com pelo menos 3.000 publicações.
O Brasil apresentou um impacto (CPP=2,12) 55% menor que o da Suíça, 1ª colocada (CPP=4,68). Nossas pesquisas envolveram investimentos de 1,3% do PIB (em 2016), percentual similar ao de diversos países com CPP substancialmente maior, como Portugal, Espanha, Itália, Irlanda e Estônia.
Qual a origem de boa parte da produção científica nacional? As universidades federais e as 3 universidades estaduais paulistas. Players secundários, em termos de quantidade, são a Embrapa, os institutos de pesquisa do MCTI, ITA, outras universidades estaduais e universidades privadas. Ora, se grande parte da nossa ciência vem das universidades, seria proveitoso avaliar como elas estão no ranking mundial de impacto da produção científica. Nesse sentido, o Leiden Ranking*, é excelente, pois classifica 938 universidades por quantidade de publicações ou por impacto.
Ao olharmos para o ranking 2013-2016, o mais recente (divulgado em 2018), verificamos que a USP está em 8º lugar mundial em quantidade de publicações, com 16,1 mil artigos indexados no Web of Science (veja tabela abaixo). Em 1º lugar está Harvard, com 33 mil artigos. A Unesp, com 5,8 mil publicações, é a 2ª colocada do Brasil, e a 150ª no ranking mundial, seguida pela Unicamp e UFRGS – 186ª e 208ª, respectivamente.
Na maior parte dos rankings que conhecemos –o Times Higher Education (THE)*,o Shanghai* e o QS Ranking* – a USP está entre as 300 mais influentes universidades do mundo (posições nos rankings: 250-300º, 101-150º e 118º, respectivamente).
Essas três empresas utilizam dados do tipo top-10 absoluto como um importante componente de cálculo dos rankings. Contudo, não nos esqueçamos: a USP é uma das maiores universidades do mundo. Publica milhares de artigos que recebem outros milhares de citações (62 mil citações em 2013-2016), o que faz com que muitos desses artigos apareçam na lista top-10 dos mais influentes do mundo. Nesse sentido, é fundamental utilizar uma métrica de impacto independente do tamanho das universidades.
Para isso, pensemos em nosso PIB, um dos maiores do mundo. Mas quando calculamos o PIB per capita, caímos para o 80º lugar do ranking do FMI. Assim, é crucial medir o impacto científico per capita, não de habitantes, mas por publicações. Analogamente, quando o Leiden ranking mede o impacto não pelo número absoluto de publicações top-10, mas pela proporção de artigos top-10 em relação ao total da universidade (o que gera um percentual de artigos top-10),há uma alteração radical na posição das universidades brasileiras. Essa é a segunda forma de cálculo de impacto.
Observa-se que os 7,3 mil artigos top-10 de Harvard que asseguravam o 1º lugar no ranking “top-10 absoluto” representam 22,1% do total de 33 mil publicados por esta universidade. Porém, de acordo com o ranking %top-10, Harvard cai do 1º para a 5ª colocação. A 1º colocada nesse ranking é a pequena Universidade Rockefeller, com apenas 1.002 publicações em 2013-2016, penúltima colocada em número de artigos no Leiden ranking. Porém, 316 desses artigos da Rockefeller estão entre os 10% mais citados do mundo, o que representa 31,5% das suas publicações (%top-10 = 31,5%). O MIT aparece em 2º lugar neste ranking, seguido por Princeton e Stanford (veja a tabela abaixo).
Vejamos agora as universidades do Brasil no ranking %top-10. No caso da USP, apesar da autoria de 955 artigos entre os top-10 globais, eles representam apenas 5,9% do total da universidade (%top-10 = 5,9%). Isso faz com que a USP caia para de 90º para a 780º posição mundial ranking %top-10. Entre as universidades brasileiras, cai para a 8ª posição nessa classificação. A UFSC, em 710º lugar no mundo e com 164 artigos top-10 (%top-10 = 6,8%), é melhor posicionada entre as instituições do Brasil, sendo seguida pela UFSCar, 733º. A UnB, onde trabalho, ficou na 852º colocação global.
O Leiden ranking mostra 21 universidades brasileiras**: 16 federais, USP, Unesp, Unicamp, UERJ e Univ. Estadual de Maringá. Dez dessas instituições ficaram entre as posições 700 e 800 no ranking %top-10, e outras dez entre 800 e 900 (uma ficou abaixo de 900). Foram gerados 65,3 mil artigos por essas 21 universidades em 2013-2016, mas apenas 3.693 entraram na lista top-10 (%top-10 = 5,6%). Na média, 1 de cada 18 artigos de nossas universidades está entre os 10% mais citados do mundo. Comparativamente, no caso de Harvard, 1 de cada 4,5 artigos (%top-10 = 22,1%) está na lista top-10 – uma diferença de 4 vezes entre Harvard e a média de nossas universidades.
Em relação à UFSC, críticos dirão que é impossível que uma universidade pouco conhecida do público e relativamente pequena (2,4 mil publicações em 2013-2016) possa estar na frente da USP em impacto científico. Se esse resultado é “impossível”, toda nossa análise está equivocada. Mas os dados que mostramos estão em impacto relativo, que é quando normalizamos o efeito do tamanho das instituições. Assim, os 164 artigos top-10 da UFSC representam mais para essa universidade (%top-10 = 6,8%) que os 955 da USP (%top-10 = 5,9%).
Quando avaliamos as universidades em citações por publicação (CPP), verificamos resultados semelhantes aos do ranking %top-10. A UFSC (CPP=4,08) é 1ª colocada em CPP das 21 universidades brasileiras na lista de Leiden. Já a USP (CPP=3,85) foi a 4ª colocada do Brasil em CPP. Os resultados de Rockefeller e Harvard são: CPP=21,4 e CPP=12,9, respectivamente. A diferença do CPP de Harvard para a USP, de 3,4 vezes, foi semelhante à diferença dos valores de %top-10 entre as duas universidades: 3,7 vezes. Outras comparações podem ser feitas entre CPP e %top-10 mas os resultados serão semelhantes. Dessa forma, o indicador %top-10 é comparável com o CPP – que utilizo há 15 anos. Ambos mostram que o impacto internacional (impacto relativo) de nossas universidades é realmente pífio.
Claro que existem excelentes pesquisadores em nossas universidades, que inclusive tiveram estudos entre os top 1% mais citados do mundo, a alta elite da ciência. A USP, por exemplo, obteve 75 publicações de alta elite em 2013-2016 (0,5% das publicações USPianas), comparado com 164 de Princeton (3,1%) e 353 de Oxford (2,4%).
As 21 universidades brasileiras que aparecem no Leiden ranking são custeadas por dinheiro público. O custo orçamentário dessas 21 instituições, somadas, foi de 38 bilhões de reais em 2017, valor elevadíssimo que resulta em uma contribuição mínima para a “ciência das descobertas” no âmbito global. De fato, apenas 5,6% das publicações (3.693 artigos, 2/5 pertencentes às três estaduais paulistas) tiveram relevância mundial e participaram da lista top-10.
Em resumo: gastamos muito e descobrimos pouco. Quando afirmo que “gastamos muito”, também me refiro ao tempo. Nossa pesquisa é feita muito lentamente – mesmo nos melhores laboratórios – devido a inúmeros entraves burocráticos (em especial para a importação de materiais de pesquisa) e absurdas ineficiências estruturais de nossas universidades.
Por outro lado, muitos professores universitários fazem pesquisa de baixa qualidade e trabalham na ciência apenas por obrigação de oficio. Enchem seus currículos de publicações inócuas e inflacionam a produção nacional com lixo acadêmico. Para piorar, a universidade pública é “socialista”, pois um pesquisador que produz ciência ruim, que não é citada, recebe o mesmo salário que um cientista citado 500 vezes por ano – qual o estímulo para a excelência científica? Há muito para ser mudado, e radicalmente, seja no âmbito dos gestores, seja no dos pesquisadores. Isso caso desejemos sair da lanterninha mundial da ciência.
Alô Bolsonaro! Alô MEC!
Observação: Agradeço ao Prof. Dr. Ricardo da Costa (UFES) pela revisão deste artigo
Publicações X citações recebidas
Confira abaixo, pelo desempenho de algumas universidades, como a posição no ranking pode mudar de acordo com o número de publicações e citações recebidas:
*Rankings:
Leiden: http://www.leidenranking.com/ranking/2018/list
THE: https://www.timeshighereducation.com/world-university-rankings
QS: https://www.topuniversities.com/qs-world-university-rankings
Shanghai: http://www.shanghairanking.com/
* MARCELO HERMES-LIMA é pesquisador e professor de bioquímica na Universidade de Brasília (UnB). Tem mais de 5,8 mil citações em revistas científicas internacionais.
