O que falta para universidades brasileiras nos rankings internacionais?

Se você já viu algum ranking das melhores universidades do mundo, deve ter visto que os primeiros lugares, via de regra, são ocupados por instituições dos EUA ou Reino Unido. E as universidades brasileiras nos rankings acabam aparecendo bem mais para baixo, não figurando nem entre as 100 melhores.

Essa discrepância é atribuída, com frequência, à falta de investimento. De fato, o sistema de ensino destes dois países, Estados Unidos e Reino Unido, é majoritariamente privado e o sistema de financiamento das instituições muitas vezes combina repasses do governo, pagamento de anuidade dos alunos e doações. Só em doações de ex-alunos, a Universidade de Harvard arrecadou em 2018 quase o orçamento total da Universidade de São Paulo para 2019. Entre repasses dos governos estadual e federal e valores oriundos de recursos próprios, a verba para 2019 da USP é de R$ 5,7 bilhões.

Soma-se a isso a preocupação com os cortes de gastos impostos pelo governo às instituições de ensino superior – no texto de divulgação do ranking de 2020, a editora do THE, Ellie Bothwell, se mostrou pessimista em relação as universidades brasileiras por conta das políticas públicas que vêm sendo colocadas em prática nessa área.

Ainda que em um cenário de contingenciamento, porém, segue sendo interessante analisar por que não há mais universidades brasileiras nas posições mais altas dos rankings. Isso porque, segundo o Reitor da IESB e Ex-Secretário de Educação Superior do MEC, Luiz Cláudio Costa, “o que mais interessa dos rankings é a organização [que eles fazem] de dados sobre ensino superior – o que propicia escolhas através de indicadores”.

“Os rankings trazem à tona a importância da discussão sobre qualidade da educação. E eles chegaram para ficar – mais de 30 países hoje têm programas de excelência no ensino”, afirmou ele em entrevista concedida durante o evento Quero Captação.

O que falta para as universidades brasileiras?

Com o objetivo de organizar as informações disponíveis, o portal Estudar Fora analisou as metodologias dos dois rankings mais usados atualmente – o da Times Higher Education (THE) e o QS World University Rankings (QS). O detalhamento de cada um deles pode ser visto no box abaixo. Depois, encontramos a instituição melhor colocada entre as universidades brasileiras e comparamos o desempenho dela ao da universidade em primeiro lugar.

Metodologia dos Rankings – Uma visão Geral

Comparar universidades em países diferentes não é uma tarefa fácil. Afinal, como se avalia uma universidade? Se considerarmos apenas a empregabilidade dos seus alunos, podemos deixar de lado a pesquisa, que é um dos objetivos norteadores das universidades. E se só olharmos para a pesquisa, podemos colocar no topo do pódio uma universidade que não prepara bem seus alunos para o mercado de trabalho.

Ao mesmo tempo, pode haver uma universidade  que seja relativamente boa em pesquisa e empregabilidade e, ao mesmo tempo, tenha uma contribuição excepcional para o seu país. Como fica claro, são muitos fatores diferentes que precisam ser analisados. E as metodologias dos rankings tentam fazer essa análise com base em dados quantificáveis, para atribuir uma nota final a cada instituição. Assim, no final, é só ver quem tem a maior nota.

Mas é claro que quando se busca transformar uma realidade complexa em números, pode-se acabar provocando distorções. Os números escolhidos podem favorecer ou prejudicar certas instituições, e por isso é necessário entender bem como essas metodologias de análise funcionam.

De forma ampla, tanto o ranking QS quanto o THE avaliam itens dentro de quatro categorias:

#1 Ensino

#2 Pesquisa

#3 Conexão com mercado 

#4 Internacionalização

Dentro desses itens, são contabilizados alguns indicadores objetivos, como número de professores por aluno e receita gerada no mercado. Mas há um fator subjetivo que também é considerado – a “reputação acadêmica”, que é resultado de uma pesquisa preenchida por respondentes da academia e do mercado, a nível global. Vale ressaltar, no entanto, é que Estados Unidos e Reino Unido são os países com maior representatividade entre os respondentes, enquanto que apenas 5% destes estavam na América Latina.

No THE, as pesquisas de reputação respondem por 33% por da nota geral; no QS, por 50%.

Antes de entrarmos na análise, é preciso ressaltar que não é só a metodologia que muda entre os dois rankings comparados. A forma de inclusão de universidades também tem diferenças. Em ambos, para ser elegível, é preciso ser uma instituição de ensino multidisciplinar – ou seja, escolas com foco em áreas específicas não entram no ranking geral – e ter ensino tanto em nível de graduação quanto em pós-graduação.

O Times Higher Education ainda adota um critério adicional: é preciso ter um nível de pesquisa acadêmico significativo, com um número mínimo de publicações. Isso pode ser um dos fatores pelos quais a Universidad de Buenos Aires e a Universidad Autonoma do Mexico, ranqueadas no QS à frente da USP e outras universidades brasileiras, não são sequer contabilizadas no THE.

A edição de 2020 do QS World University Ranking trouxe 1000 universidades; o Times Higher Education trouxe 1250. Ambos coletam e analisam os dados de um volume muito maior de universidades, mas publicam apenas as melhores posições. 

Vamos às universidades

Melhores Universidades do Mundo – Ranking QS 2020

• Mundo: MIT (Estados Unidos)
• América Latina: UBA, Universidad de Buenos Aires (Argentina)
• Brasileira: USP 

Principais quesitos em que a USP vai bem: 

• Reputação acadêmica
• Reputação com empregadores

Principais quesitos em que a USP vai mal: 

• Estudantes Internacionais
• Professores Internacionais

Porém, quando colocamos os pesos que são considerados na composição da nota geral, o fator que mais penaliza a Universidade de São Paulo são Proporção entre Professores e Estudantes e Citações por Professor.

Uma Lupa nos números

Nos dados do ranking de 2019, a USP contava com 66.214 estudantes – sendo 65% deles em cursos de Graduação – e 5.116 professores. A proporção resultante é de um professor para cada 13 alunos. 

Na comparação, a UBA, que tem o dobro de alunos, detém uma proporção de um professor para cada 7 alunos. Já o MIT, com apenas 11 mil estudantes, detém a proporção impressionante de um professor para cada quatro alunos.

Este indicador é tão relevante que coloca a UBA à frente da USP, mesmo apresentando indicadores de reputação acadêmica e citações bem abaixo dela. 

Já no quesito Citações por Professor a USP já é destaque entre as universidades brasileiras e até na América Latina – sustentando indicadores 10 vezes maiores do que a UBA e a UAM, a segunda melhor da América Latina. 

Isto é um reflexo da produtividade dos seus pesquisadores e também da sua vocação para pesquisa – que se desdobra também na porcentagem de estudantes matriculados em cursos da pós-graduação. Enquanto a UBA tem 7% dos seus alunos matriculados na graduação e a segunda melhor, Universidad Nacional Autónoma de México, tem 21%, a USP tem 45% – número mais próximo do MIT, que é de 60%.

Melhores Universidades do Mundo – Ranking THE 2020

• Mundo: Universidade de Oxford (Reino Unido)
• Entre os BRICS: Tsingua (China)
• América Latina: USP (Brasil)

Principais quesitos em que vai bem:

• Ensino
• Receitas do Mercado

Principais quesitos em que vai mal:

• Citação
• Internacionalização

Quando colocamos os pesos que são considerados na composição da nota geral, os fatores que mais penalizam a Universidade de São Paulo são Citações e Pesquisa.

Lupa nos números 

Estes dados são reflexo do peso maior que o ranking Times Higher Education coloca em pesquisa – indicadores relacionados a esta área respondem por 60% da nota final. 

O indicador de Citações por Pesquisador é bastante direto – e se poderia dizer que reflete um desafio comum para a disseminação do conhecimento produzido nas universidades brasileiras: a barreira do idioma. De fato, o Brasil está entre os 20 países com maior produção científica, mas possui apenas 12 pesquisadores entre os mais citados do mundo – em uma lista com mais de 6 mil nomes.

Já o segundo indicador, de Pesquisa, inclui três subindicadores: Income, Productivity, Reputation Survey. A Times Higher Education não disponibiliza os dados quebrados por subindicadores. 

Porém, um cruzamento dos dados de outro ranking pode jogar luz ao que mais nos penaliza. A Times Higher Education também elabora um ranking apenas com os dados da pesquisa de reputação, em que aparecem apenas as 100 melhores colocadas. Neste ranking, a USP está entre as 90. 

Por isso, pode-se concluir que os dados de receita e produtividade dos setores de pesquisa da Universidade são os que mais puxam o indicador geral para baixo .

Como usar estes indicadores para melhorar a qualidade de ensino das universidades brasileiras?

Nos últimos 10 anos, o grande destaque dos rankings vem sendo o gradativo crescimento de universidades de países asiáticos. Através de investimentos massivos no setor, universidades da China, de Hong Kong e Singapura foram capazes de expandir em acesso sem perder a qualidade. “Eles investiram no básico – na formação, atualização e valorização dos professores”, explica o professor Luiz Costa.

Para superar a barreira da língua, algumas instituições reforçaram a oferta de disciplinas em inglês em seu currículo e o estabelecimento de parcerias internacionais – inclusive e especialmente com instituições renomadas. 

Os rankings certamente não trazem soluções prontaspara as universidades brasileiras. Mas ajudam a apontar caminhos – tanto por permitir aos gestores das instituições terem visibilidade sobre nossos indicadores atuais, como pela possibilidade de aprender com outros países que conseguiram elevar suas universidades a referências mundiais. 

“A “Harvardização” das universidades certamente não é o caminho”, conclui Luiz Cláudio Costa. “Precisamos de instituições para diferentes perfis. No Brasil, já garantimos a expansão de acesso – é preciso, agora, subir a régua da excelência”.

Times Higher Education (THE) A THE diz ter o método de avaliação mais completo e equilibrado. Eles avaliam 13 fatores diferentes, distribuídos em 5 categorias: Teaching (ensino), Research (pesquisa), Citations (citações, que medem a influência da pesquisa), International Outlook (internacionalização) e Industry Income (receita da indústria, uma forma de medir quanto do conhecimento produzido na universidade chega ao mercado). Essas cinco categorias têm pesos diferentes, e os fatores dentro de cada uma delas tem um peso diferente também Ensino (30%)A categoria ensino responde por 30% da nota das universidades no ranking da THE. Esses 30%, no entanto, são divididos em 5 fatores, sem peso igual. O número de professores para cada aluno, por exemplo, responde por 4,5%; o número de professores com doutorado, por sua vez, por 6%. Também recebem 2,25% cada um os dois fatores a seguir: a razão entre alunos no doutorado e alunos no bacharelado, e a receita institucional. A renda é ajustada segundo o número de funcionários da instituição e corrigida para PPC (paridade do poder de compra), para que seja possível comparar a renda em moedas diferentes. Somando os 4 fatores já mencionados, são 15%. Os outros 15% são compostos pelo “Reputation Survey“, ou “Pesquisa de Reputação”. Essa pesquisa é um questionário que só pode ser respondido por pesquisadores experientes, de diversas áreas, a convite da THE. Mais informações sobre a metodologia dessa pesquisa podem ser vistas aqui. Um dado que vale ressaltar, no entanto, é que na versão mais recente da pesquisa, apenas 5% dos respondentes era da América Latina. Pesquisa (30%)Essa categoria é dividida em três partes: a renda, a produtividade e a reputação da pesquisa realizada na universidade. Os dois primeiros fatores (renda e produtividade) respondem por 6% cada. A renda, assim como a renda do ensino, é ajustada de acordo com o número de pesquisadores e corrigida para PPC. Segundo o THE, ela também é “normalizada” para refletir o perfil de cada instituição, já que os repasses para pesquisas nas áreas de exatas e biológicas costumam ser maiores que para humanas. A produtividade, por sua vez, é medida pelo número de publicações em periódicos acadêmicos indexados pela base de dados Scopus, da Elsevier. O número também é ajustado de acordo com o número de pesquisadores, e “normalizado” segundo a área da pesquisa. O objetivo desse fator, segundo o THE, é “dar uma ideia da habilidade da universidade em publicar seus artigos em periódicos de qualidade”. Já reputação corresponde a 18% dessa nota. E, novamente, ela é dependente da mesma pesquisa citada acima, a Academic Reputation Survey, feita com pesquisadores selecionados do mundo todo. Citações (influência da pesquisa – 30%)Para avaliar quanto a pesquisa daquela universidade é relevante numa escala mundial, a THE olha para o número de vezes em que os trabalhos publicados de uma universidade são citados globalmente. Na edição mais recente do ranking, foram examinadas 67,9 milhões de citações em mais de 14,1 milhões de artigos, conferências, livros e capítulos dos últimos 5 anos. A THE também “normaliza” esse número para refletir variações entre áreas de pesquisa diferentes. O objetivo disso é impedir que universidades que tenham uma tradição muito forte em áreas de pesquisa nas quais citações são muito comuns e numerosas não acabem tendo uma vantagem desleal. Internacionalização (7,5%)A categoria de internacionalização pontua universidades conforme a proporção de pessoas de outros países que elas têm. A ideia dessa categoria é premiar universidades que promovam colaboração internacional. Ela é composta por três fatores, cada um dos quais equivale a 2,5% da nota total: proporção de alunos internacionais, proporção de funcionários internacionais e “colaboração internacional”. Esse último fator é determinado pela proporção das publicações de uma universidade que têm ao menos um co-autor de outro país. Receita da indústria (2,5%)Essa categoria avalia quanta renda a universidade recebe da indústria, ajustada para PPC e corrigida de acordo com o número de funcionários da instituição. Ela é uma maneira de verificar quanto o mercado está disposto a pagar pela pesquisa gerada na universidade, e a competitividade dessa pesquisa num mercado comercial. É uma maneira de avaliar a relevância da pesquisa da universidade para o mercado.

 

QS World Rankings (QS) Embora o QS use uma metodologia diferente, ela é semelhante à do THE em diversos aspectos. O principal deles é que boa parte das notas das universidades é dependente de reputação. Além disso, ele também avalia as universidades segundo a proporção de professores por alunos e segundo o número de citações, mas atribui pesos diferentes a cada um desses fatores. São no total, seis métricas usadas pelo QS, e vamos falar a seguir de cada uma delas. Reputação acadêmica (40%)A reputação acadêmica responde por 40% da nota das universidades no ranking da QS. Ela é uma espécie de soma das métricas de “reputação da pesquisa” e “reputação de ensino” do ranking do THE, mas no final tem um peso ainda maior. Assim como o THE, o QS usa uma pesquisa específica para avaliar essa métrica. Trata-se do “Academic Survey”, e a QS diz que sua pesquisa é “a maior de seu tipo”, com mais de 83 mil respostas. Mais detalhes sobre ela podem ser vistos aqui. Um dado que salta aos olhos é que os países com a maior porcentagem de respondentes são Reino Unido e Estados Unidos. Reputação entre empregadores (10%)A QS reserva 10% de sua nota total à reputação que as universidades tem entre empregadores. Isto é, a visão que os empregadores tem sobre uma universidade é importante para compor sua nota final. Segundo a QS, “avaliar quanto sucesso as instituições tem [em preparar os estudantes para o mercado] é essencial para um ranking cujo público principal é a comunidade global de estudantes”. Em outras palavras: como os alunos veem as universidades também como um meio de se inserir no mercado, faz sentido perguntar aos empregadores o que eles acham de cada universidade. Para isso, a QS usa uma pesquisa semelhante à Academic Survey do quesito anterior. É a Employer Survey, que segundo a QS também é a maior do seu tipo, com mais de 43 mil respostas. Esse questionário pergunta aos empregadores alguns dados sobre sua empresa, e pede que eles identifiquem as 10 principais instituições de ensino em seu país e internacionalmente. Também permite que eles acrescentem informações adicionais que julgarem relevantes. Proporção entre professores e alunos (20%)Para avaliar a qualidade do ensino das universidades de maneira mais direta, a QS verifica a proporção entre professores e alunos de cada universidade. A ideia é que quanto mais professores por aluno, melhor o ensino. Isso porque cada professor pode, em tese, dar mais atenção a cada estudante, e os alunos tem mais acesso aos professores para propor ideias, tirar dúvidas e interagir de modo geral. Citações por docente (20%)A pesquisa é outro fator que o ranking QS busca avaliar. E, para isso, a métrica que ele escolhe é a de citações por docente. Ou seja: ele pega o número total de citações recebidas por todas as publicações feitas por aquela universidade num período de cinco anos e divide-o pelo número total de docentes naquela universidade. No entanto, as citações são “normalizadas” antes de serem contabilizadas. Isso porque algumas áreas de estudo geram muito mais citações do que outras: por exemplo, segundo o QS, desde 2015 mais de metade de todas as citações do mundo vem da área de ciências biológicas. Vem daí a necessidade de “normalizar” esse número. As publicações também vem da mesma database Scopus, da Elsevier, usada no ranking da THE. Proporção de estudantes e docentes internacionais (10%)Assim como o ranking da THE, a QS também busca avaliar o grau de internacionalização das universidades. Por isso, 10% da nota total das universidades vem do número de alunos e professores de outros países presentes lá. A proporção de alunos internacionais na universidade responde por 5% da nota total, e a proporção de docentes internacionais por outros 5%.

 

* Foto em Destaque: Universidade de São Paulo, Rafael Vianna Croffi / CC BY 2.0