O "Ranking Folha de Universidades" e a dimensionalidade da avaliação do sistema de universidades federais no Brasil
É natural que haja um grande interesse em avaliar as instituições de ensino superior no Brasil (e em qualquer lugar do mundo, de fato), considerando o grande investimento público e a necessidade de formar recursos humanos altamente qualificados em todas as áreas do conhecimento e com alta inserção social. Quando um jovem quer escolher onde estudar, ele ou ela sabe que a escolha da Universidade é um dos fatores importantes em termos de seu sucesso profissional futuro, considerando a qualidade do processo de formação durante 4 anos ou mais. Além disso, se considerarmos que a maior parte da pesquisa no Brasil é feita em instituições públicas, como já discutimos diversas vezes, é importante entender o desempenho das Universidades Brasileiras e sua inserção internacional.
Nos últimos anos diversos índices e “rankings” de Universidades passaram a estar disponíveis e sempre que os dados são atualizados (normalmente uma vez por ano) há grande interesse em classificar e identificar quais as melhores Universidades e instituições, para diferentes componentes. Esses rankings podem ser internacionais (ver por exemplo o World University Ranking) ou nacionais. Há pouco mais de 2 semanas foram divulgados os resultados do Ranking Universitário Folha (RFU), que é um dos mais prestigiados e conhecidos do Brasil, organizado pelo Datafolha (ligado ao jornal “Folha de São Paulo). A edição 2019 do RFU era aguardada, claro, com muita expectativa, inclusive porque neste momento de ataques explícitos ao papel das universidades públicas no Brasil pelo próprio Ministério da Educação (MEC), seria inevitável que os resultados do ranking fossem bastante explorados pela mídia.
O RFU é construído a partir de escores (vamos chamar de notas, para simplificar) atribuídas a 5 componentes, com diferentes pesos: ensino (32%), pesquisa (42%), inovação (4%), mercado (18%) e internacionalização (4%). Cada um desses componentes é obtido a partir de diversas variáveis, obtidas de diversas fontes e com pesos diferentes. Por exemplo, para o componente “Pesquisa”, que pesa 42% na nota final, são obtidos, para cada uma das diversas Universidades no Brasil, dados referentes ao total de artigos científicos publicados pela Universidade (no Brasil e no exterior), o número médio de artigos e de citações por docente, os recursos para pesquisa captados pelos docentes, a proporção de bolsistas de produtividade do CNPq no corpo docente, o número de teses defendidas por docentes (cada um desses itens com um peso específico). Já o componente de “mercado”, por sua vez, é dado pela percepção de empregadores em termos de preferências de contratação, a partir de uma pesquisa original do Datafolha.
Uma vez obtidas as notas de cada componente (e a nota final, dada pela soma dos componentes), é possível ordenar e criar uma ordem (um “rank”, ou ordem) das Universidades, para cada um desses componentes ou para a nota global. Esse é o “ranking” (uma ordenação) que é divulgado e mais facilmente interpretado, e você mesmo pode acessar o website da Folha de São Paulo e explorar bastante essa base de dados. Podemos ver, por exemplo, que a USP é a primeira na classificação geral (seguida de perto pela UNICAMP), e que a UFRJ é a universidade federal melhor classificada (ocupando o 3ª. lugar na classificada geral). Vemos também notícias dizendo, por exemplo, que dentre as 20 universidades melhor classificadas nesse ranking, apenas 2 são privadas (as PUCs do Rio Grande do Sul e do Rio de Janeiro) e as demais são públicas, e isso é importante considerando as críticas recentes do próprio MEC ao sistema público de ensino superior (especialmente o Federal; vejam que em 3 dos 5 componentes a melhor Universidade é federal: a UFMG em ensino, a UFRJ em inovação e a UFABC em internacionalização).
É possível ainda fazer o download dos dados do website e utilizar um programa estatístico para explorar bem mais os dados. Por exemplo, podemos comparar a nota geral das IES públicas e privadas para o total de 197 universidades analisadas, ou das diferentes fontes de financiamento das públicas (federais, estaduais e municipais) (veja a Figura abaixo; já fizemos uma comparação semelhante em uma postagem anterior, envolvendo a avaliação dos cursos de graduação pelo MEC). Vemos que as Universidades Federais possuem, em média, as maiores notas (e apesar das Estaduais de São Paulo – USP, UNESP e UNICAMP – e algumas outras, como a UEL e UEM do Paraná, possuírem uma posição de maior destaque, elas são uma exceção entre as universidades estaduais). Em média, as universidades privadas possuem notas bem inferiores às federais, embora também haja muita variação nesse grupo, especialmente considerando as instituições com e sem fins lucrativos (como as PUCs, que possuem 2 instituições entre as 20 melhores Universidades em termos de nota final).
É inevitável e natural que os resultados de ordenações como o RFU rapidamente se tornem propaganda para as instituições melhor classificadas (e objeto de disputas em bares, algo como “...vejam, a minha instituição é a melhor do Brasil nesse componente, ou a melhor dentre as várias instituições do meu Estado”). Mas chega disso...E se, ao invés de focarmos no padrão em si, ou seja, na ordem das Universidades nos componentes, tentarmos entender o porquê dessa posição?
Vou me concentrar nas universidades federais, tanto porque há fatores comuns em termos de financiamento e estrutura administrativa quanto pelas críticas já mencionadas e bem conhecidas...Vou focar inicialmente apenas nos dados da nota final de 54 universidades federais (algumas poucas instituições foram excluídas por falta de dados, ou por serem criadas há muito pouco tempo) e relacionar essa nota a 3 “fatores externos”: a região geográfica (norte, nordeste, sul, sudeste e centro-oeste), o orçamento da instituição (dados da ANDIFES, referentes ao ano de 2019) e o ano de fundação da instituição. É possível, por meio de uma avaliação visual (veja a figura a seguir), perceber que instituições com maior orçamento e mais antigas tendem a ter notas mais elevadas. Ao mesmo tempo, apesar de muita variação, as instituições do Sudeste tendem a ter notas um pouco mais elevadas, e as da região Norte notas menores.
Podemos então “modelar” a nota geral em função desses três fatores utilizando uma técnica que chamamos de "regressão parcial". Inicialmente, já posso adiantar que conseguimos “explicar” 84% da variação da nota da instituição pelo efeito dos 3 fatores, mas cada um deles possui uma influência diferente. Por exemplo, o efeito do orçamento é de 64%, enquanto que o do ano é de 49%. Mas como dois fatores podem explicar mais do que 100% da variação nas notas? Não faz sentido, em princípio... Mas isso ocorre porque, de fato, esses fatores externos não são "independentes" entre si e, no caso, o que acontece é que instituições mais antigas possuem maior orçamento (a correlação entre essas variáveis é de 0,8; vamos lembrar que o coeficiente de correlação - de Pearson - varia entre 1,0 e -1,0, para duas variáveis perfeitamente relacionadas de modo positivo e negativo, respectivamente; se não há correlação entre as variáveis o coeficiente tende a zero). Então, os dois efeitos são sobrepostos, mas a regressão parcial nos permite justamente separar os efeitos “únicos” de cada fator e os efeitos “compartilhados”. Representamos os resultados da regressão parcial por meio de círculos superpostos, apresentados na Figura abaixo.
Podemos ver que o efeito “único” do orçamento é de 13%, e que há 40% de compartilhamento com o ano de fundação (além de 4% de compartilhamento com o efeito da região e 7% de compartilhamento geral, de modo que somando temos o efeito total do orçamento, que é de 64%). Então, a partir dos efeitos únicos e compartilhados, podemos entender que a Nota no RFU, para as Universidades federais, é principalmente função do efeito conjunto do orçamento e da idade da instituição, com efeitos únicos menores da orçamento e região (ou seja, independente do ano e do orçamento, as instituições da região Norte têm notas menores, e independente da idade e da região, se uma instituição por qualquer razão tem um orçamento maior, ela tende a ter maior nota).
É possível repetir essas análises para os diferentes componentes, mas os resultados são similares para todos eles (apenas ensino apresenta um padrão um pouquinho diferentes, com um efeito maior da região). Mas essa ideia de explorar cada nota independente abre espaço para uma questão interessante...Vimos que a USP é a primeira instituição em pesquisa e mercado, mas que a UFMG é a melhor em ensino, e a UFABC em internacionalização. Então, cada componente possui uma ordem um pouco diferente...Sim, há alguma mudança, mas se nós avaliarmos as 20 melhores universidades, elas tendem a aparecem em praticamente todos os componentes. Podemos avaliar de uma forma mais sistemática esse padrão comum calculando, novamente, as correlações entre as notas dos 5 componentes e montar uma matriz (abaixo). Essa matriz mostra a correlação entre os pares de componentes, é uma matriz quadrada e simétrica, de modo que a correlação entre ensino e pesquisa, igual a 0,89, é a mesma que entre pesquisa e ensino (e notem que a diagonal da matriz é igual a 1,0) Em geral as correlações são elevadas, maiores do que 0,5 ou 0,6 (apenas uma referência...), com um valor médio igual a 0,68.
Isso significa então que os diferentes componentes do RUF estão correlacionados entre si, ou seja, quando uma instituição tem uma boa posição em um dos componentes, ela tende a ter uma boa posição nos outros componentes também. Podemos usar uma outra técnica estatística chamada Análise de Componentes Principais (ACP) para tentar sintetizar essa matriz acima e entender se existem ou não direções gerais de variação, ou dimensões diferentes de variação (chegamos finalmente o título da postagem...!). O que quero dizer é que se eu estou descrevendo um sistema com base em 5 variáveis (e mais os efeitos do orçamento, ano de fundação e região, se quiser), mas na realidade todos estão muito correlacionados, então na verdade o sistema possui uma baixa dimensionalidade. Ou seja, na verdade eu não preciso de todos esses descritores, eles estão todos na mesma direção e, de modo geral, dizendo a mesma coisa!
Aplicando a ACP, vemos inicialmente que só precisamos realmente de uma única dimensão para descrever a matriz acima (há vários “testes” para chegar a essa dimensionalidade). Essa dimensão, novamente, “explica” 72% da variação dos dados, ou seja, podemos usar um único eixo (que chamamos de primeiro componente principal) que vai descrever a maior parte da variação entre os componentes das universidades. Esse eixo, de fato, está muito correlacionado com a nota geral do RFU (0.96), já que essa nota é de fato a soma dos componentes e, por sua vez, a nota final está muito relacionada ao ano e ao orçamento, como já vimos. Cada um dos componentes, e mais o orçamento e o ano de fundação, possuem coeficientes no primeiro componente principal, que estão representados nas setas da figura abaixo (separei as notas dos componentes do RFU e os efeitos do orçamento e do ano de fundação apenas para fins de ilustração; não inclui aqui a região por se tratar de uma variável categórica).
Bom, podemos tirar várias conclusões ao interpretar todos esses padrões que descrevi acima a partir do RUF. Primeiro em relação à correlação entre as notas dos 5 componentes. A primeira delas ideia é que essa correlação tende a refletir, pelo menos em parte, questões mais metodológicas sobre a definição das variáveis utilizadas. Por exemplo, poderíamos pensar que algumas dessas variáveis refletem “tamanho” da instituição (por exemplo, número total de artigos ou de citações), o que nesse caso explicaria as relações com o orçamento (já que o orçamento das federais é, de fato, definido por um modelo da ANDIFES que leva em consideração esse “tamanho”, em termos de número de alunos, docentes, número de cursos etc). Mas, por outro lado, a maior parte das variáveis é expressa na forma de percentagens e proporções (por exemplo, proporção de bolsistas de produtividade do CNPq no corpo docente) ou médias, e algumas delas são simplesmente efeito de percepção do mercado ou dos professores dos diferentes cursos (e ai talvez a idade da instituição poderia ter mais efeito; mas mesmo assim isso tende a capturar o “prestígio” da instituição, acho).
Assumindo que os efeitos metodológicos descritas ligados ao “tamanho” não são preponderantes, a segunda interpretação é bem mais interessante, nos levando de volta ao tripé ensino-pesquisa e extensão e à indissociabilidade desses componentes, que já discutimos diversas vezes. O que vemos nas análises é que existe um forte “gradiente de qualidade” nas universidades federais, que permeia todos os componentes do RUF, sendo difícil dizer que uma universidade é melhor em um desses componentes do que em outro, de modo geral (claro, podemos fazer os rankings individualmente, com discutimos no início, mas isso não é muito relevante se olhamos o conjunto total dos dados, e há poucas diferenças entre essas ordenações). Como discutimos anteriormente, a ideia geral é que a Universidade é uma instituição de ensino diferenciada justamente porque envolve pesquisa e extensão. Discutimos inclusive um acoplamento entre os dois tripés de “Ensino, Pesquisa e Extensão” e “Ciência, Arte e Cultura”, chamando atenção para a universalidade do conhecimento. Mais importante, insisti que o princípio constitucional da indissociabilidade entre as três atividades implica que estas sejam equivalentes e que se auto reforçam. Então, pensando no “eixo principal” do gradiente de qualidade, o foco das Universidades seria melhorar a pesquisa para melhorar o ensino (ou vice-versa? correlação não implica em causa, esse é um dos “mantras” tradicionais que sempre ouvimos nos cursos de estatística...). Ou melhorar o orçamento? Isso significa então que se, de imediato, aumentarmos o orçamento de uma universidade federal de pequeno porte, ela vai alcançar o patamar de instituições consolidadas como a UFMG, UFRGS e UFRJ? Não de imediato, claro, pois é preciso lembrar que a idade e a região também possuem efeitos sobre o nota...Mas, de qualquer modo, se o gradiente é tão forte, essa é uma interpretação, no mínimo, plausível!
Independente da causalidade envolvida nas relações detectadas e apresentadas aqui, o padrão de correlação é muito forte entre os diferentes componentes, demonstrando que o princípio de indissociabilidade realmente se aplica, ou pelo menos emerge como uma propriedade geral do sistema. Ou seja, para que uma instituição seja forte em ensino, ela precisa ter uma boa pesquisa e extensão e assim ser bem avaliada, ou percebida, pela sociedade como um todo. Ao mesmo tempo, vemos que esse componente principal de qualidade é fortemente associado ao financiamento da instituição e à sua idade, além do efeito regional. Isso pode ser interpretado no sentido de que a própria consolidação do tripé está ainda em curso e que existe uma dinâmica em andamento, tanto no espaço quanto no tempo (por causa das desigualdades regionais históricas no Brasil). Isso deveria ser considerado ao julgar uma universidade ou seus cursos em termos de qualidade. Isso pode parecer óbvio, mas muitas políticas e críticas ao sistema (especialmente nos últimos meses...) parecem desconhecer ou ignorar isso. De fato, vimos essa dinâmica acontecer aqui na Universidade Federal de Goiás e em outras instituições federais de menor porte depois do Programa de Expansão das Universidades Federais, o REUNI, a partir de 2009 (aliás, diga-se de passagem, que foi implementado no segundo mandato do Presidente Lula, com Fernando Haddad à frente do MEC...). Ainda há um longo caminho a percorrer, mas a melhoria de qualidade “ao longo” do eixo formado pelos componentes do RFU é perceptível, principalmente a partir de 2009.
Outra consequência do gradiente de qualidade expresso no primeiro componente principal refere-se à própria classificação das Universidades. Se há um gradiente, um continuum, e especialmente se conseguimos entender esse gradiente em termos de orçamento, idade e região, será que faz sentido, por exemplo, falar em “universidades de pesquisa” (em contraposição às “universidades de ensino”)? Essa expressão é utilizada para contrastar universidades nas quais as atividades de pesquisa são muito fortes, como é o caso da USP ou UNICAMP, ou das Universidades federais mais consolidadas como UFRJ, UFRGS, UFPE ou UFMG, bem colocadas no RFU e com escores elevados no componente principal das nossas análises. Embora certamente as universidades se diferenciem nesse sentido, na prática essa classificação “em si” não muito faz sentido, pois é sempre arbitrário dividir um continuum. Até entendo que se usa essa expressão para chamar atenção para o fato de que aquela Universidade é muito boa e muito produtiva, mas o temos na verdade é um gradiente em função do financiamento que, por sua vez, está ligado à história e aos padrões de desenvolvimento regional. Conceitualmente, como já discutimos várias e várias vezes aqui no blog, se de fato se a ideia do tripé e da indissociabilidade de seus componentes de ensino, pesquisa e extensão funciona, então realmente a alta qualidade em pesquisa deve se transferir para o ensino e a extensão (que nesse caso do RFU aparece, em um certo sentido, nos componentes de mercado e de inovação), por vários mecanismos. Isso é o que estamos vendo nas nossas análises. Mas já houve no passado propostas explicitas do Governo de criar esse tipo de diferenciação entre as Universidades (ou melhor, criando diferentes “tipos” de Instituições de Ensino Superior, algumas focadas em ensino e outras com foco em pesquisa e alto nível de excelência). Mas, além da questão prática de quebrar arbitrariamente um continuum e comparar (talvez de forma injusta) instituições com condições diferentes, acho que isso envolve uma série de problemas na própria definição de Universidade, como já discutimos.
Em resumo, pensando na qualidade das universidades (federais), o que temos certamente é um gradiente ao longo de um eixo combinado de ensino, pesquisa e extensão que se move com o tempo e sugere, sendo otimista, que se mantivermos o investimento e as políticas de desenvolvimento regional, eventualmente as universidades tenderão ao equilíbrio e alcançarão bons patamares em termos de qualidade de modo geral!