A Falsa Medida da Quadrienal...

Nesta última semana foram liberados os resultados da avaliação da CAPES referentes ao quadriênio 2017-2020, depois de uma longa espera (os resultados deveriam ter sido divulgados há pelo menos 10 meses, em tempos normais...). Esse é sempre um grande momento para a Academia no Brasil, inclusive porque já sabemos que boa parte da pesquisa cientifica e o desenvolvimento tecnológico do país dependem dos Programas de Pós-Graduação (PPGs), com os cursos de Mestrado e Doutorado. Só relembrando rapidamente, os PPGs no Brasil são avaliados periodicamente (a cada 4 anos, atualmente) pela CAPES, que é o órgão do Ministério da Educação responsável por organizar todo o Sistema Nacional de Pós-Graduação (SNPG), em termos de fomento e avaliação. Os PPGs recebem notas de 1 a 7, sendo que os Mestrados devem atingir pelo menos a nota 3 para continuarem reconhecidos pelo MEC, enquanto os PPGs que também possuem o nível de Doutorado devem receber pelo menos nota 4. Por outro lado, os PPGs que recebem nota 6 e 7 são aqueles de “excelência” acadêmica, equivalentes a cursos internacionais de alto nível em suas áreas de avaliação, e possuem alguns benefícios especialmente no que tange à maneira como são alocados e gerenciados recursos financeiros e bolsas para os alunos. Toda essa avaliação é feita por comitês montados por cada uma das 49 áreas de conhecimento da CAPES, para as quais temos um coordenador de área e dois adjuntos, que são professores e pesquisadores eleitos pela comunidade acadêmica (e indicados pela Presidência da CAPES a partir de uma lista tríplice).

A avaliação da CAPES é muito mais tradicional do que a avaliação mais recente dos cursos de graduação e tem, ao longo dos últimos 40-50 anos, guiado e norteado os avanços na Ciência, Tecnologia e Inovação (C&T) no Brasil. Não é sem razão que diversos indicadores da produção cientifica no Brasil e a sua posição relativa a outros países é bem melhor do que vemos em outros indicadores (embora isso esteja começando a mudar nos últimos anos...). Sempre fui conceitualmente um grande defensor das avaliações da CAPES e, como já coloquei aqui várias vezes, vivi tudo isso sob diferentes pontos de vista, como coordenador de PPG algumas vezes, participando dos comitês de avaliação da CAPES, como coordenador-adjunto da área de Ecologia e Meio Ambiente, e como Pró-Reitor de Pós-Graduação da UFG. Entretanto, no contexto em que vivemos no país hoje as coisas se tornaram muito mais complicadas...Sempre gostei de um mote que dizia algo como “...A CAPES somos nós”, mas nos últimos tempos não tenho muita coragem de insistir nessa ideia, mesmo sabendo que muitos colegas queridos ainda estão envolvidos e querem participar, discutir e melhorar honestamente o SNPG.

Essa divulgação dos resultados da Quadrienal 2017-2020 ocorre em um período extremamente turbulento na CAPES e no sistema de C&T brasileiro como um todo, inclusive depois de um longo processo de judicialização do processo de avaliação que já tivemos a oportunidade de discutir. Os resultados “parciais” foram liberados há cerca de 15 dias atrás, mas apenas para os coordenadores dos PPGs e Pró-Reitores das Instituições, por meio do acesso restrito à plataforma SUCUPIRA. Esses resultados não poderiam ser divulgados mesmo no âmbito interno do PPG, para os docentes e discentes, com a ameaça de que essa divulgação seria ilegal em função do processo que estava tramitando na justiça. Muito frustrante, exceto para os poucos “imbrocháveis” que porventura existam nesse nosso meio restrito...Além disso, estamos agora assistindo a mais uma série de problemas complicadíssimos envolvendo a sucessão dos coordenadores de área, que está acontecendo de forma intempestiva e revelando, mais uma vez, interesses escusos e a politização de baixo nível que dominou os níveis mais altos da gestão da CAPES e do MEC. As Sociedades Científicas, nesse caso a SBPC, já questionaram todo esse processo, e enquanto escrevo essa postagem entendo que os coordenadores de algumas áreas estejam literalmente “em greve”, em um protesto absolutamente legítimo contra mais um absurdo na condução de um dos órgãos mais importantes para a Ciência brasileira. Desnecessário dizer (mas já dizendo...), que isso nunca aconteceu antes, nunca tivemos tão no fundo do poço! Invertendo o sentido original da frase, "nunca antes na história deste país…"

Mas, voltando à divulgação dos resultados da Quadrienal. Ao longo da semana passada chegaram as notícias de que a CAPES havia assinado um acordo com o MP (também à revelia do Conselho Superior da CAPES, como está na carta da SBPC...) e que em breve seria permitido divulgar o resultado, o que ocorreu finalmente no dia 12 de setembro. A partir desse momento, começamos a receber as notícias do desempenho dos PPGs das nossas áreas de avaliação e das nossas Instituições de modo mais amplo. As redes sociais (na minha bolha, claro!) ficaram inundadas dessas notícias, tanto dos próprios PPGs e seus docentes e discentes, quando divulgações mais gerais das Universidades mostrando quantos dos seus programas tinham aumentado suas notas. Algumas, como a Universidade Federal de Sergipe, onde fiz minha graduação em Ciências Biológicas no final dos anos de 1980, comemoravam o primeiro PPG a alcançar os patamares de excelência! Eu mesmo fiz uma postagem no Facebook/Instagram chamando atenção para a figura abaixo, que mostra o aumento no número de PPGs que alcançaram nota 6 e 7 na Universidade Federal de Goiás, comparando à época do que tínhamos quando eu era Pró-Reitor de Pós-Graduação, entre 2014 e 2016! Passamos aqui na UFG de 2 para 8 PPGs com nível de excelência, um resultado realmente espetacular e que seria justamente o esperado pelo nosso “tamanho”, excelente!

Mostrei no nosso evento atual de ensino, pesquisa e extensão da UFG (CONPEX) de 2015 uma série de análises da Pós-Graduação nas Universidades Federais, com foco na posição relativa da nossa instituição. Fiz essa figura mostrando que, considerando o seu “tamanho” (o eixo X, que é uma síntese por uma Análise de Componentes Principais a partir de 20 variáveis sobre orçamento, número de docentes, número de alunos, número de cursos, etc), a UFG deveria ter 8 PPGs com nível de excelência! Na época os doutorados ainda eram relativamente novos e tínhamos apenas 2 PPGs de Excelência (os PPGs em “Ecologia & Evolução” e em “Geografia”, com nota 6), e apenas outros 5 PPGs com nota 5. Agora, 10 anos depois desse resultado do triênio 2010-2012, chegamos exatamente ao valor esperado por esse modelo simples!!! Claro, muitas outras IES federais devem ter também melhorado suas notas e aumentado seus números de PPGs de excelência, de modo que todo o gráfico inteiro pode ter se deslocado um pouco ao longo do eixo Y... Mas, de qualquer modo entendo que foi uma predição legal à época e espero que, de alguma forma, tenha motivado os PPGs a melhorarem seus indicadores!

Esse momento da divulgação dos resultados da quadrienal da CAPES, como falei, é algo tradicionalmente muito aguardado pela comunidade científica e quando ele acontece vemos todo tipo de reação. Temos, claro, a comemoração pelos PPGs e instituições dos PPGs que melhoraram, ao mesmo tempo em que temos as frustrações daqueles que não conseguiram melhorar suas notas ou daqueles que, infelizmente, tiveram suas notas reduzidas. Temos coordenadores e coordenadoras de PPGs que entendem e aceitam os resultados, outros e outras questionam, alguns com razão (é sempre possível haver erros ou enganos por parte do comitê, claro), outros nem tanto. Temos preocupações com questões menores ou mais pontuais, como indicadores ou métricas específicas que foram utilizados e que podem ter causado problemas particulares, mas temos aqueles que fazem questionamentos mais amplos, sobre a necessidade da avaliação, o foco em produção científica e a dificuldade em medir sua “qualidade”, e mesmo a lógica do SNPG como um todo. Temos toda a discussão sobre as desigualdades regionais e sobre como PPGs que estão começando as suas atividades em tempos de crise podem ter alguma perspectiva de crescimento, como relatado anteriormente aqui na postagem do meu colega Fernando Pelicice da UFT.

Sem dúvida, é um momento de reflexão, em diferentes “escalas”, e temos que pensar o que queremos para os nossos PPGs e quais as implicações disso tanto em termos profissionais quanto pessoais (sim, isso mesmo, porque se manter atualmente como docente de PPG implica, em geral, em pouco reconhecimento pela instituição e um nível MUITO mais alto de cobrança quando comparado aos demais docentes que não atuam nos PPGs...). Vamos discutir tudo isso com mais calma em um momento seguinte, agora que sabemos melhor o que aconteceu em termos de avaliação, métricas e indicadores, nos últimos 4 anos.

Mas, no meio de todas essas reflexões e conversas nessa última semana, meu colega Sérvio Ribeiro, docente da Universidade Federal de Ouro Preto, e meu aluno de Doutorado aqui no PPG em Ecologia e Evolução da UFG, Igor Bione (que participou ativamente da diretoria da Associação dos Pós-Graduandos de Goiás, APG), me chamaram atenção para um aspecto “curioso”. Não temos os números totais ainda, mas pensando apenas em algumas instituições e nos PPGs com os quais temos mais aproximação por causa das muitas parcerias científicas e o no que tenho visto na internet, podemos dizer que a Pós-Graduação no Brasil MELHOROU em termos de avaliação! Vemos muitos PPGs melhorando suas notas, muitos mantendo essas notas em níveis altos, e poucos diminuindo as notas. Excelente, claro, mas como é possível que isso tenha acontecido depois de passarmos os últimos 3-4 anos reclamando o tempo todo, inclusive aqui no “Ciência, Universidade e Outras Ideias”, de tantos problemas referentes a financiamento do sistema de C&T ? Nós reclamamos da falta de editais de projetos por cortes orçamentários nos níveis Federal e Estadual, reclamamos dos ataques às Universidades e do avanço do negacionismo e da pseudociência, certo? E os efeitos da pandemia? E a redução no número de bolsas, e a baixa procura pelos PPGs por causa do valor extremamente defasado dessas bolsas e a falta de oportunidade de emprego e falta de perspectivas em curto/médio prazo dos mestres e doutores? Será que os resultados dessa quadrienal não seriam então uma “falsa medida” do nosso desempenho e da situação atual da C&T, parafraseando o grande Steve Gould?

Fiquei com essa pulga atrás da orelha e comecei a refletir sobre essas conversas com Sérvio e Igor. Quero elencar a seguir alguns pontos que podem ajudar a entender esse aparente paradoxo. Não é algo exaustivo, e tenho certeza de que receberei, como sempre, um ótimo "feedback" dos colegas e amigos em relação a outras possibilidades. (deixem seus comentários, prometo que coloco como PS depois!) Mas acho importante termos pelo menos uma discussão inicial sobre isso, até para não sermos pegos de surpresa se confrontados com essa questão, se algum bolsominion disser algo como “...estão vendo, não estava tão ruim assim, os esquerdistas estavam exagerando, reclamando à toa”! Esse é um primeiro ponto importante: os ataques são reais, e os cortes aconteceram, não é só uma questão de propagando, exagero ou de “mi, mi, mi...”. Mas vamos lá, acho que alguns pontos importantes para considerarmos são os seguintes:

1) Primeiro, não podemos esquecer a questão da DEFASAGEM TEMPORAL, temos um enorme time lag entre as coisas acontecerem e realmente causarem um impacto na avaliação do SNPG. Há muita inércia no sistema, as coisas demoraram a mudar. Não podemos esquecer que o período de avaliação é 2017-2020, ou seja, apenas dados nesse intervalo de tempo são considerados. Estamos em 2022 e já estamos de fato "distantes" daquela época...E os eventos que geraram muitos desses dados são bem anteriores a isso. Por exemplo, se pensarmos em produção científica, que é um forte componente da avaliação em diversos aspectos, o time lag é realmente enorme. Os artigos, por exemplo, publicados em 2017 e que entraram no primeiro relatório SUCUPIRA do quadriênio foram enviados para a publicação pelo menos em 2016 e os projetos que deram origem a eles e que os tornaram possíveis começaram alguns anos antes, em muitos casos. Os últimos trabalhos registrados em 2020 foram enviados para publicação pelo menos em 2019, de modo geral. A crise da C&T tem sido um processo contínuo de degradação de recursos desde 2015-2016, mas muitos projetos de longo prazo ainda continuaram permitindo o desenvolvimento dos trabalhos e a manutenção dos laboratórios de pesquisa por alguns anos depois disso. Os ataques mais sérios começaram em 2019, tanto em termos de fomento quanto na desmoralização geral da C&T, depois do início do atual desgoverno. Mesmo o novo modelo de alocação de bolsas, que criou problemas para muitos PPGs, com já discutimos aqui, só começou em 2020 e mesmo assim as bolsas só começaram a ser cortadas no ano seguinte (e mesmo assim foi possível mitigar estrategicamente as perdas com o aumento do prazo das bolsas pela prorrogação emergencial da CAPES);

2) A PANDEMIA da COVID-19 certamente teve um enorme impacto em termos de redução de atividades de pesquisa, uma vez que pelo menos em 2020, e talvez parte de 2021, houve um fechamento quase total das atividades nas Instituições e nos laboratórios. Além do problema óbvio de interrupção de atividades, houve certamente um problema emocional e psicológico sério, e muitos pesquisadores foram mais diretamente afetados por problemas de saúde, hospitalizações e óbitos em suas famílias pela COVID-19. Isso é inegável, mas, novamente, voltando o ponto 1 acima sobre o time lag, quando isso aconteceu a maior parte das informações a serem colocadas no SUCUPIRA para a quadrienal 2017-2020 já estava se consolidando. Talvez uma ou outra produção que deveria ter sido publicada em 2020 tenha sido postergada; se por exemplo um artigo enviado em 2019 tenha voltado para revisão em 2020, já no início da pandemia, talvez o pesquisador ou pesquisadora tenha atrasado o retorno e isso fez com que o trabalho fosse publicado só em 2021, saindo do quadriênio (isso aconteceu comigo). Talvez ele ou ela tenha mesmo desistido do trabalho naquele momento, porque não conseguiria cumprir os prazos e não estava com o menor ânimo para pensar nisso, com tantos problemas... Alguns colegas, por outro lado, relataram que perceberam um AUMENTO na produção depois da pandemia, desde 2020. Como muitas atividades experimentais e de campo foram interrompidas e mesmo as aulas foram suspensas por um bom tempo, principais nas instituições publicas de ensino, alguns voltaram a dados e trabalhos mais antigos que ainda não haviam sido publicados e os “tiraram da gaveta”, como falamos. Em alguns casos os pesquisadores e pesquisadoras se envolveram com trabalhos ligados à própria COVID, que podem ter gerado alguma produção ainda em 2020 (foi o nosso caso, como discuti em uma postagem anterior). Mas entendo que todos esses casos são em geral pouco frequentes, e aposto que o impacto da pandemia ainda não apareceu muito seriamente na avaliação quadrienal 2017-2020;

3) Uma outra possibilidade é que talvez, considerando a crise de financiamento e a pandemia, algumas áreas possam ter sido um pouco mais FLEXÍVEIS em termos de relativizar alguns indicadores e talvez mais compreensivas em relação à dificuldade para atender a algumas metas. É importante lembrar que mesmo que o processo de avaliação seja, em muitas áreas, extremamente objetivo e quantitativo, sempre há espaço para interpretações e discussões de metas e objetivos. Seria preciso um trabalho detalhado de levantamento de informações nas fichas de avaliação de cada área para testar essa ideia, e mesmo assim seria difícil chegar a uma conclusão se isso aconteceu ou não. E vejam que isso não é, insisto, nenhum demérito para as áreas e para a avaliação, e de fato acho mesmo importante que a avaliação seja relativa ao momento pelo qual estamos passando, como já discuti aqui de forma específica em relação ao preenchimento do SUCUPIRA no meio da pandemia. Há um outro ponto mais técnico que pode ser relevante aqui (e que também fez parte das argumentações do MP contra a avaliação), que é a questão dos indicadores e das faixas de qualidade. Em resumo, a avaliação é comparativa, o que sugere que, em tese, se todos os PPGs piorarem ou melhorarem proporcionalmente, as notas permanecem as mesmas, o que sempre foi um argumento para manter os critérios durante as crises (ou seja, todos os PPGs seriam igualmente afetados). Mas na prática é um pouco mais complexo, pois a avaliação envolve muitos indicadores com pesos diferentes, com ou sem limiares, cada um dos quais sendo impactados de forma diferente pelos cortes de bolsa e recursos, dependendo da área de avaliação. Os limiares em geral são dependentes do máximo ou da média do indicador no PPG, mas o resultado geral depende de fato da distribuição estatística subjacente. Assim, de forma meio paradoxal, mesmo que os PPGs piorem em muitos indicadores, dependendo da distribuição estatística desses indicadores e de como outros itens foram melhor avaliados, alguns PPGs podem no final melhorar sua nota mesmo com indicadores piores do que no quadriênio anterior. Dependendo da distribuição de PPGs em diferentes áreas de avaliação em diferentes instituições, também pode-se pensar no mesmo efeito e isso pode às vezes gerar uma percepção de melhoria;

4) Finalmente, muito da discussão envolvendo o processo de judicialização na avaliação e os problemas com o MP foi resultado da introdução de uma nova ficha de avaliação a partir de 2019 e que mudou bastante a concepção geral de avaliação (positivamente, na minha opinião...), mesmo que muitos dos indicadores tenham permanecido semelhantes ou iguais aos utilizados no quadriênio anterior. Tivemos, portanto, uma grande MUDANÇA na avaliação que perturbou o sistema em vários sentidos (e essa nova ficha já estava em discussão há algum tempo...). Assim, uma possibilidade de explicar a melhoria das notas divulgadas agora seria que essa mudança tenha criado um efeito de conscientização e reflexão maior nos coordenadores, o que tornaria o questionamento do MP totalmente sem sentido, claro! Um dos pontos de destaque na nova ficha e que foi muito discutido pelos PPGs, inclusive com forte ação das Pró-Reitorias de Pós-Graduação nas instituições, foi a formalização e organização do planejamento estratégico e a autoavaliação. Assim, mesmo que seja difícil, pelo que coloquei no ponto 1 acima, que os dados “em si” tenham melhorado por causa da inércia e dos efeitos do time-lag, talvez os coordenadores e coordenadoras tenham ficado mais atentos e tenham sido mais cuidadosos com o preenchimento do SUCUPIRA. Mesmo com pouco tempo, alguns cursos podem ter conseguido se reestruturar em alguns aspectos e isso pode ter melhorado a percepção dos avaliadores sobre ele (veja próximo item 4). É possível que, internamente, as coordenações tenham sido mais rigorosas e tenham tido mais apoio par algumas decisões delicadas. Por exemplo, sempre há problemas para descredenciar docentes com menor produção ou que tenham um baixo envolvimento com o PPG, mas em função da pressão dos novos indicadores e do planejamento exigido pela CAPES e pelas Pró-Reitorias isso pode ter sido um pouco menos difícil. Tivemos uma “avaliação de meio-termo” em 2019, no qual a ficha e os critérios de cada área foram apresentados e discutidos nos PPGs, levando talvez a uma melhor compreensão das métricas e dos indicadores. Um outro ponto relacionado é que, por causa da pandemia e dos atrasos e confusões na CAPES, o envio dos dados pela plataforma SUCUPIRA em 2020 e em 2021 foram postergados. Embora o argumento tenha sido que muitos docentes ou coordenadoras estavam com problemas e mesmo envolvidos na mitigação da pandemia, como discuti no item 2 acima, na prática houve mais tempo também para preenchimento do relatório e sua revisão;

Então, em resumo, os pontos de 1-3 sugerem que esse aumento médio nas notas dos PPGs que estou percebendo dão uma falsa impressão de que o SNPG melhorou. Vamos poder avaliar se essa minha percepção de melhoria é generalizada em algumas semanas, quando pudermos compilar efetivamente a situação de cada instituição, inclusive porque ainda estamos na fase de recursos da avaliação. Mas mesmo que essa minha percepção se confirme objetivamente, o aumento nas notas pode não refletir uma melhora real no SNPG e vamos ter consequencias mais sérias em um futuro próximo. Por outro lado, considerando especialmente o ponto 4 acima, é possível que talvez o sistema tenha realmente respondido de forma positiva à crise, claro que não podemos descartar essa possibilidade! Provavelmente uma combinação de tudo isso? Não quero assumir uma posição “ad hoc” (e de certo modo “anticientífica”) e dizer que esse resultado é apenas “aparente” só porque não quero reconhecer, por razões políticas e ideológicas que, de fato, o SNPG melhorou. Acho que os pontos 1-3 acima são importantes, mas ao mesmo tempo gosto muito de achar que o ponto 4 é válido, inclusive porque isso apoia o que escrevi anteriormente a falta de sentido no questionamento do MP. Mas, ainda assim, se for mesmo isso, o que isso significa? Valeu a pena todo o estresse e a insegurança jurídica? Só respondemos positivamente sob pressão? Claro que não...

De qualquer modo, acho que é importante refletirmos sobre os pontos acima e, claro, não podemos esquecer de todos os problemas pelos quais estamos passando em 2022! Talvez o SNPG tenha melhorado, ótimo, e se for isso temos uma forte evidência de uma importância capacidade de resistir aos ataques de diferentes origens, de ser adaptar, as vezes pagando um preço alto, e de se adaptar a novas situações. Vamos manter tudo isso em mente e continuarmos em estado de alerta...E vamos aguardar os próximos desdobramentos dessa novela!