Acho que para muitos leitores o título dessa postagem não faz nenhum sentido, então deixe-me explicar desde já. “SUCUPIRA” é o nome da plataforma de dados da CAPES (Coordenação para Aperfeiçoamento de Pessoal de Ensino Superior), uma homenagem ao Prof. Newton Sucupira que, no seu Parecer nº 977 de 1965 no Conselho Nacional de Educação, criou as bases do nosso Sistema Nacional de Pós-Graduação. A plataforma foi lançada em 2014 (substituindo um sistema mais antigo e mais simples, o “coleta CAPES”; que de fato passa a ser o nome do novo “módulo” de obtenção de dados na SUCUPIRA). Além disso, a SUCUPIRA permite a consulta pública de informações sobre vários aspectos do Sistema Nacional de Pós-Graduação por qualquer pessoa.
Nessa plataforma os coordenadores dos programas de pós-graduação stricto sensu (cursos de mestrado e doutorado, os PPGs) devem registrar, anualmente, tudo que os docentes e discentes dos cursos fizeram durante o ano. A plataforma SUCUPIRA, diferente da plataforma que a antecedeu, permite que os coordenadores e as secretarias dos PPGs lancem os dados continuamente ao longo do ano (eu não me acostumei ainda e deixo tudo pro final, como era antes...). De qualquer modo, no início de cada ano, de acordo com um cronograma pré-determinado, os coordenadores finalizam o preenchimento e enviam digitalmente para as Pró-Reitorias de Pós-Graduação e Pesquisa de suas instituições os dados do ano anterior, que revisam e chancelam o material, encaminhando oficialmente para a CAPES em seguida.
A Diretoria de Avaliação da CAPES (DAV) recebe todo esse material e faz um processamento geral, que é enviado para a Coordenação de cada uma das 49 áreas de avaliação da CAPES. O coordenador da área e seu coordenadores-adjuntos têm que sintetizar e organizar toda a informação e calcular diversos indicadores que, posteriormente, serão utilizados para avaliar periodicamente todos os programas da área no Brasil (discutimos um pouco a nova ficha de avaliação em uma postagem anterior). Dessa avaliação, que é realizada por uma grande comissão “ad hoc” formada por dezenas de pesquisadores e docentes da área, de diferentes universidades, institutos e regiões do Brasil, depende uma série de coisas, especialmente a nota dos cursos pelos 4 anos seguintes (e desta, por sua vez, dependem possibilidades de financiamento, número de bolsas etc).
Quando escrevo essa postagem, faltam 40 dias para o envio dos dados de 2019 para as Pró-Reitorias, de modo que com certeza TODOS os mais de 5600 coordenadores de programas em todo o Brasil, em todas as áreas do conhecimento, estão gastando boa parte do seu tempo trabalhando nisso (e lembrem que os coordenadores de pós-gradução são docentes do PPG e pesquisadores, acumulando essa função administrativa com todas as suas outras funções de pesquisa, ensino e extensão, como já discutimos tantas vezes aqui). Trabalhamos agora no que será o penúltimo relatório do quadriênio e 2020 será o último ano sobre o qual serão enviados dados à CAPES (a avaliação quadrienal, que irá ocorrer em 2021, será baseada nos dados enviados nos 4 anos anteriores, ou seja, 2017, 2018, 2019 e 2020).
Mas o que há para colocar na SUCUPIRA? Alguns de vocês, a essa altura (se não desistiram ainda...), devem estar se perguntando a razão essa postagem agora, que isso é algo muito específico da minha função atual como coordenador do nosso Programa de Pós-Graduação em Ecologia & Evolução da UFG, que é um aspecto puramente “burocrático”. Em parte sim e de fato sempre estive muito envolvido com o sistema de avaliação da CAPES, e tive a oportunidade de entender esse sistema de diversos "ângulos". Foi coordenador de PPG no final dos anos 90, logo depois de ter chegado como docente à UFG, depois participei de vários comitês de avaliação na CAPES. Comecei participando da área de "Ciências Biológicas I", à convite do Prof. João Lucio de Azevedo, da USP e professor visitante na UFG, que era o coordenador da área na época, e depois durante a gestão do meu amigo Claudio Carvalho, da UFPR, como coordenador. Depois comecei a participar do comitê da área de "Ecologia & Meio Ambiente" (agora integrada à nova área de "Biodiversidade") e passei a ser coordenador-adjunto dessa área no triênio 2007-2009, trabalhando com meu amigo Fabio Scarano da UFRJ, que coordenou de forma brilhante a área entre 2004 e 2009. Em 2014 assumi a Pró-Reitoria de Pós-Graduação da UFG e, nesse contexto, fui durante 2 anos representante da Região Centro-Oeste no Forum de Pró-Reitores de Pesquisa e Pós-Graduação (FOPROP). Ano passado voltei à coordenação do nosso PPG, e por isso estou preenchendo a SUCUPIRA...Longa história!
Entretanto, acho que, de qualquer maneira, qualquer discente na pós-graduação (se for continuar na carreira acadêmica) ou jovem docente em uma Universidade em algum momento vai se deparar com essa tarefa e deve entender como funciona o SNPG. Entretanto, mais importante, eu entendo que aquilo que colocamos na SUCUPIRA e que é avaliado posteriormente pelos comitês da DAV/CAPES expressa, em vários sentidos, os VALORES E PRINCÍPIOS do que consideramos como boa ciência no Brasil, amadurecidos há muitos anos, em cada uma das áreas do conhecimento! Podemos às vezes não concordar com uma métrica ou outra, ou com algum critério - como vocês vão ver abaixo pontualmente - e mesmo com a lógica da maneira de avaliar a produção científica no contexto global. Mas continuo achando que, de modo geral, as direções de melhoria são claras ao longos dos anos. Além disso, acho que é inegável que o sistema de avaliação da CAPES contribuiu muito para que o Brasil tivesse a posição de destaque em ciência e tecnologia que tem hoje!
Há muitos detalhes na SUCUPIRA e muitos campos a preencher, sendo que alguns cadastros precisam ser atualizados a cada ano (docentes, discentes, eventualmente projetos, disciplinas ofertadas) e outros campos quererem um preenchimento integral (a produção científica, as teses e dissertações defendidas, por exemplo). Mas quero chamar a atenção de vocês apenas para alguns pontos sobre esses dados, usando como referência a nova ficha de avaliação (que já havíamos discutido anteriormente).
Na nova ficha de avaliação temos 3 grandes “quesitos” (programa, formação e impacto na sociedade) e cada um deles é dividido em vários itens, que por sua vez vão receber um "conceito" (que vai de “fraco” a “muito bom”) a partir de um ou mais indicadores. Cada um desses itens tem pesos, que variam entre as áreas, e a combinação de conceitos e pesos vai gerar uma nota final (que varia de 3 a 7) para cada um dos PPGs do Brasil. Não quero discutir os detalhes em termos de indicadores e pesos de cada quesito e item, até porque eles variam consideravelmente entre as 49 áreas de avaliação da CAPES, mas acho que é interessante fazermos uma avaliação geral (e me permitam, eventualmente, dar alguns exemplos da área de avaliação ao qual o nosso PPG em Ecologia e Evolução da UFG está vinculado, a área de “Biodiversidade”, que conheço melhor e que já definiu de forma bastante clara e explícita quais os itens mais importantes e como calcular os indicadores). Vejam, um ponto importante inicial é entender bem cada um dos quesitos e itens e saber como as informações que serão utilizada para avaliação devem ser colocadas na SUCUPIRA, daí a ligação da ficha de avaliação com a plataforma que vou explorar a seguir (em princípio muitos podem não ver a relação entre as coisas, pois os itens e campos são diferentes).
Os itens do primeiro quesito (o PROGRAMA) englobam uma série de aspectos sobre a estrutura geral e o funcionamento dos cursos. O primeiro item é bastante amplo e refere-se à estrutura física e administrativa do PPG e da Universidade como um todo, sistema de biblioteca e acesso à informação, adequação das linhas de pesquisa e disciplinas aos objetivos do PPG. O segundo item, o mais importante, refere-se à formação, composição e dedicação do corpo docente. A ideia é que os docentes que atuam na Pós-Graduação tenham uma boa formação na área de atuação do PPG e que tenham uma atividade de pesquisa consistente. Aqui é importante ressaltar que os docentes estão classificados em categorias, sendo que a categoria “permanente” é a utilizada para calcular a maior parte das métricas (as outras categorias são docentes colaboradores e visitantes). Os docentes permanentes devem constituir entre 70% e 80% do total de docentes envolvidos com o PPG e são eles que devem ter maior dedicação em termos de orientação de discentes, oferta de disciplinas e participação em projetos de pesquisa com financiamento. Em alguns comitês define-se ainda que uma proporção adicional desses docentes permanentes (entre 30% e 50%) deve estar totalmente dedicada ao PPG (por exemplo, esses docentes devem atuar apenas nesse programa – pessoalmente, concordo com a ideia de maior dedicação, mas não necessariamente em “exclusividade” – isso é muito variável...mas enfim!). Os dois itens finais desse quesito são uma novidade a partir de 2018-2019, e referem-se à atividades de autoavaliação e planejamento do programa de forma mais explícita.
Então, na SUCUPIRA, os coordenadores devem tentar explicar, nos vários campos associados a esse quesito, todos esses aspectos acima. Na “Proposta do Programa” da Plataforma, que contém diversos campos de texto, é possível ressaltar e explicar em detalhes toda a parte de estrutura e funcionamento do PPG, bem como as novas discussões sobre planejamento futuro e autoavaliação (novidade nesse quadriênio, pelo menos em termos de avaliação formal). Na ficha de cadastro de cada docente é preciso verificar (e atualizar, se for o caso) as atividades de cada docente em termos de ensino, pesquisa e orientação. O sistema liga automaticamente os discentes orientados de cada docente, mas é preciso verificar e preencher manualmente, no ano, as disciplinas e orientações de graduação de cada docente. A lista de disciplinas do PPG deve estar atualizada e a oferta do ano, com cada professor responsável, registrada, e o mesmo vale para o cadastro dos projetos de pesquisa. Estes projetos devem ser coordenados pelos docentes e ter preferencialmente discentes associados a eles, bem como devem ser registradas as fontes de financiamento. As defesas de tese e dissertação também devem estar todas cadastradas, com uma série de informações (e os PDFs dos trabalhos finais anexados), e isso é extremamente importante para calcular o fluxo e a capacidade de formação do PPG como um todo e dos docentes individualmente (algo importante no próximo quesito).
O próximo quesito, que talvez seja o mais importante, claro, refere-se à FORMAÇÃO. Nesse contexto, entendo que o principal componente deste quesito é a produção científica do PPG, tanto por discentes quanto docentes, assumindo-se que discentes serão bem formados por docentes produtivos, dedicados ao programa e, portanto, eles mesmos serão capazes de ter uma boa produção científica. A definição de produção científica vai variar muito entre as áreas, mas nas ciências naturais, de modo geral, essa produção é avaliada principalmente por artigos publicados em periódicos científicos. No contexto de formação, na área de Biodiversidade, por exemplo, avalia-se quantos artigos científicos foram produzidos pelos discentes e egressos do PPG e quantos dos discentes estão produzindo. Outro ponto fundamental nesse quesito (embora às vezes não seja tão simples obter esse dado) é o destino e atuação dos egressos do PPG. Em última instância, o destino dos egressos seria a medida "última" da avaliação e do sucesso do PPG (e isso não significa que todos os egressos tenham que atuar na academia, claro!).
Uma novidade deste quadriênio 2017-2020, no contexto da avaliação da produção científica dos docentes e discentes, é o que a DAV/CAPES tem chamado de “produção indicada”, ou seja, não será necessariamente avaliada toda a produção dos docentes no quadriênio. A ideia é que cada programa indique quais são os melhores artigos de cada docente (no caso da Biodiversidade, 4 artigos) e estes serão pontuados a partir de diversos critérios, incluindo o tipo de artigo, a qualidade do periódico e a participação de discentes (vamos discutir essa avaliação da produção indicada em outro momento e com mais detalhes, pois achei bastante interessante...). Essa é uma tendência mundial em termos de avaliação da produção científica, no sentido de avaliar não apenas de forma quantitativa (mesmo que sejam consideradas métricas, por exemplo, de impacto ou qualidade dos periódicos), mas principalmente de forma “qualitativa” e justificada pela própria missão e objetivos do PPG.
Finalmente, ainda nesse importante quesito de "formação", será avaliada explicitamente a dedicação dos docentes ao PPG, em termos de proporção do corpo docente envolvida em orientação e oferta de disciplinas. Espera-se, obviamente, que todos os docentes permanentes (ou uma boa proporção deles) tenha oferecido disciplinas e que todos estejam orientando discentes do PPG em seus projetos de pesquisa. Claro que essa questão da demanda por orientação varia em função da área de atuação do docente (algumas áreas e linhas de pesquisa podem ser mais “atraentes” do que outras), isso sem contar características pessoais e de empatia, o que tende a gerar uma certa agregação, isso é quase inevitável. Mas, de maneira geral, espera-se que haja uma boa distribuição da orientação entre os docentes e às vezes é preciso pensar em critérios internos e restrições para tentar aproximar uma boa distribuição.
Na SUCUPIRA, acho que ponto importante no contexto desse quesito refere-se à importação de dados de produção científica a partir dos CV Lattes do Orientadores. A plataforma Lattes é mantida pelo CNPq. Na nossa área de biodiversidade, como disse anteriormente, o foco principal em termos de produção docente e discente são artigos em periódicos e isso deve estar corretamente preenchido no lattes dos docentes. Durante esse processo de importação, é preciso vincular os autores para importação, e o sistema deve reconhecer automaticamente docentes, discentes, egressos e participantes externos do PPG que já estejam cadastrados (e há várias possibilidades de incluir o artigo com autores não cadastrados). Depois da importação dos CV Lattes, é preciso completar algumas informações de cada artigo, especialmente qual a ligação do artigo com trabalhos de conclusão. A produção dos discentes ou egressos que não esteja associada (em termos de autoria) a docentes deve ser lançada “manualmente”, pois a SUCUPIRA não possui rotinas para importação dos CV Lattes dos discentes, apenas dos docentes. Todo esse processo de cadastro vale também para a produção técnica e tecnológica, embora isso seja mais variável em diferentes comitês (nas áreas mais básicas, de qualquer modo, é importante registrar participações e organizações em eventos, participação em comitês editoriais nacionais e internacionais de periódicos científicos, eventualmente outros produtos técnicos com patentes, softwares, etc), pois isso mostra a atuação dos docentes em um sentido mais amplo.
Finalmente, o último quesito, que é uma novidade deste quadriênio, refere-se ao IMPACTO NA SOCIEDADE. Sem dúvida, os vários itens que são avaliados aqui já existiam anteriormente, mas foram agora reunidos neste quesito e passam, portanto, a ganhar muito mais importância. Aqui temos que avaliar o caráter inovador e o impacto da produção do programa em termos sociais, econômicos e culturais, bem como sua internacionalização e sua visibilidade. Esses itens podem ser avaliados por diferentes indicadores dependendo da área de avaliação que deve, obviamente, considerar o objetivo e a missão de cada programa e área. Em uma área aplicada, esperam-se mais produtos tecnológicos e de inovação, eventualmente com mais impacto econômico do que em uma área mais básica, por exemplo. Mas acho que o importante é que, nesse quesito, os PPGs mostrem que estão atuando em um contexto mais amplo e mostrando à sociedade, de alguma forma, qual o seu papel (algo que já discutimos em algumas postagens anteriores). Muitos dos indicadores vão ser extraídos das informações relatadas na “proposta do programa” e em indicadores de produção técnica ou envolvimento dos docentes. Por exemplo, em termos de internacionalização, é possível avaliar quantos docentes têm produção em periódicos internacionais de alto impacto (mostrando assim inserção internacional e visibilidade), quantos dos artigos envolvem co-autores de outros países, quantos discentes foram realizar “Doutorado-Sanduiche” em outros países e quantos pesquisadores de fora do Brasil visitaram o PPG (note-se que a maior parte dessas ações requer recursos financeiros, o que pode ser um problema em momentos de crise, como a que estamos passando atualmente...). O impacto social, cultural e econômico também vai ser avaliado de forma mais “subjetiva” por um conjunto de ações indicadas pelo PPG.
Claro, os parágrafos acima dão apenas uma visão geral do que é a SUCUPIRA e os coordenadores estão em geral cientes que há muito mais detalhes que devem ser verificados. Esses detalhes estão apresentados nos “documentos de área” disponibilizados pela CAPES e foram inclusive discutidos em agosto de 2019, durante a chamada “avaliação de meio termo”. Acho que a maior parte dos coordenadores sabe que uma avaliação correta do PPG depende diretamente da qualidade dos dados fornecidos a cada ano...
Voltando à questão dos “valores e princípios” em termos de ciência brasileira, o que podemos apreender de todas as informações e questões que coloquei acima, em termos de avaliação de um programa de pós-graduação? O que se espera que a avaliação e a escala de notas indiquem ao final do processo? Acho que os quatro pontos importantes seriam:
1) Um bom PPG deve ter um objetivo claro em termos de formação acadêmica e/ou profissional em uma área do conhecimento, e isso deve se refletir nas suas linhas de pesquisa e projetos, bem como nas disciplinas e cursos que oferece, gerando um ambiente intelectual que propicie um bom desenvolvimento científico, facilitando a inserção profissional dos egressos no futuro;
2) Um bom PPG possui um corpo docente bem formado e bem equilibrado, com forte atuação em pesquisa e dedicado ao programa, tanto em termos de orientar os discentes em seus trabalhos de conclusão quanto oferecendo disciplinas, cursos e participando das mais diferentes atividades de extensão e promoção do PPG;
3) Um bom PPG deve ter uma produção científica expressiva e de nível internacional, especialmente porque a ideia de programas com cursos de mestrado e doutorado é produzir conhecimento novo, em ciência e tecnologia e, nesse processo, formar novos pesquisadores (mesmo que estes, ao final, não se dediquem necessariamente à pesquisa e passem a atuar em diversos setores da sociedade);
4) Finalmente, um bom PPG deve também mostrar não só uma boa produção acadêmica, mas também seus impactos em termos sociais, culturais e econômicos, em diferentes escalas (i.e., desde impactos locais até internacionais), isso considerando, claro, a missão e os objetivos propostos por cada universidade.
Então acho que é isso, de forma resumida. Eventualmente espero que os comentários acima possam ajudar jovens coordenadores a preencher a SUCUPIRA. Mas o que podemos concluir de modo mais geral a partir de tudo o que coloquei acima? Um primeiro ponto importante para o qual quero chamar atenção é que há MUITO TRABALHO envolvido em tudo isso, tanto no preenchimento quanto na organização da informação, isso sem contar obviamente com a informação “em si”, ou seja, o que estamos colocando na SUCUPIRA agora é o que foi feito no ano anterior...Se temos muita coisa para colocar na plataforma, é porque MUITA COISA foi feita durante o ano pelos docentes e discentes.
Em segundo lugar, quero chamar atenção para o fato de que, paradoxalmente, estamos fazendo tudo isso justo em um momento em que o Sistema Nacional de Pesquisa e Pós-Graduação do Brasil está sendo duramente atingido tanto por sérios cortes de verba quanto por perseguições ideológicas e políticas em uma ampla campanha de desmoralização das Universidades públicas pelo Governo Federal. Alguns dizem que o sistema está sendo “desmontado”... Não sei, mas com certeza temos um problema muito sério de corte de recursos para pesquisa e cortes sérios de bolsas, como já discutimos algumas vezes. Aliás, vamos discutir em breve os impactos do novo modelo de alocação de bolsas da CAPES, lançado no dia 20 de fevereiro de 2020, às vésperas do Carnaval e quando a grande parte dos PPGs do Brasil já tinha feito seus processos seletivos, estão recebendo os novos discentes...Estes, por sua vez, já fizeram suas opções de curso contando com os recursos que estavam disponíveis até agora (em tempo, os resultados da redistribuição de bolsas 2020 deveriam ter sido divulgados ontem - mas não foram - não respeitando as próprias portarias da DPB/CAPES). Além disso, impossível ignorar a atitude do Governo em relação à pseudociência e ao negacionismo, inclusive indicando recentemente o Prof. Benedito Aguiar, ex-reitor da Universidade Mackenzie e defensor do "design inteligente", para a presidência da CAPES...Mas temos discutido isso exaustivamente e não precisamos voltar a esses tópicos deprimentes!
Então, a grande questão com a qual me deparo hoje, ao preencher a SUCUPIRA, é a seguinte: faz sentido tudo isso? Estamos tendo muito trabalho em preencher os dados, desde 2017, e todos ficamos gradualmente mais ansiosos à medida que se aproxima a avaliação final. Temos certeza que nossos colegas coordenadores de área e seus adjuntos, bem como muitos colegas e técnicos da DAV/CAPES, assim como os docentes e pesquisadores que vão compor de forma “ad hoc” as comissões de avaliação e gastar muitas horas debruçados sobre os dados de cada PPG, são todos honestos e vão tentar fazer o seu trabalho da melhor maneira possível, como sempre fizeram! Aliás, muito trabalho de processar, sintetizar e avaliar toda essa informação e ainda receber toda a pressão e crítica por parte dos colegas de fazer a avaliação e, em muitos casos, de serem os mensageiros de notícias não tão boas (quando um PPG, por exemplo, tem sua nota reduzida...c’ est la vie). Entretanto, não sabemos sobre as políticas mais gerais da CAPES (mas já sabemos dos cortes de orçamento...). Mais importante, não sabemos se aquilo que estamos fazemos, em termos de pesquisa e pós-graduação, será valorizado pelo mercado de trabalho e pela sociedade no futuro próximo, considerando a campanha de desinformação sobre a importância da ciência e tecnologia em grande parte apoiada pelo Governo atual.
Então, em conclusão, vou fazer essa postagem e continuar preenchendo a SUCUPIRA... Devo estar com algo como 80% pronto e ainda tenho pouco mais de 1 mês para enviar. Para encontrar ânimo, vou tentar focar nos "valores e princípios" que discutimos acima e usar o relatório para lembrar dos bons momentos e refletir sobre as perspectivas. Quero crer que que, apesar de tudo que aconteceu de ruim no Brasil em 2019, conseguimos fazer nosso trabalho, estamos colocando o Brasil já há alguns anos em uma posição de destaque em nível internacional, formando jovens cientistas e pesquisadores de alto nível e, espero, cidadãos conscientes do seu papel na sociedade.