Luis Mauricio Bini
Professor Titular do Departamento de Ecologia,
ICB, Universidade Federal de Goiás
Pesquisador nivel 1A do CNPq
A dinâmica da publicação e da avaliação científica pode ser desconhecida para muitos estudantes de graduação (o grupo principal de leitores que pretendo alcançar com esse texto). No entanto, antes da redação e publicação de um artigo científico, para muitas áreas, foi necessária a coleta de dados para testar uma determinada hipótese ou previsão decorrente de uma teoria. Essa coleta de dados, em muitos casos, demandou recursos financeiros (para comprar, por exemplo, algum equipamento, reagentes para laboratórios, combustível para viagens de campo, etc.). No Brasil e no mundo esses recursos são, em geral, obtidos com a submissão de um projeto para uma agência de fomento à pesquisa, como o CNPq e CAPES, que são ligadas ao Governo Federal (Ministério de Ciência, Tecnologia, Inovação e Comunicação - MTCIC, e ao Ministério da Educação - MEC, respectivamente) ou para as várias agências estaduais de apoio à pesquisa (como, por exemplo, FAPEG aqui no Estado de Goiás). Organizações não governamentais e empresas também financiar projetos. Usualmente, esse projeto descreve porque a pesquisa deve ser feita, as perguntas que devem ser respondidas, os métodos que serão utilizados, um cronograma e um orçamento. A agência de fomento convida então, pelo menos, dois especialistas na área do projeto para analisar dois aspectos principais: (i) a qualidade do projeto e (ii) o currículo do proponente. Assim, os especialistas trabalharão como consultores para a agência de fomento (usualmente de forma voluntária) e deverão analisar, de acordo com os critérios listados acima, por exemplo, se o projeto é inovador e se os métodos são adequados, além da produção acadêmica do proponente (artigos publicados, orientação de discentes, qualidade da produção científica, etc.). Se sim, os consultores recomendarão o projeto para receber o financiamento. Assim, esse é o primeiro filtro pelo qual uma determinada pesquisa passou.
Após a finalização da pesquisa, é preciso comunicar os resultados e isso é feito, em geral, na forma de uma publicação científica. Assim, os pesquisadores redigem um manuscrito (o termo que usamos para designar um texto científico que ainda não foi avaliado pelos pares) resultante dessa pesquisa e o submetem para uma revista científica (de fato vários manuscritos, descrevendo diferentes aspectos ou diferentes resultados dessa pesquisa, podem ser produzidos). As etapas subsequentes podem variar um pouco dependendo da revista. Em muitos casos, o Editor-Chefe fará uma rápida leitura para verificar se o manuscrito é adequado para a revista, em termos de escopo ou qualidade geral esperada. Esse é, portanto, o segundo filtro. No entanto, o Editor-Chefe não tem conhecimento suficiente para avaliar todos os detalhes científicos e técnicos de diferentes temas de uma área, especialmente em grandes revistas internacionais com escopo mais amplo, mesmo dentro de uma área. Assim, ele enviará o manuscrito para que um Editor de Área verifique, dentre outros aspectos, se o texto está claro, se as análises são adequadas e se as conclusões são baseadas nos dados. O Editor de Área, em muitos casos, pode recomendar diretamente a rejeição do manuscrito para o Editor-Chefe e, para tanto, ele escreverá um breve parecer consubstanciando essa decisão. Não percam as contas, estamos falando nesse caso de um terceiro filtro. O Editor de Área também não tem a obrigação de conhecer todos os detalhes técnicos. Assim, se nenhum problema substancial for detectado, ele convidará pelo menos dois especialistas no tema da pesquisa para avaliar o manuscrito. Estes deverão escrever um parecer detalhado sobre a qualidade e relevância do manuscrito e, em geral, poderão recomendar: o aceite (o que é muito raro de acontecer na primeira revisão), o potencial aceite para publicação, mas somente após algumas ou várias correções (por exemplo, os revisores podem sugerir que novas análises estatísticas sejam feitas, que trechos sejam reescritos, e, até mesmo, que novos dados sejam obtidos) ou a rejeição do manuscrito.
É comum que um revisor A recomende o aceite do manuscrito para publicação após revisões, enquanto o revisor B recomende sua rejeição. Diante dessa situação, os editores deverão analisar os pareceres e tomar uma decisão (por exemplo, se eles tendem a concordar mais com o revisor A ou B e, portanto, se ou não o manuscrito poderá ser resubmetido após as correções e reformulações). Frequentemente, o manuscrito passa pelo processo descrito acima durante várias "rodadas" antes de, após muito trabalho (e um pouco de sorte...), ser finalmente publicado na revista. A cada rodada os autores devem revisar o manuscrito e tentar resolver os problemas apontados. Entretanto, as sugestões e críticas dos revisores não são infalíveis. No caso de comentários incorretos, os autores poderão então indicar os erros dos revisores (sempre gentilmente...) e não atender esses comentários. Se contarmos os comentários dos revisores veremos então que uma determinada pesquisa, antes de ser publicada, passará por, pelo menos, cinco filtros.
E vocês acham que é o fim da história? Em outras palavras, podemos dizer que o resultado da pesquisa (aquela que iniciou com a submissão de um projeto para receber um financiamento), agora publicado num periódico científico, é uma verdade indisputável? Como os leitores já devem ter imaginado, a resposta é não. O próximo filtro é ainda mais fino. Estamos falando agora da avaliação da própria comunidade de cientistas que são especialistas no tema da pesquisa. Assim, o artigo será lido por cientistas de todo o mundo e alguns desses poderão identificar um problema com o artigo que não foi identificado nos filtros anteriores. Por exemplo, atualmente, muitos periódicos científicos exigem que os dados originais estejam disponíveis para qualquer leitor interessado (ver, por exemplo, a base DRYAD). Esses dados podem ser reanalisados e um erro que não foi detectado pelos filtros anteriores poderá ser identificado. Um erro "honesto" que não muda as conclusões gerais do artigo deverá ser apontado com a publicação de uma errata, mas não irá exigir maiores ações (e.g., os autores usaram a análise estatística A, mas a melhor análise para aquele conjunto de dados seria a B). Por outro lado, casos de desonestidade científica (e.g., alteração intencional dos dados) claramente requerem ações contundentes e incluem, dentre outras, a retratação do artigo. Como não é um tema trivial, o processo de retratação quiçá será tratado num outro texto. Em resumo, esse processo envolve a ampla divulgação dos motivos pelos quais um determinado artigo científico não deveria ter sido publicado e que o conteúdo do artigo não deve ser usado como base para futuras pesquisas (ver https://retractionwatch.com/ para maiores detalhes sobre o tema).
Suponham que nenhum erro substancial foi identificado após a publicação de um artigo. Ainda assim, pesquisas que apresentam resultados inesperados ou que divergem da principal teoria corrente, ou mesmo pesquisas antigas que apontam para uma relação causal amplamente aceita, podem passar por novos filtros. Aqui estamos falando do caso onde a reprodutibilidade da pesquisa original é testada. Por exemplo, a relação entre a riqueza de espécies de plantas e um fator ambiental qualquer pode ser detectada no Cerrado durante o período de estiagem, mas será que essa relação foi acidental? Assim, durante o período de estiagem, em outro ano, o mesmo ou um outro grupo de cientistas poderá repetir o estudo para testar se a relação é estável. Mas será que essa relação existe na Caatinga? Um determinado tratamento veterinário para uma enfermidade qualquer foi testado em gatos, mas será que esse tratamento é adequado para cachorros? Assim, em busca de generalidade, uma determinada hipótese pode ser testada em diferentes condições. Será que as conclusões do nosso primeiro estudo resistem a esses diferentes testes? Qual a tendência geral se os resultados dos diferentes estudos forem combinados em uma "análise das análises" (que chamamos de "meta-análise")?
Vamos supor que aquela pesquisa original passou então por esses diversos filtros, ou seja, os filtros dos consultores da agência de fomento, dos editores e revisores do periódico científico, da comunidade científica geral (após a publicação) e de estudos posteriores que objetivaram reproduzir os resultados independentemente e testar aquela teoria ou modelo em outras situações, permitindo a generalização (por indução, nesse caso). No entanto, você pode ler numa rede social que aquele resultado deve ser desacreditado porque o autor do post conhece um vizinho cujo tio disse que o resultado da pesquisa deve ser desacreditado. Em geral, convicções políticas e religiosas são as principais motivações para esse "negacionismo" (outro tema que merece um texto independente, mas, no momento, veja o artigo de Shanto Iyengar e Douglas S. Massey publicado em 2019 no Proceedings of National Academy of Sciences). Dada a brevidade do post, o internauta não apresenta nenhum argumento que poderia substanciar o motivo da descrença, excetuando-se talvez alguma afirmação do tipo "...essa ideia é coisa de XXXista". Você acreditaria no resultado da pesquisa ou no post?