“Anyone who believes that the laws of physics are mere social conventions is invited to try transgressing those conventions from the windows of my apartment. (I live on the twenty-first floor)”. (Alan Sokal)
Luis Mauricio Bini
Professor Titular do Departamento de Ecologia, ICB,
Universidade Federal de Goiás.
Pesquisador Nível 1A do CNPq
A ciência tende a crescer exponencialmente de acordo com diferentes indicadores (e.g., números de artigos, periódicos científicos, mestres e doutores). Provavelmente, essa tendência foi descrita pela primeira vez pelo físico inglês Derek J. de Solla Price (para alguns, o pai da cienciometria). Vamos usar um exemplo para, sem perda de generalidade, ilustrar esse fato. Uma pesquisa no Google Acadêmico (modo avançado: https://scholar.google.com.br/#d=gs_asd) procurando por artigos científicos com as palavras “climate change” no título e publicados em 2000 resultará em 1110 registros. Já em 2018, nós encontraremos 9620 registros (você deverá desmarcar as caixas “incluir patentes” e “incluir citações” para chegar nesses números; ver também a Figura 1 de Fortunato et al., 2018). Assim, considerando o meu texto anterior (A escolha), alguém poderia perguntar: como cientistas chegam a um consenso sobre um determinado tema? Como sumarizar essa quantidade enorme de informação (i.e., os resultados de artigos independentes sobre um determinado tema) para estabelecer uma conclusão geral? Em muitas áreas (principalmente medicina e acredito que, num futuro próximo, ecologia), a resposta para essas perguntas é "através de uma revisão sistemática".
As Revisões Sistemáticas (RS) utilizam métodos transparentes e reproduzíveis para resumir as informações sobre um determinado tema. Como qualquer atividade científica, uma RS é iniciada com uma pergunta (e.g., qual o efeito de cultivos geneticamente modificados sobre a biodiversidade de insetos?). Posteriormente, um rigoroso protocolo deve ser seguido para buscar e selecionar (de acordo com critérios pré-estabelecidos) os estudos primários (e.g., artigos científicos, teses e relatórios) que contribuirão para a RS (ver http://www.prisma-statement.org para maiores detalhes). Usualmente, uma RS é associada com uma meta-análise. Esta, por sua vez, consiste num conjunto de técnicas estatísticas cujo o objetivo principal é o de analisar os resultados obtidos nos estudos primários. Por exemplo, considere k experimentos independentes que compararam um grupo controle (e.g., taxa de mortalidade de insetos em plantações “naturais”) com um grupo experimental (e.g., taxa de mortalidade de insetos em cultivos geneticamente modificados). As comparações entre os grupos, em geral, serão feitas com a estimativa das diferenças entre as médias (e.g., taxa no grupo controle – taxa no grupo experimental). Assim, teremos k diferenças. Pois bem, essas diferenças, bem como medidas de variabilidade entre as amostras dentro de cada experimento e grupo, constituem o conjunto de dados que será utilizado numa meta-análise. Em resumo, o objetivo geral da meta-análise é o de modelar a variabilidade dos tamanhos de efeito que são extraídos dos estudos primários (i.e., diferenças entre as médias no exemplo acima). Já um tamanho do efeito indica, como o próprio nome sugere, a magnitude da diferença entre os grupos comparados ou, para estudos com duas variáveis quantitativas, a força da relação entre essas variáveis. Vamos supor que os estudos primários selecionados numa RS testaram, em experimentos controlados independentes, a relação entre biodiversidade (e.g., riqueza de espécies), no eixo X, e uma função ecossistêmica (e.g., polinização), no eixo Y. Vamos supor também que a relação entre biodiversidade e função foi, nos diferentes estudos primários, testada com uma regressão linear simples: Y = a + bX. O coeficiente angular b da equação da reta é um tamanho de efeito. Quanto maior o valor de b, mais forte é a relação entre as variáveis biodiversidade e função ecossistêmica. No entanto, em sistemas ecológicos, é esperado que os valores de b estimados nos diferentes estudos variem (a inclinação da reta pode ser menor em alguns estudos e maior em outros). Além disso, a precisão também será variável já que o número de amostras variará entre estudos. Observando a Figura abaixo, o leitor poderá visualizar esses aspectos (i.e., a variação dos valores de b e dos números de amostras entre estudos).
Para que esse texto não entre em muitos detalhes técnicos (importantes), eu vou assumir que a variação entre os valores de b ocorre simplesmente por erros de amostragem. Tente lembrar do curso básico de estatística. Aqui não estou falando de erro no sentido de engano ou equívoco, mas sim de erros que ocorrem porque estamos trabalhando com amostras (e não com a população em sua totalidade). Supondo que você prefere entender esse texto sem ter que lembrar das aulas básicas de estatística como pré-requisito, então basta você se convencer que deveríamos confiar mais nos resultados daqueles estudos com maior número de amostras. Concorda com essa afirmação? Se sim, podemos continuar supondo que encontramos k = 100 estudos que testaram a relação entre biodiversidade e função. Para ter uma estimativa geral da força da relação, com o objeto último de apresentar evidências robustas se devemos ou não conservar a biodiversidade, se não por vários outros motivos, para manter funções críticas dos ecossistemas para o bem-estar humano, poderíamos então calcular uma média ponderada (b++) dos valores de b:
onde Wi = 1/variância de bi (consulte um bom livro de estatística para apreender a calcular a variância de b). Em outras palavras, estudos mais precisos, porque apresentam mais amostras (e menores variâncias), têm maiores pesos (Wi) na estimativa do tamanho de efeito médio b++. Sim, você entendeu. É simples assim.
A interpretação de uma meta-análise também é fácil. Para o nosso exemplo, quanto maior o coeficiente angular médio ponderado, maior a força da relação que está sendo testada. Os resultados básicos de meta-análise são tipicamente representados num gráfico chamado forest plot (ver a próxima figura). Nesse, os tamanhos de efeito (valores de bi no nosso exemplo) obtidos dos estudos primários aparecem na vertical e o valor médio ponderado (b++) aparece no final da figura. Quanto mais distante do valor de referência (b = 0), mais forte é a relação. Esse gráfico pode, em conjunto com outros métodos, mostrar se os tamanhos de efeito são ou não homogêneos. Se sim, temos claras evidências sobre a força da relação de interesse. Cientistas valorizam tanto regularidade quanto variabilidade. Assim, mesmo que o forest plot mostre um claro sinal estatístico (note que no nosso exemplo hipotético, todos os valores de b indicam uma relação positiva entre as variáveis de interesse), eles testarão os efeitos de diferentes variáveis (moderadores no jargão da meta-análise) para tentar explicar porque os tamanhos do efeito variam. E nós temos diferentes procedimentos meta-analíticos formais para estudar a variabilidade (agora é uma excelente oportunidade para divulgar o curso de meta-análise que ofereço regularmente no Programa de Pós-graduação em Ecologia e Evolução da UFG). Assim, por favor, busquem outro argumento porque esse de dizer que os resultados divergem (ou que “há controvérsias”) não cola mais.
Suponha agora que você está em dúvida sobre se deve ou não imunizar o seu filho com a vacina tríplice viral. Ou suponha que algum conhecido ou parente está em dúvida sobre se deve ou não vacinar uma criança. A dúvida é fomentada porque existe o medo (totalmente infundado, diga-se de passagem) de uma relação entre vacinação e autismo. Então, você faz aquela busca básica no Google para saber mais sobre o tema e encontra vários posts dizendo que a associação existe. No entanto, como um estudante universitário, você tem a obrigação intelectual de também procurar informações sobre a vacinação no Google Acadêmico e em artigos de revistas científicas renomadas da área médica. Se você fizer isso, você encontrará vários artigos sobre o tema e se usar as palavras chaves “vaccine autism meta-analysis” (sem aspas) o primeiro registro será o de um artigo intitulado: “Vaccines are not associated with autism: an evidence-based meta-analysis of case-control and cohort studies”, escrito por Taylor e colaboradores em 2014. Esse estudo foi baseado na análise de 1 266 327 crianças. Um dos resultados do estudo meta-analítico pode ser encontrado abaixo (ver figura original em Taylor et. al., 2014). Você notará que o tamanho de efeito médio ponderado estimado nesse estudo, conhecido como razão de possibilidades (odds ratio), foi praticamente igual a 1,0. É importante enfatizar que para esse tamanho de efeito o valor de referência [mostrando que um evento (i.e., vacinação) não altera as chances de um resultado (i.e., autismo)] é igual a 1.0. Em outras palavras, a vacinação não está relacionada com autismo! Veja também na abaixo que a variação entre os tamanhos de efeito é praticamente nula. Assim, os sete estudos independentes utilizados na meta-análise de Taylor e colaboradores quase que gritam, concomitantemente: “Por favor, vacine essa criança!”. Como sempre, você deve consultar um médico especialista e não basear sua decisão apenas nesse texto.
Para concluir, vamos voltar para a interpretação geral do forest plot de um estudo meta-analítico robusto. Pense nesse gráfico como um escudo...um escudo contra o obscurantismo, charlatanismo, negacionismo, argumentos de autoridade (ou de tradição), pós-modernismo, pós-verdades e pseudociência. Esse escudo é construído com evidências!
Capa: A meta-análise como um escudo contra o obscurantismo, a pseudociência, pós-modernismo e o argumento de autoridade...Arte: Matheus Nunes da Silva