quarta-feira, 8 de abril de 2015

O que é uma referência bibliográfica aceitável? 2 - Alguns estudos são mais importantes

Na postagem anterior, falamos sobre o que se considera como uma referência bibliográfica aceitável - algo publicado em periódicos peer reviewed.

No entanto, frequentemente eu critico, aqui no blog, estudos divulgados pela mídia. Mas - você perguntará - estes estudos não são estudos científicos peer reviewed? São, mas há uma hierarquia entre os TIPOS de estudos, o que faz com que uns apenas possam levantar hipóteses, enquanto outros possam fornecer respostas mais definitivas sobre um mesmo tema.

Recapitulando o que já escrevi uma vez:

  • Há estudos de maior impacto científico do que outros.
    • Os estudos epidemiológicos servem para levantar hipóteses, mas não estabelecem causa e efeito; eles estabelecem uma correlação.
      • Um exemplo conhecido (verdadeiro?) de correlação foi observado na Austrália, entre o consumo de sorvetes e o ataque por tubarões. Quanto maior o consumo de sorvetes, maior o número de ataques. Esta correlação é estatisticamente significativa.

      • Você acredita que o consumo de sorvete CAUSA os ataques? É, eu também não. E o estudo está errado? Não. O que acontece é que estudos epidemiológicos podem ignorar variáveis de confusão. No caso, a variável oculta é o calor. Quanto mais quente, mais sorvetes, e mais banhos de mar. O sorvete é apenas um marcador de calor, e o calor causa a ida ao mar, que causa um aumento no número de ataques.

  • Estudos prospectivos randomizados ou ensaios clínicos. Este é o Santo Graal da pesquisa médica. Aqui, um grupo grande de pessoas é sorteado para um de dois ou mais grupos. Um grupo será o grupo controle, e o outro grupo receberá o tratamento/remédio/dieta. O sorteio assegura que, estatisticamente, quaisquer variáveis de confusão (conhecidas ou desconhecidas) estejam igualmente distribuídas entre os grupos (mesmo número de fumantes, de sedentários, etc, etc.).
  • Os estudos prospectivos randomizados são a base da medicina baseada em evidências. Ao contrário dos estudos epidemiológicos, eles permitem avaliar se uma intervenção causa ou previne um desfecho.
A importância de saber diferenciar estes dois tipos de estudo é gigantesca. Afinal, os estudos epidemiológicos (observacionais) apenas podem levantar hipóteses. Eles não podem estabelecer causa e efeito. Repita comigo, em voz alta: "ESTUDOS EPIDEMIOLÓGICOS NÃO PODEM ESTABELECER CAUSA E EFEITO". Eu não posso dizer que comer carnes processadas CAUSA câncer. Portanto eu também não posso dizer de reduzir o consumo de carne processada irá reduzir câncer. Por quê? Porque isso é oriundo de estudos observacionais/ epidemiológicos. Eu só posso dizer que há uma ASSOCIAÇÃO entre o consumo de carnes processadas e câncer.

Ok, mas no fundo, no fundo, não é a mesma coisa? Não é apenas uma questão de semântica (jogo de palavras)? Dizer que está associado ou que causa - tanto faz, significa que é ruim pra você, não é mesmo?? Não. NÃO. NÃO, NÃO É A MESMA COISA!!.

Vamos a um exemplo fora do mundo da saúde, que espero que deixe esse assunto BEM claro de uma vez por todas.

Em 2012, o portal IG publicou uma notícia referente às notas do ENEM. Um estudo que comparou os desempenhos dos estudantes de diferentes raças na prova. Trata-se de um estudo observacional, epidemiológico. Não era um experimento. Apenas estava-se OBSERVANDO quem tirou qual nota, e quem tinha qual cor de pele. Vamos à manchete:

Notas de alunos brancos no Enem são mais altas que dos negros

Dados do exame de 2010 nas capitais do País também confirmam distância entre as médias de estudantes de colégios particulares e de escolas públicas

Agência Estado 
Recorte inédito de dados de desempenho no Exame Nacional do Ensino Médio (Enem) de 2010 nas capitais do País, além de confirmar a distância entre as notas médias dos estudantes de colégios particulares e os de escolas públicas, revela o abismo que separa estudantes brancos e negros das duas redes. 

Os números mostram que as notas tiradas pelos alunos brancos de escolas particulares no exame são, em média, 21% superiores às dos negros da rede pública – acima da diferença de 17% entre as notas gerais, independentemente da cor da pele, dos estudantes da rede privada e os da rede pública.
Então, está bem claro que há uma ASSOCIAÇÃO entre raça negra e mau desempenho do ENEM. E aí, você ainda acha que associação é o mesmo que causa e efeito??? Porque, se você acha que é a mesma coisa, você teria que acreditar que ser negro é a CAUSA do mau desempenho, não é mesmo? Que o problema original, essencial, único, etiológico é a raça. Bom, no século 21, suponho e espero que ninguém pense isso. A própria matéria jornalística  deixa claro que a associação ocorre devido a outras variáveis ocultas:

Na questão econômica, segundo ela, a explicação é que "entre os pobres, os negros são os mais pobres". O lado pedagógico refletiria a baixa expectativa. "Em uma sala de aula, se uma criança negra começa a apresentar dificuldade, a professora desiste de ensiná-la muito mais rapidamente do que desistiria de um estudante branco."

Então, como podemos ver, associação é apenas isso - associação. Associação não implica necessariamente causa e efeito - erros gigantescos podem advir dessa confusão. As reais causas, no caso da discrepância racial, podem ser especuladas a partir de outros raciocínios interpretativos da realidade. Mas, volto a dizer, as CAUSAS não estão demonstradas no estudo, e por que não? Porque ele é um estudo observacional - ele apenas identifica que duas coisas acontecem ao mesmo tempo ou se agrupam com mais frequência - não há como dizer que uma CAUSA a outra.

Ok, agora eu vou usar a criatividade e reescrever a notícia acima, como se fosse uma notícia do caderno de saúde do jornal.


Mortalidade de quem come carne branca é menor do que a de quem come carne vermelha

Dados de um levantamento de 2010 nas capitais do País também confirmam distância entre vegetarianos e consumidores de carne

Agência Souto
Recorte inédito de dados de mortalidade do Ministério da Saúde de 2010 nas capitais do País, além de confirmar a distância entre a saúde dos vegetarianos em relação aos onívoros, revela o abismo que separa os consumidores de carne branca e os de carne vermelha. 
Os números mostram que a mortalidade das pessoas que consumiam apenas carne vermelha é, em média, 21% superior à dos que consomem apenas carne branca– acima da diferença de 17% de mortalidade, independentemente do tipo de carne, entre vegetarianos e pessoas de dieta onívora.
E então, a carne vermelha AUMENTA a mortalidade? Reduzir o consumo de carne vermelha salvará vidas (humanas)? Se você disser que sim, você é um racista da pior espécie. Percebe?? É a mesma coisa! Não há como estabelecer causa e efeito em um estudo observacional. É um erro. Se você afirmar, com base neste texto de ficção, que carne vermelha aumenta a mortalidade, por uma questão de coerência você se verá obrigado a afirmar que o fato de uma criança ter nascido negra, a sua "raça", a predestina e condena a ter mau desempenho no ENEM.

Ok, você poderia dizer, no caso do ENEM é óbvio que as causas são outras, mas no caso da carne, qual a explicação? Não é óbvio que, nesse caso, a carne é que faz mal mesmo?

Não.

Deixe eu ajudar. Quando estudos epidemiológicos/observacionais implicam carne vermelha na gênese de doenças, normalmente eles comparam, dentro de um universo de milhares de pessoas que respondem a questionários, os 20% que comem menos carne vermelha versus os 20% que comem mais. Chama-se isso de "quintil", ou seja, o "um quinto" do grupo que come mais disso, ou menos daquilo. Será que esses grupos ("quintis") são diferentes em OUTRAS COISAS, além do tipo de carne que comem? Será que, no ENEM, a cor da pele se acompanha de OUTRAS diferenças sociais (renda, oportunidade...)? Abaixo, duas fotos, representativas do quintil que come MAIS carne vermelha, e do que come MENOS:


Ele come muita carne vermelha dentro de seus hamburgers, junto com coca e batatinha - este é um representante TÍPICO do quintil que come mais carne vermelha nos estudos.
Representante típica do quintil que come menos carne vermelha: elas têm maior nível educacional, maior renda, fumam menos, se exercitam, fazem Yôga e meditação, e queimam incenso.


Então, se eu comparar o quintil de pessoas que mais comem carne vermelha, representado pela foto mais de cima, com o quintil que menos come carne vermelha, representado pela foto de baixo, qual dos quintis você imagina que terá melhores desfechos de saúde? Qual você imagina que terá menor mortalidade por todas as causas? Olhando essas fotos, alguém consegue imaginar outros fatores, outras variáveis ocultas, que possam explicar esses desfechos?? E se a carne vermelha for como o sorvete no exemplo do tubarão, apenas um MARCADOR que identifica um PERFIL de comportamento de risco?

Também já escrevi sobre isso, e reproduzo abaixo:


Conhecido como European Prospective Investigation in Cancer and Nutrition (EPIC) (Estudo Europeu Prospectivo sobre Câncer e Nutrição), ele incluiu mais 500.000 pessoas de 10 países diferentes que foram questionados sobre um conjunto de diferentes fatores dietéticos, desde o que e o quanto comiam até seu nível de escolaridade, idade, peso, altura, e tabagismo. O estudo indicou que pessoas que comiam muita carne processada também tinham uma chance muito maior de fumar, comer menos frutas e saladas, e ter níveis mais baixos de educação. Eram muito mais gordos e se exercitavam muito menos do que o restante da amostra. E os homens que comiam mais carne processada bebiam muito. Ah, e os maiores comedores de carne eram também mais velhos - muitos já haviam passado dos 70 anos quando sofreram as consequências das salsichas.


E as pessoas que comiam a maior quantidade de carne processada - que o estudo qualificou como mais de 160g por dia (equivalente a cerca de 6 salsichas) - não morreram apenas de de doenças cardiovasculares ou câncer, as coisas que costumamos associar à uma dieta ruim; eles também morreram mais de "outras causas", uma categoria que inclui acidentes de carro, ferimentos acidentais e outras causas não relacionadas à comida. Os maiores consumidores de carne branca, por outro lado, eram os "escoteiros" do grupo: não fumavam muito, comiam bastante salada, faziam exercício, iam à faculdade, e com certeza escovavam os dentes, usavam cinto de segurança e faziam seus check-ups regularmente.


Posso repetir meu trecho favorito? "As pessoas que comiam a maior quantidade de carne processada (...) não morreram apenas de doenças cardiovasculares ou câncer, (...) eles também morreram mais de "outras causas", uma categoria que inclui acidentes de carro, ferimentos acidentais e outras causas não relacionadas à comida. "

Em um mundo onde 100% das pessoas consideram carne vermelha algo letal, quem ousa comer muita carne vermelha? Gente tão desleixada com sua saúde, que não usa cinto de segurança e deixa armas carregadas ao alcance das crianças - é isso que está implícito no texto.


IMPORTANTE: isso irá se refletir no estudo epidemiológico, independentemente de a carne ser boa ou má para a saúde!! O que importa, neste caso, é a CRENÇA de que faz mal. Se todo mundo achar que faz mal, só os irresponsáveis comerão em maior quantidade. E como os irresponsáveis são irresponsáveis em outras áreas da vida, eles inevitavelmente morrerão e adoecerão mais. É a profecia autorealizada: basta uma crença ou preconceito existir, para ser detectada nesse tipo de estudo. E, em uma lógica circular, se todo mundo acredita em algo, o estudo mostrando a associação apenas reforçará a CRENÇA em uma relação CAUSAL.

Mas, de que forma comer salsichas poderia CAUSAR acidentes de automóvel?

Então, ficou claro? Bem claro? Dá para entender, bem entendido, que as reais CAUSAS por detrás das associações podem ser outras coisas?

Por favor, repita novamente: "ESTUDOS EPIDEMIOLÓGICOS NÃO PODEM ESTABELECER CAUSA E EFEITO"


***XXXX***

Façamos agora um experimento mental. Vamos imaginar que vivemos na África do Sul durante o regime do Apartheid. Neste regime de opressão racial, a wikipedia nos diz que "o apartheid tem, como centro de suas crenças, que: (I) outras raças diferentes da branca são inferiores; (II) que um tratamento inferior a raças "inferiores" é apropriado; (III) e que tal tratamento deveria ser reforçado pela lei."

Ok? Vamos em frente.

Digamos que, neste contexto, surgisse a notícia do portal IG, aquela que mostrava que os negros têm um desempenho pior no ENEM. Qual você acha que seria a interpretação dada ao estudo? Obviamente seria considerado como um resultado natural e esperado, causado pela reconhecida inferioridade racial e biológica dessa parcela da população.

Mas, alguns poucos excêntricos diriam, é um estudo observacional, não pode estabelecer causa e efeito! Mas, responderiam todos, todo mundo, no fundo, SABE que a CAUSA é a inferioridade. Isso de "causa e efeito versus associação" é só um jogo de palavras, e todos os estudos observacionais mostram a mesma inferioridade.


***XXXX***

Já deve estar evidente, para quem leu até aqui, a conclusão desse argumento. Mas o óbvio deve ser dito:


Estudos observacionais e epidemiológicos capturam os vieses, o zeitgeist, os preconceitos de uma época, e o reproduzem. Mais do que isso, embora não possam estabelecer causa e efeito, acabam sendo interpretados de forma a reforçar a causa presumida daquilo que estudam, sob a ótica dos preconceitos e diretrizes vigentes.

***XXXX*** 

Todos os dias eu recebo emails com notícias sobre estudos observacionais mostrando associações entre os suspeitos usuais (carne vermelha, gordura saturada, proteína animal, sal) e todo o tipo de desfecho ruim, exatamente como se esperaria sob a ótica dos preconceitos e diretrizes vigentes. Muitas dessas associações já foram refutadas completamente por ensaios clínicos randomizados - o tipo de estudo que pode efetivamente estabelecer relações de causa e efeito. Então, de agora em diante, quando eu responder "mas isso é um estudo EPIDEMIOLÓGICO!", fica desde já claro a importância que se lhes atribuo: servem apenas para levantar hipóteses - e deixam de ser úteis depois que um ensaio clínico já examinou o mesmo assunto, com resultados diferentes.

Longe de mim sugerir que estudos epidemiológicos são inúteis. Há situações em que um experimento, um ensaio clínico randomizado, não é viável do ponto de vista ético. Exemplo clássico é a relação entre cigarro e câncer de pulmão. Não há como randomizar pessoas para grupo de fumo compulsório versus um grupo controle, para depois de alguns anos avaliar quantos morrerão em cada grupo. No caso do câncer de pulmão, o que permitiu a descoberta da associação foram estudos epidemiológicos - o experimento jamais será feito. Bem verdade que a magnitude da associação, juntamente com os demais critérios de Bradford Hill (veja aqui), permitem, nesse caso, uma ilação causal: os fumantes têm CEM vezes mais chance de desenvolver câncer de pulmão.

***XXXX***

A esmagadora maioria das manchetes da imprensa sobre saúde são baseadas em estudos epidemiológicos, e são escritas por jornalistas que não sabem o que você acabou de ler aqui. Em virtude disso, estão cheias de sugestões de causalidade onde deveria haver apenas afirmações claras de que trata-se apenas de associações.

E, eu não sei se já disse isso... mas ASSOCIAÇÃO NÃO IMPLICA NECESSARIAMENTE CAUSA E EFEITO!

Na próxima postagem da série, vamos abordar uma situação em que estudos epidemiológicos/observacionais podem ser MUITO úteis.

Nenhum comentário:

Postar um comentário