sábado, 27 de outubro de 2018

Por uma declaração universal dos direitos dos dados


Seja você também um apoiador da ABLC! Clique aqui.
Visite ablc.org.br



Artigo primeiro: nenhum dado estatístico deveria ser torturado para confessar aquilo que os autores querem que ele confesse. 
Parágrafo único: conclusões obtidas sob tortura não poderão ser utilizadas em diretrizes. 

Começaria assim, seu eu pudesse escolher, a declaração universal dos direitos dos dados.

Durante muitos e muitos séculos, a tortura foi utilizada para extrair confissões. E o maior exemplo foi a Santa Inquisição. Pessoas eram acusadas de bruxaria, eram presas e barbaramente torturadas, e a única forma de interromper o suplício era CONFESSAR. Confessar o quê? Qualquer coisa que o torturador quisesse ouvir. Claro que, ao confessar que, de fato, eram bruxas, as pessoas eram condenadas à morte. Mas a morte era melhor do que a tortura. Michael Shermer, em artigo da Scientific American, nos conta uma história interessante de como a prática começou a ser questionada, pela primeira vez, durante o iluminismo:


Conforme relatado pelo autor e jornalista Daniel P. Mannix, durante o período de loucura sobre bruxaria na Europa, o duque de Brunswick, na Alemanha, convidou dois estudiosos jesuítas para supervisionar o uso da tortura pela Inquisição para extrair informações das bruxas acusadas. “Os inquisidores estão cumprindo seu dever. Eles estão prendendo apenas pessoas que foram implicadas pela confissão de outras bruxas”, relataram os jesuítas. O duque estava cético. Suspeitando que as pessoas vão dizer qualquer coisa para interromper a dor, ele convidou os jesuítas para se juntar a ele na masmorra local para testemunhar uma mulher sendo esticada em um instrumento de tortura. "Mulher, você é uma bruxa confessa", ele começou. “Eu suspeito que esses dois homens sejam bruxos. O que você me diz?" E então ordenou: "carrascos, girem a roda mais uma vez". Os jesuítas não conseguiram acreditar no que ouviram a seguir. "Não, por favor pare!", a mulher gemeu: “Você está certo! Eu tenho visto muitas vezes eles no Sabá. Eles podem se transformar em cabras, lobos e outros animais ... Várias bruxas tiveram filhos deles. Uma mulher até teve oito filhos com esses homens! As crianças tinham cabeças como sapos e pernas como aranhas". Virando-se para os jesuítas espantados, o duque perguntou: E agora? Devo colocar vocês na roda até que confessem?

***

A epidemiologia surgiu, como o nome sugere, para investigar epidemias. Seu emprego como método de tortura de dados veio muito depois. O pai da epidemiologia foi o médico inglês John Snow, que desvendou a origem de uma epidemia de cólera em Londres, no século 19. Ainda não se sabia que infecções eram causados por micro-organismos, e o Dr. Snow levantou dados sobre os casos, e os colocou num mapa:


Os pontos pretos são CASOS. É evidente que se irradiam a partir de uma determinada rua, no centro do mapa.
Os casos se concentravam ao redor da Broad Street, em especial próximo a uma bomba de água localizada naquela rua. Quanto mais próximo, mais casos. Quanto mais distante, menos casos. Assim, ele concluiu que havia algo de errado com aquela água, e conseguiu persuadir as autoridades (a muito custo) a corrigir o problema.

Veja bem, para este tipo de investigação simples, os dados falam por si. As hipóteses levantadas são relativamente fáceis de compreender, e o experimento necessário para corroborar a hipótese é bastante óbvio (deixar de usar a água contaminada resolveu a epidemia).

Mas, e quando os dados não são tão óbvios? E quando os dados são contraditórios, confusos, apresentam mais ruído do que sinal? E quando os inquisidores já têm opinião formada, e decidem torturar os dados, para que eles confessem? Assim como durante a Inquisição, uma vez que alguém tenha sido acusado de bruxa, não há outra chance a não ser confessar. Com os dados, não é diferente. Uma vez que um pesquisador esteja convencido sobre algo, os dados não têm muita escolha. Você pode achar que eu estou exagerando. Mas é apenas porque você ainda não conhece os instrumentos de tortura da epidemiologia.

Antes de mais nada, para aquecer, leia as seguintes postagens:

O viés do paciente bem comportado
Reductio ad absurdum

Ok? Leu? Então, vamos lá:

1) Primeiro instrumento de tortura dos dados: a análise multivariada.
Suponhamos (trata-se de exemplo completamente fictício) que eu queira avaliar a associação entre o consumo de vitamina D e pneumonia. Minha hipótese é a de que vitamina D proteja contra pneumonia. Parece um trabalho simples. Basta escolher uma população de, digamos, 10 mil pessoas, ver quem toma vitamina D e quem não toma, e quem teve pneumonia e quem não teve e pronto, saberemos se há associação entre essas duas coisas (lembrando que isso não significa que uma coisa é CAUSA da outra). Porém, para minha surpresa, eu descubro uma associação diferente da que eu imaginava: quanto maior o uso de vitamina D, mais pneumonia. Mas eu achava que vitamina D deveria proteger. Então, e chamo o bioestatístico. E ele observa o seguinte: pacientes mais velhos usam mais vitaminas, e pacientes mais velhos têm mais pneumonia. Então, será que a influência da variável idade não está obscurecendo o (suposto) efeito protetor da vitamina D? Como resolver isso? Já sei! Vamos fazer um AJUSTE matemático para IDADE. Então, dentre as várias bases de dados de OUTROS estudos sobre a influência da idade na pneumonia, eu escolho uma para achar um coeficiente para aplicar no meu modelo matemático. Então, eu descubro que renda também tem influência tanto em pneumonia como em uso de vitaminas. Sem problemas! Vamos fazer um ajuste para renda - mais uma equação. Ao fim e ao cabo, teremos feito vários ajustes para diversas variáveis - uma ANÁLISE MULTIVARIADA. E agora os dados mostram o que eu quero - mais vitamina D está associado com MENOS pneumonia. Mas, afinal, vitamina D ajuda a prevenir pneumonia? Para saber isso, seria necessário fazer um ensaio clínico randomizado - somente um experimento é capaz de responder essa pergunta. Mas a análise multivariada nos deixou mais próximo da verdade, certo? CERTO?

John Ioannidis, o metapesquisador mais iconoclasta da história, publicou um estudo clássico em 2015, no qual demonstra cabalmente que é possível obter resultados completamente opostos, de acordo com o tipo de análise multivariada que se faça:

As chamadas "vibrações de efeito", às quais Ioannidis se refere, são os efeitos, maiores ou menores, num sentido ou noutro, que você obtém com OS MESMOS dados epidemiológicos observacionais, dependendo das variáveis e dos coeficientes que você escolher. A vitamina E, por exemplo, pode reduzir OU aumentar a mortalidade, dependendo do modelo que você utilizar.  

Este elegante artigo demonstra que, em estudos observacionais/epidemiológicos, a seleção de determinadas variáveis (que o bioestatístico pode escolher à vontade, em um buffet que beira o infinito) pode determinar resultados COMPLETAMENTE OPOSTOS com os MESMOS dados. Os dados, quando torturados com essa ferramenta, basicamente podem confessar o que você bem entender.

E quem disse que os bioestatísticos se prestam a essa função de torturadores? Bem... eles mesmos!



Neste artigo recente, 522 bioestatísticos foram questionados sobre seu papel em extrair confissões de dados observacionais sob tortura:


Os 4 pedidos inapropriados relatados com maior frequência e classificados como “mais graves” por pelo menos 20% dos inquiridos foram, por ordem de frequência, a remoção ou alteração de alguns registos de dados para melhor apoiar a hipótese da pesquisa; interpretar os resultados estatísticos com base nas expectativas, e não nos resultados reais; não reportar a presença de dados essenciais faltantes que pudessem introduzir vieses nos resultados; e ignorar violações de suposições que mudariam os resultados de positivos para negativos.
Conclusão:Esta pesquisa sugere que os pesquisadores freqüentemente fazem solicitações inadequadas de seus consultores de bioestatística em relação à análise e ao relato de seus dados.
Como se vê, não se trata de especulação ou teoria de conspiração. É um fato - os dados são torturados, e quem afirma isso são seus próprios torturadores.

Precisa de mais exemplos?


Neste incrível estudo, 29 times de investigadores (com um total de 61 analistas) receberam OS MESMOS dados para analisar. Aqui, não se trata de assuntos ligados à saúde, mas, enfim, são dados de um estudo observacional, e as mesmíssimas considerações se aplicam. Os dados referem-se a a racismo, avaliado pela seguinte questão: será que os árbitros de futebol têm maior tendência a dar cartão vermelho para jogadores negros do que brancos?
Os times receberam dados sobre 2053 jogadores e 3147 interações dos mesmos com os árbitros. Uma série de variáveis foram fornecidas, incluindo tom de pele, nacionalidade, peso, altura, posição do jogador, e muitos outros.
O resultado? 

Observe a tabela acima: um número 1 significa que não houve influência da cor do jogador. Um número acima de 1 significa que os árbitros tinham maior probabilidade de dar cartão vermelho para jogadores negros. Um número abaixo de 1 significa o contrário - menor risco de cartão para jogadores negros.

O que se pode observar?


  1. Que a maioria das análises indica que parece haver uma tendência maior dos árbitros a darem cartão vermelho para jogadores negros;
  2. Que diferentes times de investigadores escolhem diferentes métodos de análise (tortura) de dados;
  3. Que alguns times obtiveram resultados EXTREMOS e OPOSTOS: desde 0,89 (ou seja, havia 11% MENOS chance de jogadores negros receberem cartões) até 2,93 (ou seja, 193% mais chances de jogadores negros receberem cartões).
O que esse experimento nos traz de ÚNICO? É que, no mundo real, JAMAIS ficaríamos sabendo dessa grande variedade  de resultados? Sabe por quê? Por causa do nosso próximo instrumento de tortura: o Viés de Publicação.

Existe um antigo ditado sobre o jornalismo que diz mais ou menos assim: "o cachorro morder o menino não é notícia; o menino morder o cachorro é que é notícia". Não se costuma publicar o que é trivial. Costuma-se publicar o que atrai a atenção dos leitores (ou dos internautas). Isso não é diferente nos periódicos científicos. Do ponto de vista científico, é tão interessante publicar resultados negativos quanto positivos. Mas a realidade é que existe um viés de publicação: a maioria dos estudos que mostram que X NÃO está associado com Y acaba mofando em uma gaveta, enquanto aqueles que mostram que X é altamente correlacionado com Y acabam publicados. Mas, diferentemente do que acontece no caso do artigo acima, sobre os cartões vermelhos, VOCÊ JAMAIS SABERÁ sobre as dezenas de análises dos dados que não encontraram nenhuma associação!!! Você lerá apenas o estudo que, em virtude de escolhas feitas na FORMA de torturar os dados, obteve uma confissão. Resultados positivos são sexy. Resultados positivos e alinhados com o senso comum são ABSOLUTAMENTE IRRESISTÍVEIS, serão publicados nos periódicos científicos mais renomados, e gerarão as notícias dos portais de internet e programas de televisão.

Apenas para que fique bem claro: no mundo real, se diversos grupos de pesquisadores estivessem debruçados sobre os mesmos dados, no caso do futebol, você NÃO saberia nada sobre essa pluralidade de resultados. Você veria apenas uma manchete sobre um dos resultados extremos. E acharia que isto é A VERDADE.

Há mais de 13 anos, John Ioannidis escreveu um artigo magistral sobre todos esses assuntos:



O título é, literalmente, "Por que a maioria dos achados de pesquisas publicadas é falso"?

Neste artigo, Ioannidis modelou matematicamente a questão. A escolha do título não é retórica. Há a demonstração matemática de que um estudo publicado, isoladamente, tem mais chance de ser falso do que verdadeiro (pense neste aqui, por exemplo). Dentre os vários corolários citados pelo autor, três são especialmente relevantes para a nossa discussão sobre a tortura de dados epidemiológicos:


 - Neste corolário, o autor explica como o excesso de flexibilidade na tortura de dados (com diferentes modelos analíticos) pode transformar resultados que seriam "negativos" em "positivos".



- Neste corolário, o autor explica que, quanto maiores os conflitos de interesse, sejam eles de natureza financeira ou ideológica, maiores as chances de o resultado do estudo ser falso. Lembre-se: os dados, se torturados, irão SEMPRE confessar aquilo que o torturador QUER escutar.


 - Neste corolário, o autor aborda o que talvez seja o mais relevante do ponto de vista da epidemiologia nutricional: que áreas de pesquisa mais "quentes", isto é, em que há muito interesse e muitos times diferentes trabalhando com grandes bases de dados e total liberdade de escolha de variáveis, hipóteses e métodos de análise, a probabilidade de encontrar-se correlações positivas, que são logo desmentidas por outros grupos (muitas vezes a partir dos MESMOS dados), é imensa. Treze anos depois, o estudo dos cartões vermelhos, acima, comprovou exatamente isso. Mas, lembre-se: apenas os resultados extremos - os "outliers" - acabam sendo publicados. E esses são os resultados com MENOR probabilidade de estar certos!

O que eu sugiro que se faça então? Vou deixar que o próprio John Ioannidis responda:


Traduzindo: em entrevista à CBC news, Ioannidis disse "A epidemiologia nutricional é um escândalo. Ela deveria simplesmente ser jogada no lixo".

Eu concordo. Aliás, estou convicto de que a epidemiologia nutricional matou mais gente do que as duas Grandes Guerras, somadas. Afinal, não é por outro motivo que as pessoas têm medo de comer abacate ou ovos ("muita gordura"), mas acham que é normal comer cereal adoçado com açúcar mascavo orgânico, com leite desnatado e suco de laranja, pavimentando o caminho para a síndrome metabólica, a esteatose e o diabetes. O pobre John Snow, se soubesse o perverso efeito-borboleta que estava colocando em movimento no século 19 em Londres, talvez pensasse duas vezes antes de mandar fechar o poço com cólera.

Se eu pudesse fazer um pedido ao gênio da lâmpada, seria o seguinte: "que a epidemiologia volte a ser usada para desvendar epidemias". Ou, no máximo, para levantar hipóteses. Mas que nunca, NUNCA MESMO, a epidemiologia nutricional, sua gêmea do mal, possa ser usada para determinar medidas de saúde pública, antes que ensaios clínicos randomizados sejam conduzidos. 

Você não está chegando mais próximo da verdade do que a inquisição medieval, ao basear suas condutas em confissões obtidas sob tortura. Os dados, submetidos ao suplício estatístico, irão confessar o que seus algozes quiserem que eles confessem. Que o iluminismo do século 17 lance luz sobre a nutrição do século 21.

Nenhum comentário:

Postar um comentário