Alegações extraordinárias requerem provas extraordinárias
Carl Sagan
A frase é de Carl Sagan – e é um dos clássicos do pensamento cético. Não são necessárias grandes provas quando apenas se corrobora o óbvio em um estudo – que fumar é ruim para a saúde, por exemplo.
Agora, se eu pretendo provar algo que, de acordo com as leis conhecidas do universo físico, deveria ser impossível – as provas precisam ser extraordinárias. E precisam ser reprodutíveis.
Em 2011 o psicólogo americano Daryl Bem gerou manchetes no mundo todo por ter “provado”, em testes clínicos, que o futuro poderia influenciar o presente. Programas sensacionalistas e reportagens crédulas foram produzidos:
Acontece que o futuro não tem como afetar o passado. É uma impossibilidade física. A entropia do universo é algo que só aumenta, as coisas não viajam mais rápido do que a luz e o tempo não anda para trás. Para provar que tais afirmações estão incorretas, são necessárias provas extraordinárias. Não é um estudo com alunos de graduação tentando adivinhar quais palavras aparecerão no monitor que refutará toda a física moderna.
Uma espetacular reportagem foi publicada na Slate em 2017 sobre este assunto:
Com o provocador título “Daryl Bem provou que a percepção extrassensorial é real – o que significa que a ciência está quebrada“, a longa reportagem explica que os estudos de Bem pareciam ter adequado rigor científico. Mas, como o que ele julgou demonstrar era impossível, a publicação deste estudo deu início de fato à crise de replicação (particularmente na psicologia): muitas dezenas de estudos clássicos foram revisitados e, quando se tentou reproduzi-los (replicá-los), seus resultados não se confirmavam. O caso de Daryl Bem era extremo – ao demonstrar estatisticamente algo impossível, o que o estudo provava, de fato, é que os métodos de pesquisa eram falhos. A melhor frase da reportagem é a seguinte: “pois se nossos métodos científicos padrão permitem provar o impossível, então esses métodos certamente precisam ser revistos“.
Aliás, 3 grupos independentes tentaram replicar os achados de Daryl Bem sem sucesso – o problema não era com as leis da termodinâmica e com a física como a conhecemos – eram problemas de natureza puramente metodológica:
É importante termos uma estimativa da probabilidade de um fenômeno que vamos estudar – a chamada probabilidade pré-teste. A probabilidade de um evento futuro (que, por definição, ainda não existe) afetar um evento presente é zero. Assim, se um estudo indica que isso aconteceu, isso não muda a física, e o leite derramado não volta espontaneamente para dentro da xícara. O estudo está errado. Se foi por fraude ou por equívoco, é o que nos cabe discutir. No caso de Daryl Bem, tudo indica que foi por equívoco. Mas ninguém em sã consciência deveria ter levado os resultados a sério, não importa o quão importante fosse o seu autor ou a sua instituição de origem (e ambos eram BEM importantes).
***
Muitas pessoas – muitas mesmo – têm me mandado o link de um artigo científico publicado por pesquisadores da USP:
O artigo tinha como objetivo randomizar pacientes diabéticos, obesos e com síndrome metabólica para uma dieta de restrição calórica ou para uma dieta de restrição de proteínas SEM restrição calórica.
Os autores precisam ser reconhecidos pelo seu esforço. Conseguiram recrutar um total de 21 pacientes que toparam ficar 27 dias internados, sob supervisão, recebendo apenas a comida fornecida pelo estudo. Este é um tipo de estudo raro em nosso meio – a logística é incrivelmente complexa, e o custo é elevadíssimo. E este método elimina o maior viés dos estudos de dieta – o fato de que as pessoas, em geral, não seguem as dietas ao pé da letra. Aqui, não. Até mesmo os pertences das visitas eram inspecionados para se ter certeza de que não estavam trazendo comida de fora.
O resumo do estudo diz o seguinte: “Assim como a Restrição Calórica, a Restrição Proteica promoveu perda de peso devido à redução da adiposidade, que foi associada à redução da glicemia, dos níveis lipídicos e da pressão arterial. Mais surpreendentemente, tanto a RC quanto a PR melhoraram a sensibilidade à insulina em 62,3% e 93,2%, respectivamente, após o tratamento”.
Antes mesmo de ler o estudo, surgem aqui questões intransponíveis. O grupo de restrição proteica não deveria ter tido restrição calórica. Assim, não poderia ter emagrecido. Se emagreceu, é porque teve restrição calórica. Existe outra possibilidade? Sim – que o grupo de restrição proteica tenha feito muito, mas MUITO exercício – criando assim um déficit calórico. De qualquer forma – antes mesmo de ler o estudo, já sabíamos que há um resultado muito estranho e implausível.
Então, fui ver os detalhes do artigo original- e a coisa foi ficando cada vez mais impossível de ser reconciliado com a realidade. E justamente pelo estudo ter sido tão bem feito. Vejamos:
O metabolismo de cada um dos indivíduos foi medido por calorimetria indireta no início do estudo. Assim, foi possível saber quantas calorias seriam necessárias para IMPEDIR a pessoa de perder peso. O grupo de restrição calórica passou a receber uma dieta com 50% de carboidratos, 20% de proteína e 30% de gordura mas com 25% a menos de calorias. AGORA, preste atenção: o grupo de restrição proteica recebeu uma dieta ISOCALÓRICA, isto é, com o número de calorias necessário para manter o peso estável para cada indivíduo. A dieta tinha 60% de carboidratos, 10% de proteína e 30% de gordura.
O grupo de restrição calórica teve uma perda de peso de 6,9 Kg em 27 dias – uma perda muito grande, sem dúvida. O grupo de restrição proteica (alegadamente) SEM restrição calórica não poderia ter perdido nenhum peso POR DEFINIÇÃO. Mas perdeu 5,4 Kg. Como explicar isso?
Exercício não foi: os autores explicam que as pessoas não puderam se exercitar nestes 27 dias. Um aumento absurdo da taxa metabólica em repouso? Quem sabe a restrição proteica pudesse, de alguma forma nova e jamais descrita pela ciência, acelerar o metabolismo das pessoas a tal ponto que, embora estivessem consumindo uma dieta isocalórica, queimassem calorias o suficiente para perder mais de 5 Kg em menos de 1 mês, o que normalmente requer restringir calorias de forma bastante rigorosa? Mas não foi isso, pois os autores mediram o metabolismo antes e depois dos 27 dias, e houve uma redução (esperada) do metabolismo de quem fez restrição calórica (chama-se termogênese adaptativa). Mas tal redução não foi vista no grupo da restrição de proteínas (mais uma vez contradizendo montes de estudos que indicam que com menos proteína o metabolismo se reduz MAIS). Enfim, o metabolismo destes pacientes não acelerou. Se não estavam comendo menos, nem se exercitando mais, nem com metabolismo mais acelerado, qual a explicação termodinâmica para a perda de 5,4Kg?
Bem, talvez a perda tenha sido só de água? Ou quem sabe os pacientes tenham perdido fundamentalmente massa magra? Afinal, com 27 dias sem nenhum exercício em com redução de 50% das proteínas na dieta, a perda de massa magra é praticamente garantida. Mas, segundo os autores, isso não aconteceu. Ambos os grupos perderam apenas gordura, segundo o artigo. Isso também contradiz toda a literatura. Sempre que há uma perda significativa de peso, parte dessa perda será de massa magra. As únicas formas de mitigar essa perda de músculo são com treino de força (que os pacientes do estudo não fizeram) e com AUMENTO significativo do aporte proteico na dieta (mas, aqui, houve REDUÇÃO da proteína na dieta). É impossível.
É difícil entender exatamente onde está o erro, mas é ÓBVIO que houve erros. Os autores, aliás, também admitiram sua perplexidade na discussão do artigo:
Isso não é um pequeno detalhe. Isso está no nível de implausibilidade dos estudos de Daryl Bem. Se a dieta fosse isocalórica, não teria havido perda de gordura corporal. Se houve perda de gordura corporal, a dieta não foi isocalórica. Cabe aos autores identificar onde foi o erro – se houve erro ao calcular a taxa metabólica de repouso, que poderia ter sido subestimada, gerando uma dieta que não era isocalórica, e sim hipocalórica, ou se foi na formulação das dietas, que tinham menos calorias do que se pretendiam que tivessem. Alegar o sobrenatural, como fez Daryl Bem, não é uma opção válida em um estudo científico – e ignorar isso não fará o problema desaparecer. É, de fato, surpreendente que isso tenha passado pela revisão pelos pares – os resultados são simplesmente incompatíveis com o mundo real.
É interessante que algumas das leis físicas que seriam violadas aqui – as leis da termodinâmica – estão entre as mesmas que precisariam ser violadas para que os achados de Daryl Bem fossem reais: um dos motivos pelos quais o futuro não pode afetar o passado tem a ver com a segunda lei da termodinâmica (mesmo motivo pelo qual o leite e o café, uma vez misturados, não se separam espontaneamente). E a primeira lei é a da conservação de energia – que embora seja válida em toda a via-láctea (e no restante do universo) – aparentemente não se aplica em Ribeirão Preto. Poucas leis físicas são tão comprovadas quanto as da termodinâmica. Alegações extraordinárias requereram provas extraordinárias. As provas, aqui, estão muito aquém desse nível.
Dito de outra maneira: este estudo tem a mesma chance de estar certo que o estudo que diz que as pessoas podem prever o futuro. Como eu disse acima, é um estudo difícil, caro, e muito esforço e dedicação foram colocados em sua realização. Mas o fato é que algo muito sério e grave deu errado em sua execução. O que o estudo comparou, de fato, foram duas dietas hipocalóricas, uma mais hipocalórica com 50% de carboidratos e 20% de proteínas e uma um pouco menos hipocalórica e com 60% de carboidratos e 10% de proteína. A que foi mais hipocalórica teve mais perda de peso e maior redução da hemoglobina glicada.
E a questão da melhora da resistência à insulina?
Se o estudo FOSSE de uma dieta isocalórica com restrição proteica versus apenas restrição calórica e mostrasse que o grupo da restrição proteica, embora não houvesse emagrecido nada, tivesse obtido melhoras quase equivalentes ao que emagreceu, estaríamos frente a uma descoberta sem precedentes: uma dieta com MAIS carboidratos e menos proteína tendo um efeito maior do que medicamentos tipicamente obtém em 27 dias, e sem precisar cortar calorias! Mas como o estudo teve um erro e a dieta hipoproteica acabou sendo hipocalórica também, o estudo mostrou que pacientes diabéticos que emagrecem melhoram, seja com 10%, seja com 20% de proteínas. Embora saibamos que uma dieta com mais proteínas leva a maior perda de peso em condições de vida livre devido à maior saciedade, aqui não havia condições de vida livre, e ambos os grupos tiveram restrição calórica imposta.
Há um gigantesco corpo de evidências indicando que dietas com mais proteínas induzem melhoras cardiometabólicas superiores a dietas com menos proteínas. Há metanálises sobre isso (veja aqui). Aqui mesmo no blog, já postei anos atrás a respeito de um ensaio clínico randomizado que mostrou que uma dieta com 40% de carboidratos e 30% de proteínas produziu a remissão do pré-diabetes em 100% dos participantes, versus apenas 33% dos participantes com uma dieta semelhante à de baixa proteína dos autores do presente estudo.
Assim, a absoluta impossibilidade física do estudo estar correto sem violar as leis da termodinâmica soma-se ao fato de que suas conclusões contradizem totalmente a predominância da evidência de dezenas de ensaios clínicos randomizados e até mesmo de metanálises. De fato, há toda uma linha de pesquisa (hipótese do alavancamento proteico) sugerindo que parte da epidemia de obesidade ocorre devido à diluição da proteína por carboidratos e gorduras, especialmente nos alimentos ultraprocessados. Como é amplamente sabido, as proteínas induzem mais saciedade – mas são mais caras. Esta é uma das explicações para o fato de que a obesidade e o diabetes são muito mais prevalentes em populações mais pobres: os alimentos mais baratos que existem – macarrão instantâneo, pães, biscoitos, salgadinhos, lanches, sucos de caixinha – são extremamente ricos em energia (carboidratos e gorduras) e pobres em proteína. O estudo em pauta quer nos convencer de que uma dieta nestes moldes SEM restrição calórica provocará emagrecimento e melhora da resistência à insulina superior a uma dieta com o dobro de proteína. Coma Miojo e emagreça sem contar calorias. Se isto não for uma alegação extraordinária, não sei o que é.
O grupo que perdeu mais peso (o da restrição calórica proposital) teve melhora maior da hemoglobina glicada e da glicemia de jejum do que o grupo da restrição calórica acidental (que perdeu menos peso), embora a insulina de jejum tenha fica igual entre os grupos. Uma vez que se admita que de fato houve erro no cálculo das calorias, tudo faz sentido: os que emagreceram mais, melhoraram mais – até que vemos a redução da resistência à insulina. Ela foi muito maior no grupo da restrição proteica com restrição calórica acidental – muito embora este grupo tenha emagrecido menos e tivesse mais carboidratos. É totalmente implausível – mais uma vez. Implausível não significa impossível – este estudo poderia estar descobrindo algo único, um fenômeno completamente novo e contrário a toda a literatura de ensaios clínicos randomizados em humanos nesta área. Mas um ensaio clínico com 21 pacientes nos quais efetivamente SABEMOS que as dietas foram formuladas de forma incorreta (por definição, haja vista ter havido um emagrecimento GRANDE no grupo que simplesmente não deveria emagrecer) não pode ser considerado evidência extraordinária para sustentar tal alegação deveras extraordinária.
Não nos cabe explicar o inexplicável – na minha opinião este estudo não deveria ter resistido ao peer review. Mas mesmo assim arrisco uma explicação para o resultado anômalo de maior melhora da resistência à insulina no grupo que emagreceu menos. Comparem os dois gráficos abaixo:
Quando olhamos os gráficos, percebe-se que, devido ao fato do número de participantes ser muito pequeno, os dois grupos não são homogêneos. Marquei no gráfico os “outliers”, casos muito fora da média. Acontece que, por puro acaso, o grupo da restrição proteica com restrição calórica acidental tinha mais outliers – como eles melhoraram mais (pois eram mais extremos no início do estudo – antes da dieta), isso pode ter ajudado a explicar a maior queda da resistência à insulina neste grupo (de forma completamente independente da quantidade de proteína na dieta). Em um N de 10 (isso mesmo, o grupo em questão tinha apenas 10 pessoas), 3 outliers representa 30% da amostra – este é um dos motivos pelos quais estudos muito pequenos geram mais calor do que luz.
Mas estes gráficos são relativos ao HOMA-IR, uma medida de resistência à insulina menos precisa. Os autores baseiam sua conclusões no teste padrão-ouro para medir a resistência à insulina, o clampe hiperinsulinêmico-euglicêmico (mais uma vez, devem ser parabenizados pelos seus esforços em testar de forma rigorosa). Olhemos os gráficos:
Aqui, infelizmente, não podemos ver cada paciente individualmente. Mas é evidente que os grupos são diferentes entre si mesmo antes das dietas. Os dados do grupo de restrição calórica têm dispersão muito maior, havendo tremenda superposição dos resultados e das barras de erro. E essa maior dispersão dos valores já era assim ANTES da dieta. Seria interessante que, na tabela 1, houvesse comparação entre os grupos para este parâmetro no início do estudo, para documentar se eram diferentes (mas isso não está descrito no estudo).
Dada a suprema implausibilidade de que tudo tenha melhorado mais em quem emagreceu mais mas que a apenas a resistência à insulina tenha melhorado mais em quem emagreceu menos (e somente em uma das formas de medir), a explicação mais parcimoniosa seria a de que a diferença encontrada foi ao acaso (erro alfa – por N pequeno). Alternativamente, pode ter havido erro de aferição (no método de clampe hiperinsulinêmico-euglicêmico). O seguinte trecho da discussão do artigo é curioso:
Acima, os autores comentam que, com a retirada de 2 outliers, os resultados perdem a significância estatística (eu teria tirado 3 outliers). Mas que eles PREFERIRAM usar o método do clampe, que deu significância estatística e PROVOU que o grupo com menos proteína melhorou mais. Provar é uma palavra forte. Alegações extraordinárias requerem provas extraordinárias. Basta olhar os gráficos para que fique claro que as diferenças observadas entre os dois grupos de restrição calórica (o proposital e o acidental) poderiam dever-se apenas ao acaso – um cálculo estatístico não resolve a comparação de grupos pequenos e heterogêneos – e escolher dentre os vários parâmetros mensurados apenas aquele que confirma a sua crença é exatamente o erro que Daryl Bem fez, em seu artigo de 2011.
***
Temos que cuidar com a tendência de considerar que o mais recente estudo determina A VERDADE, pelo simples fato de ser recente. Há que se considerar a plausibilidade – a probabilidade pré-teste – de um dado resultado. Quando a probabilidade pré-teste é virtualmente zero (Daryl Bem sugerindo que o futuro afeta o passado, ou estudo em questão sugerindo que pessoas emagrecem sem restrição calórica e com menos proteína), sabemos que houve erro. Discutir sobre as diferenças de sensibilidade à insulina de pacientes nos quais ninguém sabe exatamente que dieta receberam é, em última análise, um exercício de futilidade – é como realizar um simpósio sobre a geografia da terra plana, ou, como Daryl Bem, acreditar na realidade física das premonições.