O tipo de análise dos dados afeta o resultado – mesmo assim, páleo ainda é melhor

Pela enésima vez, um ensaio clínico randomizado mostra que uma dieta low carb (no caso, páleo) é superior à dieta de baixa gordura e baixa caloria que as diretrizes vigentes apregoam. Sinceramente, chega a ser repetitivo, afinal dezenas de ensaios clínicos foram conduzidos, várias metanálises foram feitas, e low carb é sempre superior. Eu nem ia mencionar esse estudo (mais do mesmo), exceto por um detalhe, que merece ser explorado – o efeito benéfico – com costuma acontecer – parece desaparecer com o passar do tempo.

O estudo

O estudo randomizou 70 mulheres obesas pós-menopáusicas para dois grupos, um grupo de dieta de alto carboidrato (até 60%) e baixa gordura e outro grupo de dieta páleo (SEM restrição de calorias).

Bem verdade que a versão de páleo utilizada nesse estudo era versão do Dr. Loren Cordain, que não é nem muito low carb, e nem muito high fat:

Ou seja, o grupo páleo (PD) tinha 30% de carboidratos e 40% de gordura, enquanto o grupo controle (orientações dietéticas nórdicas – NNR) tinha 25-30% gordura e 55-60% carboidratos.

No decorrer do estudo, observou-se que o grupo páleo perdeu mais peso, mais centímetros de cintura, e teve triglicerídeos melhores do que o grupo low fat. Até aí, nada de novo. Em 2014, até as pedras já sabem que a redução dos carboidratos na dieta e o consequente aumento da proporção de gordura e proteína melhora produz perda de peso e melhora dos fatores de risco cardiovascular.

Contudo, observe as curvas:

Ok, tudo melhorou em ambos grupos, e melhorou mais no grupo páleo (o que era óbvio, já que tinha menos carboidratos). Mas chama atenção que:

  • As melhoras são discretas, e menores do que aquelas que costumamos ver empessoas que realmente aderem com entusiasmo ao estilo de vida páleo / low-carb
  • As melhoras são estatisticamente significativas aos seis meses, mas tendem a desaparecer com o passar do tempo (24 meses).

O problema aqui é a adesão à dieta (“compliance” em inglês). Se fôssemos comparar as pessoas que REALMENTE seguiram as orientações versus as que não seguiram, as curvas acima seriam COMPLETAMENTE diferentes. Veríamos o tipo de resultado que vemos com frequência aqui no blog, e não essas melhoras discretas, que se vê na maioria dos ensaios clínicos randomizados sobre dietas.

Um tempo atrás, pedi ao Márcio Teixeira, um dos moderadores aqui do blog, que traduzisse um texto do Dr. Michael Eades, autor do (excelente) Protein Power, sobre esse assunto. Segue o texto:

A fraude das análises de tipo intenção-de-tratar (ITT, intent to treat analysis)

Dr. Michael Eades (original aqui)

‘Eu concordo com você’, disse a Duquesa, “e a moral disso é…‘Seja o que você parece ser’…ou, se você prefere colocar isso de um jeito mais simples…‘Nunca se imagine diferente do que deveria parecer para os outros o que você fosse ou poderia ter sido não seja diferente do que você tendo sido poderia ter parecido para eles ser diferente’.”“Eu acho que poderia entender melhor”, disse Alice polidamente, “se eu tivesse isso por escrito: mas eu não consigo seguir com você falando.” Lewis Carrol, Alice no País das Maravilhas


“Se você disser uma grande mentira e repeti-la continuamente, as pessoas eventualmente começarão a acreditar nela.” Dr. Joseph Goebbels, Ministro da Propaganda Nazista

Estou iniciando esta postagem com duas citações apropos. A primeira, de Alice no País das Maravilhas, porque a postagem será um pouco difícil de compreender; a segunda, porque eu já li pela enésima vez a Grande Mentira sobre dietas low-carb e quis postar sobre isto, mas eu não poderia fazê-lo antes de escrever esta postagem.

As análises do tipo intenção-de-tratar (IDT) tornaram-se o modo de rigueur de buscar resultados experimentais que, frequentemente, fornece mais resultados errados do que certos. Estes resultados errados são então registrados como lei, quando na verdade são apenas erros. Quando pessoas imparciais e inteligentes (os leitores deste blog, por exemplo) consideram IDT, eles não conseguem compreender como cientistas podem tentar fazer sentido além dos seus próprios dados, mas, infelizmente, isto ocorre em quase todos os experimentos. Aqui está como funciona.

Suponha que fôssemos fazer um experimento comparando duas dietas diferentes. Arregimentamos 100 pessoas e as agrupamos randomicamente em dois grupos de 50. Nós colocamos em um grupo, o Grupo A, uma dieta, a Dieta A e no outro grupo, o Grupo B, uma dieta diferente, a Dieta B. Nós mantemos ambos os grupos em suas respectivas dietas por 8 semanas para ver o que acontece.

No final das 8 semanas, nós detectamos que 30 membros do Grupo A abandonaram a dieta, mas aqueles que permaneceram nela perderam uma média de 1,36 Kg por semana de um total de 10,88 Kg no período do estudo. Nós verificamos o Grupo B e detectamos que ninguém desistiu do estudo e que as pessoas perderam, em média, 0,54 Kg por semana.

O que estes dados nos dizem? É muito simples. Eles nos dizem que a Dieta A é mais efetiva, mas mais difícil de seguir. Eles nos dizem que a Dieta B é menos efetiva e mais fácil de seguir. Certo? Toda pessoa inteligente concordaria com isto. Portanto, é deste modo que o estudo seria apresentado se ele fosse publicado em uma revista científica, certo? Humm, não.

Não?

Não. Se fosse publicado, a conclusão seria de que ambas dietas são exatamente a mesma.

O que você disse?!

Sim. Isto é o que os autores concluiriam. Por quê? Porque eles usariam uma análise intenção-de-tratar. De fato, o processo de revisão dos pares (peer review) provavelmente exigiria isto.

Uma análise intenção-de-tratar exige que todas as pessoas permaneçam no banco de dados, mesmo que algumas tenham abandonado o estudo. A intenção era tratar todos, assim a análise deveria conter todas as pessoas, mesmo que algumas tenham deixado o estudo após o primeiro dia. Numa IDT, os pesquisadores supõem que as pessoas que escolheram abandonar o estudo realmente não o fizeram, e os inclui em seus dados finais. Soa como alguma coisa de Através do Espelho, não?

Vamos ver como isto funcionaria em nosso estudo sobre dietas acima. As 20 pessoas no Grupo A que seguiram a Dieta A perderam 10,88 Kg cada uma. Multiplique estes 10,88 Kg por 20 pessoas que permaneceram no estudo e você descobre que o grupo perdeu 217,72 Kg durante as 8 semanas. Agora divida estes 217,72 Kg pelas 50 pessoas que começaram o estudo e você tem uma perda de peso de 4,35 Kg nas 8 semanas. Dividindo por 8 nos dá uma média de perda de peso de 0,54 Kg por semana para as 50 pessoas do Grupo A, que é exatamente a mesma perda de peso das pessoas do Grupo B. Portanto, conforme os princípios da IDT, o estudo mostraria que ambas dietas foram igualmente efetivas. Mas, como nós vimos, elas não são.

Se um médico estivesse recomendando uma dieta a seus pacientes baseado nas reais conclusões deste estudo, ele poderia dizer, razoavelmente: a Dieta A é bastante efetiva mas mais difícil de seguir, assim, se você acha que consegue seguir, a Dieta A é definitivamente o meio mais rápido de perder peso. Se você quer alguma coisa que ajudará você a perder um pouco de peso e seja fácil de fazer, então tente a Dieta B.

Se o mesmo médico recomendasse uma dieta a seus pacientes baseado nos resultados IDT, ele diria: siga a dieta que você quiser, ambas são iguais, dá na mesma.

Por que, você pode perguntar, uma pessoa aparentemente inteligente faria algo tão estúpido como usar IDT para avaliar dados? Há uma razão, embora ela tenha seus próprios problemas.

Todos sabemos, a partir da experiência e de falar com um monte de gente que perdeu peso, que muitas dietas diferentes funcionam. Pessoas perdem peso na dieta Ornish e perdem peso na infinitamente preferível dieta Protein Power. E em muitas outras dietas também. Assim, podemos razoavelmente supor que quase toda dieta ajudará algumas pessoas a perder peso. Mas nós queremos comparar duas dietas para ver qual delas é realmente a melhor. Assim, vamos fazer outro experimento.

Vamos pegar outras 100 pessoas e randomicamente colocá-las em dois grupos de 50, Grupo C e Grupo D. As pessoas do Grupo C fazem a Dieta C e todas elas fazem a dieta corretamente. Elas perdem uma média de 0,9 Kg por semana e todas elas permanecem na dieta. As pessoas no Grupo D fazem a Dieta D, e a maioria delas não faz a dieta adequadamente. Como todos sabemos por experiência, é difícil permanecer motivado para fazer uma dieta se você não está perdendo peso. Assim, 30 pessoas do Grupo D abandonam a dieta porque não estão perdendo peso. Nós sabemos que qualquer dieta funcionará para algumas pessoas, e a Dieta D não é diferente. Os 20 que permaneceram no estudo são aqueles que estão perdendo peso na Dieta D. E estas 20 pessoas do Grupo D perdem uma média de 0,9 Kg por semana.

Ao analisar nossos dados, se removermos do banco as pessoas que abandonaram o estudo, nós teremos 50 pessoas no Grupo C, que perderam uma média de 0,9 Kg por semana e apenas 20 pessoas no Grupo D, que perderam uma média de 0,9 Kg por semana. Nós então descobriríamos que ambas dietas são exatamente as mesmas. Pessoas em ambos os grupos perderam 0,9 Kg por semana. Portanto, ambas dietas são igualmente efetivas.

Mas isto é verdade? Claramente não. E este é o problema para o qual a IDT foi projetada. Mas, como vimos acima, ela traz seus próprios erros.

Assim, como tratar com esta questão honesta e efetivamente? Fácil. Explicando os dados dos dois jeitos. Muitas pessoas – pesquisadores, inclusive – querem reduzir um problema a uma única resposta, quando duas são necessárias. IDT permite uma resposta – frequentemente incorreta – a duas diferentes questões. IDT é como o antigo programa de TV no qual o palhaço Bozo sempre perguntava às crianças que ele entrevistava algo como isto:

Então, Bobby, me diga: você vai caminhando até a Escola ou leva seu lanche?

Se Bozo fosse inflexível quanto a uma análise do tipo IDT da questão, ele teria somente uma resposta.

Voltando ao nosso estudo de dietas do Grupo A/Grupo B, podemos ver os dados de duas maneiras:

1. A Dieta A é extremamente efetiva para aqueles que a seguem. (O chamado efeito aderência.)

2. Apenas 40% daqueles que tentam a Dieta A obtém o efeito desejado. (O chamado efeito compromisso.)

Ambas afirmações são verdadeiras. Ambas contém informações úteis. Mas elas respondem a duas diferentes questões. A primeira responde à questão: o que acontece com pessoas que seguem a dieta? A segunda responde à questão: o que acontece com pessoas colocadas na dieta?

Como Dr. Gerard Dallal escreve sobre IDT,

A fraude ocorre quando a resposta à questão do compromisso é dada como se fosse a resposta à questão da aderência!

Em vez de concluir que ambas dietas, A e B, mostram os mesmos resultados (quando claramente elas não mostram), que seria o modo de apresentação deste estudo num artigo científico exigindo IDT, por que não apresentá-lo deste jeito?:

O efeito aderência: pessoas seguindo a Dieta A por 8 semanas perderam uma média de 1,36 Kg por semana enquanto que aquelas que seguiram a dieta B perderam 0,54 Kg.

O efeito compromisso: 40% daqueles tentando a Dieta A permaneceram no estudo enquanto 100% daqueles seguindo a Dieta B permaneceram no estudo.

Conclusão: a Dieta A é significantemente mais efetiva (1,36 Kg por semana versus 0,54 Kg por semana) para aqueles aptos a permanecer na dieta. A Dieta B é menos efetiva mas significantemente menos difícil de seguir do que a Dieta A. (100% das pessoas na Dieta B permaneceram na dieta durante o estudo enquanto 60% daqueles na Dieta A a abandonaram.

Simplesmente não é tão difícil apresentar deste jeito. Provê muito mais informação do que IDT, que tenta responder duas questões com uma resposta.

Agora, vamos olhar a grande mentira low-carb que me levou a esta postagem. Eu estava lendo um livro que eu pretendia resenhar para este blog e surgiu a seguinte sentença:

Há evidência a partir de uma variedade de fontes de que [dietas low-carb] funcionam para perdas de peso de curto prazo. Um ano após iniciar a dieta, entretanto, parece não haver diferença significante na taxa de sucesso comparada àquelas observadas em qualquer outra dieta comum.

Você ouviu isto antes? É uma variante específica do velho: Estudos mostram que embora efetivas no curto prazo, dietas low-carb não mostram diferença na perda de peso após um ano comparadas a dietas low-fat. É a Grande Mentira.

É o último refúgio argumentativo dos defensores de dietas low-fat que estão sendo martelados com todos os dados mostrando dietas low-carb como mais efetivas. Sim, bem, eles dizem, Protein Power pode funcionar no curto prazo, mas um ano de estudo mostra que não é melhor do que low-fat. É como um sinal da cruz na face do vampiro.

Mas é verdade? É, se você acredita na análise IDT. Mas e se você crê num jeito mais acurado de apresentar os dados?

Vamos olhar rapidamente uns poucos estudos publicados que confirmam a ideia de que não há diferenças entre dietas low-carb e low-fat após um ano.

O primeiro foi publicado em Annals of Internal Medicine em 2004. A conclusão dos autores era que após um ano, pessoas

tinham níveis de triglicerideos e colesterol HDL mais favoráveis em dietas de baixo carboidrato do que em dietas convencionais. Entretanto, perda de peso e outros parâmetros metabólicos eram semelhantes nos dois grupos.

No corpo do artigo, contudo, se pode ler o seguinte:

A perda de peso ao final de um ano (média ± desvio padrão) foi -5.1 ± 8.7 Kg no grupo de baixo carboidrato e -3.1 ± 8.4 Kg no grupo de dieta convencional. A diferença na perda de peso entre os dois grupos não foi significante (-2.0 kg [CI, -4.9 kg a 1.0 kg]; P = 0.195 antes e P > 0.2 após ajuste nas variáveis da linha de base). A diferença na perda de peso entre os dois grupos entre 6 meses e 1 ano não foi estatisticamente significante (P = 0.063).

Mas este é todo o palavrório IDT. Leiamos o próximo par de sentenças:

Pessoas na dieta de baixo carboidrato que abandonaram a dieta perderam menos peso do que aquelas que completaram o estudo (change, -0.2 ± 7.6 kg vs. -7.3 ± 8.3 kg, respectively; mean difference, -7.1 kg [CI, -11.6 kg to -2.8 kg]; P = 0.003). Em contraste, a perda de peso não foi significantemente diferente para aqueles na dieta convencional, quer eles tenha abandonado a dieta ou completado o estudo (change, -2.2 ± 9.5 kg vs. -3.7 ± 7.7, respectively; mean difference, -1.5 kg [CI, -5.7 kg to 2.7 kg]; P > 0.2).

Vamos traduzir. Aqueles que abandonaram a dieta low-carb – mas foram contados como se não tivessem – perderam 0,2 Kg, enquanto aqueles que completaram o estudo perderam 7,3 Kg. Você acha que os abandonos falsearam os números? É claro que sim! E olhe a assombrosa frase seguinte. “Em contraste, a perda de peso não foi significantemente diferente para aqueles na dieta convencional, quer eles tenha abandonado a dieta ou completado o estudo…” Assim, não houve diferença nos resultados daqueles seguindo a dieta low-fat, quer eles a tenham abandonado, quer tenham permanecido nela. Se as pessoas que abandonaram o braço low-fat não tivessem sido incluídas, os resultados para aquela dieta teriam sido os mesmos. Incluir as pessoas que abandonaram o braço low-carb, contudo, baixou dramaticamente a perda de peso geral das pessoas como um grupo, tornando-as iguais àquelas no braço low-fat.

Poderia ser dito, de modo acurado, que aqueles que permaneceram na dieta low-carb por um ano perderam significantemente mais peso do que aqueles que permaneceram na dieta low-fat o que, é claro, refuta a Grande Mentira de que dietas low-carb e low-fat provêm perdas de peso iguais em um ano.

Os dois outros estudos usados para perpretar a Grande Mentira de que dietas low-carb não mostram diferença na perda de peso após um ano são os de Foster et al e Samaha et al no New England Journal of Medicine, Maio de 2003.

Quando analisados por IDT, ambos estudos não mostram diferenças significantes entre dietas low-carb e low-fat após um ano. Mas quando vistos a partir da perspectiva das pessoas que permanecem no estudo, vemos uma grande diferença entre os braços low-carb e low-fat.

No estudo de Foster et al, usando uma versão modificada da dieta Atkins, encontramos uma diferença estatisticamente insignificante de 1,9 Kg na perda de peso entre os dois grupos, mediante IDT. Mas quando eliminamos os abandonos e olhamos os dados a partir daqueles que permaneceram nas dietas por todo o ano, encontramos um número estatisticamente significante de 2,8 Kg de perda de peso maior naqueles seguindo a dieta low-carb.

No estudo de Samaha et al, usando a dieta Protein Power LifePlan, aqueles seguindo a dieta low-carb perderam estatisticamente insignificantes 2 Kg mais peso do que aqueles seguindo a dieta low-fat, usando IDT. Eliminando os abandonos, contudo, encontramos um número estatisticamente significante de 3,6 Kg de perda de peso na dieta low-carbversuslow-fat após um ano.

Análises IDT dão nos a Grande Mentira: dietas low-carb não são mais efetivas do que dietas low-fat após um ano. Dr. Goebbels ficaria orgulhoso. A verdade, contudo, é um pouco diferente e poderia se dita assim:

Aqueles que seguem dietas low-carb por um ano perdem significantemente mais peso do que aqueles que seguem dietas low-fat por um ano.

Após ler esta postagem você deveria saber mais sobre análise IDT do que 99,9% dos médicos e nutricionistas atuantes hoje no mundo. Não deixe este conhecimento ser jogado fora. Na próxima vez que você ouvir a Grande Mentira, aponte a verdade.

Ok, o estudo publicado no início dessa postagem mostra vantagens para a dieta paleo em relação à dieta low fat convencional. Mas a análise, como sempre, é ITT (intenção de tratar). Imagine se a análise fosse correta? Se mostrássemos os resultados daquelas mulheres que REALMENTE seguiram a dieta?

Não dá pra competir – low carb é sempre muito melhor.