terça-feira, 4 de agosto de 2015

10 Razões Pelas Quais os Estudos Científicos Podem Ser Surpreendentemente Imprecisos

A nossa sociedade celebra a ciência pela sua precisão e objetividade e o público em geral geralmente considera as evidências publicadas em revistas científicas como uma verdade inquestionável. No entanto, tem havido uma série de estudos alarmantes, especialmente com foco em pesquisas de ciências biológicas, que sugerem que as publicações científicas podem não ser tão confiáveis quanto gostaríamos de pensar.

10- Muitos Estudos Pré-Clínicos Não Podem Ser Reproduzidos


Há atualmente uma enorme quantidade de pesquisas sobre os mecanismos do cancro. Infelizmente, traduzir esta investigação para a procura de alvos para o tratamento tem sido difícil, com a taxa de falha de ensaios clínicos em oncologia maior do que a maioria das outras áreas. E parece que muitas dessas falhas podem ser atribuídas a problemas com a pesquisa pré-clínica em que foram baseadas. 

Uma avaliação constatou que apenas 6 dos 53 papéis de marcas de cancro pré-clínicos poderiam ser reproduzidas. Muitos dos estudos que não poderiam ser reproduzidos não usam o teste-cego do qual os testadores estavam cientes de estarem a lidar com o grupo controle ou com o grupo experimental, levando potencialmente à influência do pesquisador. Outros estudos são indicados para apenas apresentarem os resultados que apoiaram a sua hipótese, mesmo que não sejam uma boa representação do conjunto de dados como um todo. Surpreendentemente, não há uma regra específica para a prevenção deste fato e os papéis são regularmente aceites para publicação sem apresentarem todo o conjunto de dados obtidos. 

Outro estudo estudou 67 estudos, principalmente na área de oncologia, e constatou que menos de 25 por cento dos dados publicados podem ser reproduzidos em laboratório, sem grandes inconsistências. Este é agora um problema tão comum que as empresas de capital de risco aparentemente têm uma regra tácita de que cerca de 50 por cento dos estudos académicos serão impossível reproduzir nos seus laboratórios industriais.

9- Os Resultados Negativos Muitas Vezes Não São Publicados


Um resultado negativo ocorre quando os pesquisadores acreditam que algo vai acontecer, mas depois descobrem que não podem obter esse resultado. Um estudo analisou mais de 4.600 trabalhos de todas as disciplinas, entre 1990 e 2007, considerando que a publicação dos resultados positivos tinha aumentado em 22 por cento durante o mesmo período. Em 2007, 85,9 por cento dos jornais relataram resultados positivos. Esta opinião é corroborada por estudos que mostram que as frases negativas como "não há diferenças significativas" caíram em desuso, enquanto os resultados significativos são muito mais propensos a ser totalmente relatados. Se os resultados negativos forem publicados, provavelmente só aparecem em revistas de baixo impacto.

Esse viés de publicação, na verdade, cria alguns problemas. Para começar, os cientistas muitas vezes são incapazes de ver se um estudo já foi feito, o que significa uma repetição desnecessária. Também pode afetar os resultados de estudos de meta-análise, que comparam toda a literatura sobre um determinado assunto. O viés de publicação também resulta numa pressão enorme para alcançar resultados positivos, o que poderia levar a resultados inflacionados, má conduta de investigação ou menos riscos a serem evitados pelos pesquisadores. Afinal, se a sua futura carreira é baseada principalmente em se pode obter resultados positivos para publicar, certamente teria algum impacto sobre a maneira de projetar a sua pesquisa e interpretar os seus resultados.

8- As Revisões Pares Muitas Vezes Não Conseguem Detetar Erros Principais


Passar o processo de revisão por pares é atualmente o padrão-ouro para os trabalhos de pesquisa. No entanto, quando os pesquisadores propositalmente entregaram papéis biomédicos cheios de erro aos colaboradores numa grande editora académica, eles descobriram que os revisores apenas viram uma média de 2,58 dos 9 principais erros. Ainda mais preocupante, o treino para melhorarem o seu desempenho só fez uma pequena diferença. Na verdade, um quarto completo dos 607 colaboradores testados detetou uma média de um ou mais dos erros. (Para ser justo, alguns comentadores, na verdade, rejeitaram o papel sem terminar a sua revisão, o que significa que poderiam ter encontrado mais erros se tivessem continuado até ao fim.)

Os críticos foram particularmente maus na deteção de erros relacionados com "a análise de dados e inconsistências no relato de resultados." Isso pode estar ligado à má compreensão das estatísticas entre os biólogos. A área menos afetada pela formação foi "colocar o estudo em contexto, tanto em termos de literatura pré-existente e em termos das implicações dos resultados para a política ou para a prática." Isso faz sentido, porque o domínio da literatura sobre um tema específico leva muito tempo a atingir.

Outros estudos chegaram a conclusões semelhantes. 221 colaboradores apresentaram uma publicação anterior que tinha sido modificada para incluir oito erros. Em média, os revisores só detetaram dois dos novos erros. Outro estudo descobriu que os revisores não conseguiram detetar, pelo menos, 60 por cento dos maiores erros num trabalho sobre a enxaqueca (embora a maioria dos usuários ainda não aceitasse o estudo para publicação). Em conjunto, estes artigos sugerem que o processo de revisão por pares nas ciências biomédicas tem muito espaço para melhorias.

7- Os Revisores Pioram Com o Tempo


Em 2009, um longo estudo de 14 anos, destacou, ainda, problemas com o processo de revisão por pares. O estudo, que teve taxa de editores de revistas de qualidade de cada avaliação que receberam, sugeriu que o desempenho revisor diminui, em média, em torno de 0,8 por cento a cada ano. Estes resultados são apoiados por um papel de 2007 na PLoS Medicine, que constatou que nenhum tipo de formação ou experiência era um indicador significativo da qualidade do revisor, mas que os cientistas mais jovens geralmente forneciam comentários de maior qualidade. Uma pesquisa de 1998 também constatou que os cientistas mais jovens tinham melhor desempenho como revisores.

As razões para esta tendência não são claras, embora as sugestões incluam o declínio cognitivo, os interesses dos concorrentes ou que as expetativas aumentam na revisão tornando o trabalho mais difícil ao longo do tempo. Há também algumas evidências de que os comentadores mais velhos são mais propensos a tomar decisões prematuramente, deixar de cumprir os requisitos para a estruturação de uma avaliação e a sua base de conhecimento pode ter diminuido à medida que a sua formação se desatualizou. Isso é preocupante, uma vez que com o aumento da idade, muitas vezes vem o aumento da autoridade.

6- Os Papéis Mais Rejeitados São Eventualmente Publicados Noutros Lugares


Na sequência do processo de revisão por pares, as revistas rejeitam ou aceitam um papel para publicação. Mas o que acontece aos artigos rejeitados? Um estudo seguiu os artigos rejeitados pela Medicina Ocupacional e Ambiental, considerando que 54 por cento deles acabaram por ser publicados noutros lugares. Curiosamente, mais de metade foram publicados por um grupo de outros sete principais periódicos da mesma área.

Um estudo similar constatou que 69 por cento dos artigos rejeitados por uma revista médica geral foram publicado noutro lugar dentro de 552 dias. Outro estudo mostrou que 56 por cento dos artigos rejeitados pelo American Journal of Neurorradiologia finalmente também foram publicados noutro lugar.

Antes de entrar em pânico, isso pode significar simplesmente que os papéis rejeitados são melhorados antes de serem enviados para outras revistas. Além disso, nem todos os documentos são rejeitados pela metodologia pobre. As revistas populares são muitas vezes difíceis de querer os estudos devido a restrições de espaço, enquanto muitos trabalhos são rejeitados simplesmente porque o tema pode não ser muito bom para a revista em questão. (O estudo Cardiovascular Research respondeu por esta última possibilidade, considerando que a maioria dos trabalhos mais tarde publicados noutros lugares não foram rejeitados devido a um tema inadequado.)

Como os estudos têm mostrado, as revistas mais prestigiadas estão sujeitas a um grau muito maior de escrutínio. Na verdade, as revistas conhecidas tendem a retrair mais papéis do que as suas contrapartes de menor prestígio, simplesmente porque recebem muito mais controlo na sequência da publicação. Assim, a questão é que um documento falhado pode ser comprado em torno de vários jornais, até que um se compromete a publicá-lo, permitindo-lhe entrar no registo científico. Portanto, esses estudos sugerem uma discrepância entre a qualidade de artigos em várias revistas científicas.

5- As Práticas Suspeitas 


Com a pressão constante sobre os cientistas para publicar resultados positivos, há indícios de que a falsificação e outras práticas suspeitas são uma ocorrência comum. Uma meta-análise de 18 estudos mostrou que 1,97 por cento dos cientistas admitido falsificar o seu próprio trabalho, 33 por cento admitiram outras práticas suspeitas, 14,1 por cento disseram que tinham conhecimento de que alguns colegas falsificavam o seu trabalho e 72 por cento disseram que sabiam de outras práticas suspeitas cometidas por colegas. Os verdadeiros números podem ser maiores e inquéritos maiores mesmo de pesquisadores e estagiários pesquisadores encontraram percentuais maiores que estariam dispostos a participar de tais práticas, mesmo que não admitissem que realmente já o fazem.

Algumas das práticas questionáveis notadas são "soltar pontos de dados baseados num sentimento de intestino", "não publicar dados que contradizem a própria pesquisa anterior," e "mudar a conceção, a metodologia ou os resultados de um estudo em resposta a pressões de um financiamento." Estas ações podem ser muito difíceis de provar e provavelmente será impossível impedi-los inteiramente sem desviar-se de um sistema obcecado com a publicação de resultados positivos.

4- Os Cientistas Não Compartilham Informação Suficiente


No treinamento, os cientistas são ensinados que os experimentos devem ser elaborados de uma forma que permita que sejam completamente recriados a partir das informações incluídas. No entanto, um estudo de 2013 estudou a partilha de recursos na investigação biomédica e constatou que 54 por cento dos recursos de pesquisa (tais como o tipo de anticorpos ou os organismos utilizados em experiências) não foram descritos em detalhe suficiente para permitir a sua identificação. Outro estudo de animais de pesquisa constatou que apenas 59 por cento dos artigos incluíam o número e as caraterísticas dos animais utilizados. Sem essa informação, é muito difícil de reproduzir experimentos com precisão e, portanto, verificar os resultados. Também cria uma barreira para detetar questões metodológicas com um recurso específico.

Houve algumas tentativas para resolver o problema, incluindo as diretrizes CHEGAM, que procuram maximizar o relato de modelos de animais. O Neuroscience Informações Framework também criou registos de anticorpos, enquanto a prestigiosa revista Nature considerou o aumento de relatórios de recursos.

No entanto, os autores do estudo notaram que apenas 5 dos 83 títulos de revistas tiveram um relato rigoroso. Um levantamento preocupante sobre a investigação biomédica acrescenta a esta evidência, mostrando que a vontade de compartilhar todos os recursos com outros pesquisadores caiu 20 por cento entre 2008 e 2012. Alguns dos pesquisadores entrevistados disseram que ficariam felizes em compartilhar dados a pedido pessoal, mas ficavam menos satisfeitos em colocar os dados num banco de dados online.

3- Os Papéis Hoax 


Em 1994, o físico Alan Sokal submeteu um artigo para o estudo da revista cultural Social Text, que ele propositalmente acusou de ser "um disparate", ao mesmo tempo, certificando-se de "bajular os preconceitos ideológicos dos editores." Entre outras coisas, o papel ligado ao campo quântico da teoria de Sokal para a psicanálise afirmou que a gravidade quântica tinha implicações políticas sérias. Sokal queria provar que a teoria pós-moderna se distanciou da realidade: "A incompreensibilidade torna-se uma virtude; as alusões, as metáforas e os trocadilhos substituem a evidência e a lógica. O meu próprio artigo é "um exemplo extremamente modesto deste género bem estabelecido."

Apesar de Sokal mirar diretamente para os estudos culturais, os papéis hoax também ocorreram em ciência da computação. Em 2014, uns espantosos 120 trabalhos foram removidos de publicações de propriedade da Springer e do Instituto de Engenheiros Elétricos e Eletrónicos depois que se descobriu que eram rabiscos gerados por computadores. Os papéis foram feitos usando um pedaço de software chamado SCIgen, que foi originalmente desenvolvido no MIT em 2005, como parte de uma tentativa de provar que as conferências não vetavam devidamente os papéis.

SCIgen combina sequências aleatórias de palavras para criar documentos de hoax, incluindo uma promessa de "concentrar nossos esforços em refutar que as planilhas podem ser feitas com base em conhecimento, empatia e compacto." O programa aparentemente provou ser mais popular do que os seus criadores pretendiam, 120 papéis tinham sido removidos com sucesso e submetidos a conferências chinesas e posteriormente publicados. Springer observou que fazem revisão a pares antes da publicação, o que torna ainda mais estranho o fato de terem publicado 16 documentos falsos.

Outro papel hoax, criado por John Bohannon e que pretende olhar para as propriedades anti-cancerígenas de um tipo de líquen, foi aceite por 157 revistas (98 rejeitaram). Isso apesar do fato de que "qualquer revisor com mais do que um conhecimento do ensino médio de química e a capacidade de compreender a trama básica de dados deveria ter visto as deficiências do papel imediatamente." Bohannon quis destacar o fato de que muitas revistas de acesso aberto focam-se demais em ganhar dinheiro através de taxas de publicação do autor, mesmo ao custo de publicar pesquisas imprecisas.

2- A Psicologia Como um Exemplo Dos Problemas


A psicologia é muito afetada por muitas das questões desta lista. A investigação tem sugerido que cerca de 97 por cento dos estudos publicados são positivos e que o problema persiste desde pelo menos 1959. Além disso, uma pesquisa constatou que mais de 50 por cento dos psicólogos disseram que vão esperar até que consigam resultados positivos antes de tomar a decisão de os publicar. Mais de 40 por cento admitiram que apenas relatavam estudos que obtivessem um resultado positivo. Sugeriu-se que isso é porque os periódicos da psicologia tendem a procurar por novos resultados sobre os mais rigorosos. Seja qual for a razão, a psicologia tem sido colocada ao lado da psiquiatria e da economia como os ramos da ciência com maior probabilidade de sofrerem de viés de publicação.

Um outro problema é que os estudos de psicologia raramente são replicados, uma vez que muitos jornais não publicam repetições retas, não há muito incentivo para os pesquisadores fazerem um esforço. Uma possível solução é a Psychfiledrawer, que publica as tentativas de replicação. No entanto, ainda há pouco benefício profissional para a apresentação e alguns pesquisadores adiaram, pelo risco de críticas por parte dos colegas.

Mais positivamente, tem havido um esforço recente para a replicação do estudo e um estudo promissor, que encontrou 10 dos 13 estudos que tentaram reproduzir produziu os mesmos resultados. Apesar disso não resolver a falta de resultados negativos publicados, nem os problemas comumente mencionados com a análise estatística, é um passo na direção certa.

1- Os Estudos Feitos em Ratos Muitas Vezes Não Podem Ser Extrapolados Para os Humanos


Muitos estudos em ciências biomédicas são feitos em modelos animais, particularmente ratos. Isto é porque os ratos realmente têm muitas semelhanças com os seres humanos, incluindo as vias bioquímicas similares. Cerca de 99 por cento dos genes humanos têm um homólogo do rato (gene com um ancestral comum).

Mas enquanto a pesquisa em camundongos levou a alguns sucessos notáveis, tem havido problemas em reproduzi-la para os seres humanos em áreas como o cancro, doenças neurológicas e doenças inflamatórias. Pesquisas recentes sugerem que, apesar das semelhanças genéticas acima mencionadas, as sequências de genes que codificam para proteínas reguladoras específicas são muito diferentes entre os humanos e os camundongos.

As diferenças são particularmente importantes no sistema nervoso, onde existem muitas diferenças no desenvolvimento do cérebro. O rato está fortemente ligado ao neocortex da percepção e é muito menos desenvolvido do que o equivalente humano. Além disso, os sintomas das doenças neurológicas têm, frequentemente, um componente cognitivo, e as diferenças na cognição em ratos e seres humanos são claramente vastas.

Então, da próxima vez que ler sobre um avanço médico surpreendente anunciado nas notícias, não se esqueça de verificar se a pesquisa foi feita em ratos ou em seres humanos.

Sem comentários:

Enviar um comentário