Como a redução do viés e o aumento da reprodutibilidade e replicabilidade podem melhorar a qualidade da pesquisa? Como os incentivos moldam a ciência e o futuro da reprodutibilidade na pesquisa?

A reprodutibilidade é um princípio importante do método científico. Isso significa que um resultado obtido por um experimento ou estudo observacional deve ser alcançado novamente com alto grau de concordância quando o estudo é replicado com a mesma metodologia por diferentes pesquisadores. Somente depois de uma ou várias dessas replicações bem-sucedidas, o resultado deve ser reconhecido como conhecimento científico. Nas últimas décadas, tem havido uma preocupação crescente de que muitos resultados científicos publicados falhem no teste de reprodutibilidade, evocando uma crise de reprodutibilidade ou replicabilidade [1].

Marcus Munafò é Presidente do Comitê Diretivo da Rede de Reprodutibilidade do Reino Unido (UKRN). Esta é uma tradução livre da entrevista concedida por ele à equipe do The Publication Plan [2] .

Para quem ainda não está familiarizado com a Rede de Reprodutibilidade do Reino Unido, você poderia descrever algum do trabalho que a organização faz para garantir que o Reino Unido continue sendo um centro de pesquisa de alta qualidade?

“Acho que nosso papel principal é apoiar e ajudar a coordenar as atividades que já estão acontecendo. Por exemplo, há um grande número de iniciativas lideradas pela comunidade (e muitas vezes lideradas por pesquisadores em início de carreira) – ReproducibiliTea , RIOT Science Club e assim por diante – que estamos ansiosos para apoiar e promover em parceria. Também temos redes locais – grupos auto-organizados de pesquisadores interessados ​​em desenvolver e promover práticas de pesquisa eficazes. Nosso objetivo é incentivar e apoiar essas redes com atividades como a adoção das iniciativas que mencionei. Estamos trabalhando com instituições para coordenar coisas como treinamento e mudanças nos critérios de promoção. Temos uma ampla gama de partes interessadas externas – financiadores, editores, sociedades científicas e organizações setoriais com as quais trabalhamos. Essa estrutura em camadas nos permite ajudar a coordenar as atividades tanto vertical quanto horizontalmente, e também nos dá a oportunidade de dar à nossa comunidade ou pesquisadores (por meio de nossas redes locais) a oportunidade de ter voz em outros níveis. ”

Você pode explicar como a reprodutibilidade e a replicabilidade estão ligadas à qualidade metodológica de um estudo e como isso se relaciona com a transparência?

“Existem várias definições de reprodutibilidade e replicabilidade, mas ambas são essencialmente uma forma de responsabilizar a pesquisa. Ser capaz de reproduzir um fluxo de trabalho de pesquisa e replicar as descobertas geradas por ele é uma forma de garantir que as descobertas sejam robustas. Claro, essa estrutura de responsabilidade se aplica a apenas algumas disciplinas, e uma coisa que estamos ansiosos para fazer é explorar as diferentes estruturas que se aplicam a todas as disciplinas (incluindo o que diferentes disciplinas – de ciências a humanidades – podem aprender umas com as outras).

Algo que desejamos fazer é explorar as diferentes estruturas que se aplicam às disciplinas (incluindo o que diferentes disciplinas – das ciências às humanidades – podem aprender umas com as outras).

Transparência é algo que provavelmente é uma estrutura amplamente aplicável que permite que outros pesquisadores examinem não apenas a saída de um processo de pesquisa, mas as etapas intermediárias que levaram a ele. Isso, por sua vez, permite que erros sejam detectados, ou fontes de discordância sejam identificadas e talvez discutidas. ”

Você falou anteriormente sobre preconceitos, incluindo incentivos de publicação e pressão por prestígio e inovação que podem influenciar negativamente as decisões de pesquisa e publicação de um cientista. Você pode nos contar um pouco mais sobre isso e como essas armadilhas podem afetar a literatura científica na prática?

“Os pesquisadores são humanos e, portanto, sujeitos aos mesmos vieses cognitivos que todos os outros – viés de confirmação, por exemplo, que é a tendência de interpretar (e até mesmo buscar) informações que confirmam as crenças ou valores anteriores.

Isso significa que nossa paixão pelo assunto é uma faca de dois gumes: podemos investir pessoalmente em nossas descobertas ou teorias e (inconscientemente) buscar descobertas que as apoiem, em vez de refutá-las. Também respondemos a incentivos, muitas vezes inconscientemente. O fato de o avanço na carreira depender de fatores que incluem a publicação significa que somos incentivados a publicar, em vez de necessariamente chegar à verdade.

O fato de o avanço na carreira depender de fatores que incluem a publicação significa que somos incentivados a publicar, em vez de necessariamente chegar à verdade.

Todos nós, presumivelmente, queremos o último, mas o sistema no qual trabalhamos implicitamente nos estimula a nos concentrar no primeiro. Esta combinação de vieses cognitivos e estruturas de incentivos é importante entender se quisermos nos proteger dos efeitos desses vieses e desenvolver melhores incentivos. ”

Em sua opinião, que papel as instituições acadêmicas devem desempenhar no enfrentamento das pressões exercidas sobre os pesquisadores? Você pode ver algum sinal promissor de tais atividades?

“De muitas maneiras, as instituições são o repositório de muito da nossa cultura de pesquisa e moldam as estruturas de incentivo com as quais trabalhamos – por exemplo, por meio de critérios e processos de contratação e promoção. É por isso que pedimos às instituições que ingressam no UKRN que criem cargos acadêmicos seniores com foco na melhoria da pesquisa.

Isso nos permite coordenar não apenas a atividade de treinamento (para garantir que os pesquisadores dessas instituições, em última análise, recebam treinamento básico comum em habilidades essenciais), mas também trabalhar coletivamente (e em parceria com os próprios pesquisadores, por meio de nossas redes locais) para refletir e, com sorte, melhorar nossas estruturas de incentivos. Por exemplo, várias de nossas instituições agora incluem práticas de pesquisa aberta em seus critérios de promoção e lançaram prêmios de pesquisa abertos. Se consideramos a transparência na pesquisa uma coisa positiva, precisamos incentivá-la diretamente. ”

Se consideramos a transparência na pesquisa algo positivo, precisamos incentivá-la diretamente.

O que as revistas científicas podem fazer para enfrentar os desafios de reprodutibilidade e replicabilidade? Qual é o papel das políticas de acesso aberto nisso?

“Periódicos (e editores em geral) podem fazer muito para ir além do acesso aberto e promover a pesquisa aberta de forma mais geral. Os requisitos de compartilhamento de dados estão se tornando mais fortes, por exemplo, e as diretrizes de relatórios também estão se tornando mais amplamente adotadas. Recentemente, realizamos uma série de workshops sobre pesquisa aberta em parceria com a editora Wiley, com o conteúdo de cada workshop moldado em parte pela rede local anfitriã. No espírito de coordenação, também estamos testando iniciativas que vinculam periódicos e financiadores, como a iniciativa Registered Reports Funding Partnership. Este link concede a revisão por pares de periódicos, para que os candidatos aprovados recebam não apenas financiamento para conduzir suas pesquisas, mas também, em princípio, a aceitação do trabalho eventual, antes que um único dado tenha sido coletado. ”

Um Relatório [3] recente da Comissão Europeia sobre a reprodutibilidade dos resultados científicos enfatizou que devem ser tomadas medidas desde o início de um projeto de pesquisa para garantir a sua integridade. Você acha que os pesquisadores geralmente estão seguindo essas etapas ou há uma necessidade maior desse tipo de planejamento?

“Acho que isso está se tornando cada vez mais popular. Pesquisadores em início de carreira estão cada vez mais motivados a adotar práticas abertas de pesquisa, por exemplo. No entanto, pesquisadores seniores também estão se tornando cada vez mais conscientes da importância dessas práticas (até porque elas são exigidas, ou pelo menos incentivadas, por financiadores e periódicos). Isso é positivo, porque cria incentivos – os requisitos do financiador e do periódico incentivam pesquisadores seniores a começar a adotar essas práticas, o que, por sua vez, significa que eles precisam contratar pesquisadores em início de carreira com essas habilidades. E isso cria um incentivo para esses pesquisadores.

Outra vantagem da pesquisa aberta é que ela oferece oportunidades para demonstrar uma gama muito mais ampla de resultados – protocolos pré-registrados, depósitos de dados, código, materiais, pré-impressões e assim por diante. Aqueles que podem demonstrar essas habilidades são, eu acho, altamente empregáveis. ”

O relatório da Comissão Europeia também fala sobre a importância da confiança do público na ciência. Você acha que este tópico se tornou mais urgente devido à pandemia de COVID-19 e ao desenvolvimento de vacinas?

“Em geral, o público continua a confiar na ciência e nos cientistas, e acho que com razão. Embora possamos melhorar a forma como trabalhamos (e devamos estar sempre refletindo sobre como fazer isso), não acho que devemos ser muito niilistas. A pesquisa acadêmica continua a fornecer percepções e soluções importantes para problemas urgentes. A pandemia COVID-19 ilustrou isso, embora também tenha destacado alguns dos problemas com as atuais estruturas de incentivos. Uma distinção fundamental – feita por Simine Vazire, David Spiegelhalter e outros – é que precisamos nos afastar de uma cultura que exige que confiemos em pesquisadores individuais para uma onde o processo de pesquisa é inerentemente mais confiável (por exemplo, por ser mais transparente).”

Precisamos nos afastar de uma cultura que exige que confiemos em pesquisadores individuais para outra em que o processo de pesquisa seja inerentemente mais confiável .

Por fim, seu Manifesto pela Ciência Reprodutível [4] de 2017 descreveu as principais partes interessadas e as etapas que podem ser tomadas para melhorar a transparência em todo o processo científico. Quais mudanças, se houver, um manifesto atualizado conteria, dado o progresso que você fez nos anos desde sua publicação?

“Acho que, na maior parte do tempo, o que escrevemos ainda está de pé. Mas uma área em que acho que poderíamos ter sido mais fortes foi na discussão do papel que todos temos que desempenhar para impulsionar a mudança. Originalmente, escrevemos que os próprios pesquisadores podem fazer a diferença adotando práticas de pesquisa abertas. Isso é certamente verdade, mas todos nós podemos fazer mais. À medida que revisamos manuscritos ou bolsas, ou recrutamos alunos ou funcionários de PhD, podemos pôr em prática os princípios com os quais nos importamos. Todos nós podemos ser agentes de mudança, independentemente do estágio de nossa carreira.

É fácil subestimar o quão poderoso esse tipo de ação coletiva pode ser. Ao criar uma estrutura que ajuda a coordenar as atividades (por exemplo, em nossas redes locais e líderes institucionais) e também fornece uma voz para pesquisadores de base nesses níveis, o UKRN pode, esperançosamente, ajudar a realizar essa mudança. ”

Marcus Munafò é professor de psicologia biológica na Universidade de Bristol e presidente do Comitê Diretor do UKRN. Você pode entrar em contato com Marcus através de marcus.munafo@bristol.ac.uk e segui-lo e à UKRN no Twitter @MarcusMunafo e @UKRepro , respectivamente. Siga estes links para saber mais sobre a UKRN , junto com outras redes de reprodutibilidade na Austrália , Alemanha , Eslováquia e Suíça .

Iniciativas relacionadas à reprodutibilidade das pesquisas:

  • The UK Reproducibility Network (UKRN) – https://www.ukrn.org/ – A Rede de Reprodutibilidade do Reino Unido (UKRN) é um consórcio nacional liderado por pares que visa garantir que o Reino Unido mantenha seu lugar como um centro de pesquisa líder mundial. Procuram compreender os fatores que contribuem para a reprodutibilidade e replicabilidade da pesquisa e desenvolver abordagens para combatê-los, a fim de melhorar a confiabilidade e a qualidade da pesquisa.
  • STROBE – https://www.equator-network.org/reporting-guidelines/strobe/ – o grupo STROBE lançou uma variedade de declarações e listas de verificação para os pesquisadores seguirem, bem como documentos de orientação e diretrizes sobre transparência e integridade de dados. As diretrizes do STROBE consistem em 22 requisitos de relatórios específicos para dados observacionais e fornecem orientações específicas sobre a nomenclatura usada para descrever a ampla gama de diferentes designs e metodologia de estudos observacionais.
  • Reproducibility for Everyone (R4E) – https://www.repro4everyone.org/ – Reprodutibilidade para todos (R4E) é uma iniciativa de educação liderada pela comunidade para aumentar a adoção de práticas de pesquisa aberta em escala.
  • ReproducibiliTea – https://reproducibilitea.org/ – Iniciativa de um grupo de periódicos que ajuda os pesquisadores a criar clubes de periódicos locais de Ciência Aberta em suas universidades para discutir diversos assuntos, artigos e ideias sobre como melhorar a ciência, reprodutibilidade e o movimento Ciência Aberta. Iniciado no início de 2018 na Universidade de Oxford, o ReproducibiliTea já se espalhou para 136 instituições em 26 países diferentes.
  • Protocols.io – https://www.protocols.io/ – Uma plataforma segura para desenvolver e compartilhar métodos reproduzíveis.
  • RIOT Science Club –  http://riotscience.co.uk/ – Série de seminários que aumenta a conscientização e oferece treinamento em práticas científicas reprodutíveis, interpretáveis, abertas e transparentes.

== Referências ==

[1] WIKIPEDIA. Reproducibility. Disponível em: https://en.wikipedia.org/wiki/Reproducibility Acesso em: 30 julho 2021.

[2] THE PUBLICATION PLAN. Improving reproducibility in scientific research: insights from the UK Reproducibility Network. Interview with Marcus Munafò. Feb. 2021. Disponível em: https://thepublicationplan.com/2021/02/15/improving-reproducibility-in-scientific-research-insights-from-the-uk-reproducibility-network/ Acesso em: 30 jul. 2021.

[3] EUROPEAN UNION. Reproducibility of scientific results in the EU. Nov. 2020. Disponível em: DOI: https://doi.org/10.2777/341654 URL: https://op.europa.eu/en/publication-detail/-/publication/6bc538ad-344f-11eb-b27b-01aa75ed71a1  Acesso em: 30 jul. 2021.

[4] MUNAFÒ, M.; NOSEK, B.; BISHOP, D. et al. A manifesto for reproducible science. Nat Hum Behav 1, 0021 (2017). Disponível em: https://doi.org/10.1038/s41562-016-0021