O que são Métricas Responsáveis?

Fonte: https://www.aguia.usp.br/noticias/declaracoes-de-metricas-responsaveis/

Afinal, o que são Métricas Responsáveis?

O que são métricas responsáveis?

De acordo com o Relatório The Metric Tide , “Métricas responsáveis” referem-se ao uso ético e apropriado de métricas baseadas em citações (por exemplo, contagens de citações, fator de impacto do jornal, índice H), altmetria (por exemplo, quantas vezes a pesquisa é mencionada, usada, salva e compartilhada em blogs, mídia social e serviços de bookmarking social) e outros meios quantitativos de avaliação de pesquisas.

Aplica-se a todos os envolvidos no uso ou produção dessas métricas, por exemplo:

  • pesquisadores
  • financiadores
  • instituições (ou seja, universidades e outros órgãos que empregam pesquisadores)
  • editores
  • organizações que fornecem métricas

A ideia é oferecer diretrizes de boas práticas que ajudem a prevenir cenários como:

  • um artigo de revista sendo julgado apenas pelo revista em que foi publicado e não por seu próprio mérito
  • universidades que buscam melhorar seu lugar em uma lista de classificação, quando a completude dos dados e a adequação das medidas que a lista usa são contestadas
  • empregadores usando limites métricos arbitrários para contratar e / ou demitir funcionários
  • a avaliação da pesquisa em geral sendo distorcida pelo fato de que as métricas podem ser manipuladas e / ou levar a consequências indesejadas

A adoção de uma abordagem de métrica responsável é vista como uma boa prática em toda a comunidade de pesquisa.

The Metric Tide  é um relatório importante publicado em 2015, que ajudou a promover e a enquadrar a discussão de métricas responsáveis ​​(pelo menos no Reino Unido). Afirma:

“Métricas responsáveis ​​podem ser entendidas em termos de uma série de dimensões:

Robustez: basear as métricas nos melhores dados possíveis em termos de precisão e escopo;

Humildade: reconhecer que a avaliação quantitativa deve apoiar – mas não suplantar – a avaliação qualitativa de especialistas;

Transparência: manter os processos de coleta e análise de dados abertos e transparentes, para que os avaliados possam testar e verificar os resultados;

Diversidade: contabilizando a variação por campo e usando uma gama de indicadores para refletir e apoiar uma pluralidade de trajetórias de pesquisa e de pesquisa em todo o sistema;

Reflexividade: reconhecer e antecipar os efeitos sistêmicos e potenciais dos indicadores e atualizá-los em resposta “

Outros marcos importantes em métricas responsáveis ​​incluem a  Declaração de San Francisco sobre Avaliação de Pesquisa (DORA) , um conjunto de 18 recomendações direcionadas a diferentes partes da comunidade de pesquisa, reconhecendo a necessidade de mudança sistêmica nas práticas de avaliação, formulada em 2012, e o Manifesto de Leiden para métricas de pesquisa, um conjunto de 10 princípios práticos e orientados para a ação que orientam as melhores práticas na avaliação de pesquisas baseadas em métricas, publicado em 2015.

Selecione as métricas apropriadas

“A situação ideal, ao tomar decisões de gerenciamento de pesquisa, é ter três tipos de entrada: revisão por pares, opinião de especialistas e informações de uma base de evidências quantitativa. Quando essas abordagens complementares ‘triangulam’ para fornecer mensagens semelhantes, você pode ter certeza de que sua decisão é sólida. Mensagens conflitantes são um alerta útil de que uma investigação mais aprofundada é provavelmente necessária. Da mesma forma que geralmente é solicitada mais de uma revisão por pares, o uso de várias métricas também garantirá que quaisquer descobertas sejam tão confiáveis ​​quanto possível” [2]

Seja claro na pergunta que você está fazendo

O objetivo de usar dados e métricas como entrada na tomada de decisão é que quaisquer diferenças observadas devem refletir as diferenças de desempenho. Você deve garantir que:

  • A pergunta que está sendo feita é claramente articulada
  • Você está ciente de outros fatores, além do desempenho, que podem influenciar o valor de uma métrica

Alguns tipos de perguntas normalmente se enquadram em três grupos:

  • Avaliação de desempenho , tal como conduzida por um órgão nacional em suas instituições de pesquisa para fins de alocação de financiamento nacional, ou por um gerente para fornecer informações em discussões de desenvolvimento de carreira. Normalmente, é muito importante nessas situações que as variáveis, além das diferenças de desempenho, tenham sido consideradas, para garantir que a avaliação seja justa. Por exemplo, não seria aconselhável comparar química e imunologia usando uma métrica que não considere a tendência para maiores taxas de produção e citação em imunologia.
  • Demonstração de excelência, como a que apoia um pedido de financiamento competitivo, ou para fins promocionais para atrair alunos para uma instituição de pesquisa. O objetivo nessas situações é encontrar uma forma de apresentar uma entidade.
  • Modelagem de cenário, como aquela que apoia a decisão de qual acadêmico recrutar para uma equipe de pesquisa existente ou a reorganização de uma faculdade/departamento/universidade. A importância dos fatores além do desempenho que afetam os valores das métricas pode não ser importante, dependendo do cenário que está sendo modelado [2]

Esteja ciente dos fatores que afetam o valor da métrica

Existem seis fatores, além do desempenho, que podem afetar o valor de uma métrica:

  • Tamanho da instituição
  • Disciplina – área de conhecimento
  • Tipo de publicação
  • Cobertura de banco de dados
  • Manipulação
  • Período de tempo considerado

Confira o vídeo do LIBER Webinar – Innovating The Ways Metrics Are Applied, Responsible Metrics & Measuring Openness de 2019, para entender melhor o assunto.

Institutos de pesquisa em todo o mundo desenvolveram declarações sobre o uso de métricas [3]. Aqui estão alguns exemplos dessas Declarações: