Use a Matriz CAHS para mapear as dimensões do impacto, some a Análise de Impacto Orçamentário (AIO) para o retorno financeiro e complemente com um índice do tipo RoSI para equilibrar risco e retorno científico. Nenhuma dessas ferramentas isoladamente resolve o problema de medir impacto em doenças raras: populações pequenas, poucos desfechos clínicos publicados e ciclos de pesquisa longos exigem uma combinação deliberada de métodos.
Comece acompanhando um conjunto mínimo de métricas desde o primeiro ano do projeto:
- Avanço do conhecimento (publicações revisadas, mas não como métrica isolada)
- Capacitação de equipes e formação de novos pesquisadores
- Evidência de uso em diretrizes clínicas ou políticas públicas
- Indicadores clínicos ou substitutos quando o desfecho primário é raro
- Estimativa de custo de oportunidade e impacto orçamentário projetado
- Registro de patentes, licenciamentos ou parcerias biofarmacêuticas
O horizonte temporal recomendado para relatar esses resultados a financiadores é de 3 a 5 anos, alinhado ao período típico de uma Análise de Impacto Orçamentário. Evidência mínima aceitável não significa ensaio clínico randomizado concluído: para financiadores de pesquisa em doenças raras, documentação auditável de adoção, como registro de protocolo clínico ou carta de intenção de parceria biofarmacêutica, já sustenta uma declaração de impacto potencial.
Principais conclusões
Medir impacto de investimento em pesquisa rara exige combinar Matriz CAHS, AIO e um índice de retorno científico, sustentados por evidência translacional auditável e documentada desde a fase pré-clínica.
| Ponto | Detalhes |
|---|---|
| Combine três ferramentas | Use Matriz CAHS para dimensões, RoSI para risco/retorno e AIO para impacto financeiro em 3–5 anos. |
| Limite os indicadores | Escolha entre quatro e seis métricas essenciais por projeto para manter o relatório auditável e legível. |
| Documente atribuição | Construa um modelo lógico e registre evidência de transferência, como patentes e cartas de adoção clínica. |
| Use dados pré-clínicos | Estudos de amenabilidade de triagem personalizada alimentam diretamente métricas de saúde e adoção. |
| Valide com métodos adaptados | Aplique bootstrap, abordagens bayesianas e análise de sensibilidade em vez de testes que exigem amostras grandes. |
Leituras e recursos recomendados para aprofundamento
Para aprofundar a aplicação prática de cada framework, vale consultar diretamente as fontes metodológicas:
- As diretrizes metodológicas de AIO da REBRATS detalham o passo a passo de estimativa de população elegível e construção de cenários.
- O estudo que descreve o índice RoSI traz a formulação matemática completa do índice composto, útil para quem quer replicar o cálculo internamente.
- A adaptação brasileira da Matriz CAHS mostra como as cinco dimensões foram ajustadas ao contexto de pesquisa em saúde nacional.
- O guia de avaliação responsável da Fiocruz ajuda a evitar armadilhas comuns no uso de métricas bibliométricas.
- O relatório do GT de impacto da CAPES oferece o modelo de declaração que distingue impacto potencial de impacto realizado.
Índice
- Como medir impacto de investimento em pesquisa rara: comparando os frameworks
- Quais indicadores realmente capturam impacto em doenças raras?
- Como provar que a pesquisa causou o impacto observado?
- Como calcular o retorno econômico com AIO em contextos de incerteza
- Onde buscar os dados que sustentam suas métricas de impacto
- Como a triagem personalizada gera evidência auditável para financiadores
- Como validar resultados com dados estatisticamente limitados
- Investir em pesquisa rara exige métricas que sobrevivam à falta de dados
- Fontes
Como medir impacto de investimento em pesquisa rara: comparando os frameworks
Cada framework responde a uma pergunta diferente, e é aí que a maioria dos relatórios de impacto tropeça: tentam usar uma única ferramenta para responder três perguntas ao mesmo tempo.
A Matriz CAHS (Making an Impact: A Preferred Framework and Indicators to Measure Returns on Investment in Health Research) organiza a avaliação em cinco dimensões: avanço do conhecimento, capacitação de recursos humanos, informação para tomada de decisão, impactos em saúde e impactos socioeconômicos. Essa estrutura canadense foi adaptada para o contexto de pesquisa em saúde justamente porque cobre tanto resultados científicos quanto efeitos sociais, algo que métricas puramente bibliométricas não capturam. Em doenças raras, a dimensão de capacitação costuma ser subestimada: treinar um único especialista em manejo de uma condição ultrarrara pode ter impacto desproporcional sobre uma população de pacientes pequena.
O RoSI (Retorno sobre Investimento Científico) funciona de outra forma: é um índice composto que combina custo do projeto, fator de impacto de publicações, captação de recursos e registro de patentes em um único número. A metodologia usa uma adaptação do índice de úlcera, originalmente empregado em finanças para medir risco de queda de ativos, aplicada aqui à volatilidade de resultados científicos. Isso dá ao RoSI uma vantagem real: ele penaliza projetos com resultados instáveis ao longo do tempo, não só os que produzem pouco. Para portfólios de pesquisa com múltiplos projetos em doenças raras, é útil para priorizar onde alocar recursos limitados.
A AIO entra em outro momento do ciclo: quando a pergunta já não é "essa pesquisa gerou conhecimento?", mas "quanto custará adotar essa tecnologia ou terapia no sistema de saúde?". Ela estima a população elegível, projeta cenários de adoção e calcula o impacto financeiro líquido em um horizonte de 3 a 5 anos.
Na prática, recomendamos:
- Use a Matriz CAHS no início e ao longo do projeto, como estrutura de relatório contínuo.
- Aplique o RoSI quando precisar comparar múltiplos projetos ou justificar realocação de orçamento entre linhas de pesquisa.
- Reserve a AIO para o momento em que uma terapia ou modelo de diagnóstico está perto de adoção clínica ou decisão regulatória.
Dica profissional: Não espere o projeto terminar para calcular a AIO. Comece a estimativa de população elegível ainda na fase de triagem pré-clínica: isso evita que financiadores questionem a viabilidade econômica só depois que o dinheiro já foi gasto.
Quais indicadores realmente capturam impacto em doenças raras?
A escolha de indicadores certos importa mais do que a quantidade deles. Em populações pequenas, um indicador mal escolhido gera ruído estatístico que parece sinal.
Organize os indicadores pelas cinco dimensões da Matriz CAHS, mas adapte o peso de cada uma à realidade do seu projeto:
| Dimensão | Exemplos de métricas | Cuidado específico em doenças raras |
|---|---|---|
| Avanço do conhecimento | Registros de protocolo, dados depositados em repositórios, apresentações em consórcios | Não usar apenas o fator de impacto como proxy de valor científico |
| Capacitação | Pesquisadores treinados, redes de colaboração formadas | Peso maior quando a especialidade é escassa globalmente |
| Tomada de decisão | Citação em diretrizes clínicas, uso por sociedades médicas | Verificar adoção real, não apenas menção |
| Impactos em saúde | Biomarcadores substitutos, tempo até diagnóstico, resposta a tratamento | Usar desfechos substitutos quando o desfecho primário é raro demais para medir |
| Socioeconômico | Redução de custos hospitalares, patentes, parcerias comerciais | Depende de projeção, não de dado histórico consolidado |
Ao avaliar cada métrica, pergunte quatro coisas: ela é válida (mede o que diz medir)? é sensível o suficiente para captar mudança em uma coorte pequena? qual o custo de coletar esse dado? e quanto tempo leva até um sinal aparecer?
Quando o desfecho clínico primário é raro por definição, a estratégia responsável é adotar surrogate endpoints, desfechos substitutos validados na literatura da condição, como marcadores bioquímicos ou funcionais que se correlacionam com progressão da doença. A Fiocruz recomenda abandonar o uso isolado do fator de impacto e do índice h em favor de métricas mais auditáveis, e o mesmo princípio vale para desfechos clínicos: prefira sempre o indicador com rastro documental verificável, mesmo que seja indireto.
Na prática, escolha entre quatro e seis métricas essenciais por projeto, uma ou duas por dimensão relevante. Projetos com mais de oito indicadores tendem a gerar relatórios que ninguém lê até o fim, e financiadores raramente têm tempo para avaliar dez variáveis simultâneas.
Como provar que a pesquisa causou o impacto observado?
Atribuição é o ponto onde a maioria das avaliações de impacto perde credibilidade. Sem grupo de controle, sem ensaio randomizado, como afirmar que a pesquisa causou a mudança e não apenas coincidiu com ela?
A resposta prática tem três passos:
- Construa um modelo lógico explícito. Mapeie insumos, atividades, produtos, resultados e impactos em uma cadeia visível, e revise essa cadeia a cada relatório. Isso obriga o gestor a declarar, desde o início, qual caminho causal está sendo testado, em vez de reconstruir uma narrativa retroativamente.
- Aplique triangulação e análise de contribuição em vez de causalidade estrita. Combine evidência qualitativa (entrevistas com médicos que adotaram um protocolo), documental (citação em diretriz clínica) e quantitativa (mudança em indicador substituto) para sustentar que a pesquisa contribuiu de forma plausível para o resultado, mesmo sem prova experimental perfeita.
- Documente a transferência com rastro auditável. Contratos de licenciamento, registros de patente, atas de comitês regulatórios e cartas de adoção por sociedades médicas funcionam como evidência de que o conhecimento saiu do laboratório e entrou em uso real.
Relatórios de avaliação de impacto em pós-graduação já formalizaram essa lógica: recomenda-se distinguir claramente impacto potencial de impacto realizado, classificando cada afirmação de impacto pelo tipo e pela abrangência da evidência que a sustenta. Isso significa que uma pesquisa pode declarar impacto potencial (um mecanismo terapêutico identificado, ainda sem aplicação clínica) separadamente do impacto realizado (o mecanismo virou tratamento adotado por um centro de referência).
Dica profissional: Mantenha um registro cronológico simples, tipo linha do tempo, ligando cada marco da pesquisa a um documento comprobatório. Quando o financiador pedir evidência três anos depois, você não vai lembrar de nada se não tiver anotado no momento certo.
Como calcular o retorno econômico com AIO em contextos de incerteza
A AIO não é o mesmo que análise custo-efetividade. Enquanto a custo-efetividade compara o valor clínico ganho por unidade de custo, a AIO responde a uma pergunta orçamentária mais direta: quanto vai custar, no total, incorporar essa tecnologia ao sistema de saúde nos próximos anos?
O procedimento prático começa pela estimativa da população elegível, geralmente o maior desafio em doenças raras, dado que os registros epidemiológicos costumam ser incompletos ou fragmentados entre centros. Na ausência de dados nacionais robustos, é aceitável usar dados internacionais desde que devidamente contextualizados, com ressalvas explícitas sobre diferenças populacionais e de sistema de saúde.
A partir da população estimada, projete três blocos de custo:
- Custos diretos de incorporação (aquisição, infraestrutura, treinamento de equipe)
- Custos indiretos evitados (hospitalizações reduzidas, exames repetidos evitados)
- Custo de oportunidade de não investir (progressão da doença sem intervenção, perda de produtividade de cuidadores)
Construa pelo menos três cenários (conservador, esperado, otimista) variando taxa de adoção e preço, e apresente a análise de sensibilidade junto com os resultados centrais. Financiadores confiam mais em uma AIO que mostra a variação de premissas do que em um número único apresentado como certeza.
A AIO tende a agregar mais valor decisório para financiadores públicos justamente quando quantifica custo de oportunidade e projeções orçamentárias no horizonte de 3 a 5 anos, em vez de se limitar a indicadores retrospectivos como número de citações.
A principal limitação de AIO em pequena escala é a margem de erro da estimativa populacional: um erro de poucos pacientes pode alterar significativamente o resultado agregado quando a base é pequena. Trate o resultado final como uma faixa plausível, não como um valor fixo, e comunique essa incerteza explicitamente no relatório final.
Onde buscar os dados que sustentam suas métricas de impacto
Métrica sem fonte auditável é opinião com aparência de dado. A escolha da fonte determina se sua declaração de impacto sobrevive a uma auditoria de financiador.
Priorize, nessa ordem de confiabilidade para populações pequenas:
- Registros de pacientes mantidos por associações de doenças raras ou centros de referência, geralmente a fonte mais granular disponível
- Bases de ensaios clínicos registrados (nacionais e internacionais), úteis para rastrear recrutamento e desfechos parciais
- Prontuários eletrônicos de centros especializados, quando há acordo de compartilhamento de dados
- Repositórios regulatórios e bases de designação de medicamento órfão, que documentam progresso regulatório verificável
- Registros de patentes e depósitos de propriedade intelectual, indicadores objetivos de transferência tecnológica
- Relatórios de implementação de sociedades médicas e diretrizes clínicas atualizadas
Documentar cada fonte com data de coleta, método de linkage entre bases e limitações conhecidas evita que uma coorte pequena pareça representativa de algo que não é. Quando você conecta dados de mais de uma fonte, como registro de paciente e prontuário clínico, documente o método de pareamento: isso é o que diferencia uma evidência auditável de uma correlação frágil.
Para diferentes públicos, ajuste o nível de detalhe do relato: financiadores institucionais costumam querer o resumo executivo com os cinco indicadores centrais e a AIO; agências regulatórias exigem rastreabilidade completa de protocolo a protocolo; fundações de pacientes valorizam mais a narrativa de impacto clínico direto, com linguagem acessível.
O maior risco nessa etapa é depender só de métricas bibliométricas, como contagem de citações ou fator de impacto, para provar valor da pesquisa. Como reforça a Fiocruz em sua diretriz de avaliação responsável, esses indicadores medem prestígio editorial, não necessariamente efeito prático. A alternativa responsável é priorizar sempre a evidência de uso real: quem adotou, quando, e com qual documento formal registrando essa adoção.
Como a triagem personalizada gera evidência auditável para financiadores
Modelos de doença construídos a partir de células do próprio paciente produzem um tipo de evidência que raramente aparece em relatórios de impacto tradicionais: dados de amenabilidade terapêutica gerados antes de qualquer ensaio clínico. Quando um laboratório testa milhares de compostos aprovados pela FDA contra um modelo derivado de células-tronco pluripotentes induzidas (iPSCs) de um paciente específico, cada resultado, positivo ou negativo, é um dado que pode alimentar diretamente as dimensões de impacto em saúde e tomada de decisão da Matriz CAHS.
Esse tipo de evidência translacional inclui:
- Estudos de amenabilidade que documentam se uma classe terapêutica (pequenas moléculas, oligonucleotídeos antisenso, terapia gênica) tem potencial de resposta no modelo daquele paciente
- Biomarcadores identificados durante a triagem, úteis como desfechos substitutos quando o desfecho clínico primário é raro
- Respostas in vitro comparadas a controles isogênicos corrigidos por CRISPR, que funcionam como prova de conceito documentada
- Registro do número de compostos testados e do tempo até identificação de um candidato viável, uma métrica operacional que financiadores conseguem comparar entre projetos
Transformar esses resultados em algo útil para uma AIO ou para um registro de adoção exige padronização. Um relatório de triagem que apenas lista "testamos X compostos" não ajuda ninguém a tomar decisão orçamentária. O relatório precisa amarrar cada composto testado a um critério de resposta pré-definido, ao tempo gasto e ao custo da triagem, formato que pode ser diretamente citado em uma análise de impacto orçamentário como evidência de viabilidade pré-clínica.
Quando resultados pré-clínicos de modelagem personalizada são cruzados com métricas de adoção clínica seguindo padrões de relatório auditáveis, a transição de evidência científica para decisão de investimento acontece de forma mais rápida e mais defensável diante de financiadores e comitês regulatórios.
Programas como o de triagem personalizada para doenças raras geram exatamente esse tipo de dado estruturado: cada teste de amenabilidade, cada resposta de um oligonucleotídeo antisenso customizado, cada avaliação de terapia gênica vira um ponto de dado documentado, com metodologia clara e rastreável até o composto e até o momento do teste.
Na hora de negociar um contrato de serviço com um laboratório de modelagem personalizada, vale incluir cláusulas específicas sobre formato de relatório: exigir que os resultados sejam entregues em formato compatível com os indicadores da Matriz CAHS, com data, método e critério de resposta documentados, e com cláusula de compartilhamento de dados que permita uso posterior em relatórios de impacto para financiadores. Sem essa exigência contratual, o laboratório entrega os dados no formato que for mais conveniente para ele, não no formato que você vai precisar dois anos depois para justificar o investimento.
Casos de reposicionamento de fármacos em doenças raras ilustram bem esse fluxo: um medicamento já aprovado pela FDA para outra condição, identificado por triagem em modelo de célula do paciente, carrega evidência de segurança prévia que acelera a etapa de adoção clínica, um ativo valioso para qualquer relatório de impacto que precise mostrar tempo reduzido até benefício ao paciente.
Como validar resultados com dados estatisticamente limitados
Amostras pequenas não eliminam a necessidade de rigor estatístico. Elas mudam qual tipo de rigor é possível.
- Prefira abordagens bayesianas a testes de significância clássicos. Métodos bayesianos incorporam conhecimento prévio da literatura da doença e atualizam estimativas conforme novos dados chegam, mais adequado quando o tamanho da amostra nunca vai chegar a centenas de casos.
- Use bootstrap e reamostragem para estimar intervalos de confiança quando o teste estatístico tradicional exigiria uma amostra maior do que a doença permite.
- Rode análises de sensibilidade e cenários alternativos em toda estimativa que dependa de premissa incerta, população elegível, taxa de resposta, custo unitário, e apresente a faixa de resultados, não um único número.
- Valide externamente com cautela, cruzando achados com registros internacionais de pacientes ou publicações de centros de referência em outros países, sempre citando as diferenças de contexto que podem limitar a comparação direta.
- Registre premissas antes de coletar o resultado final. Um pré-registro simples, mesmo interno, de quais métricas serão usadas e quais critérios de sucesso foram definidos evita a tentação de ajustar a narrativa depois que os dados chegam.
Antes de submeter qualquer avaliação a um financiador, confira se o relatório documenta: origem de cada dado, método de linkage entre bases, intervalo de confiança ou faixa de sensibilidade, e distinção clara entre impacto potencial e impacto já realizado. Esse checklist mínimo é o que separa uma avaliação auditável de uma estimativa que não resiste à primeira pergunta de um comitê técnico.
Investir em pesquisa rara exige métricas que sobrevivam à falta de dados
A combinação de Matriz CAHS, AIO e evidência translacional auditável funciona melhor do que qualquer ferramenta isolada porque doenças raras nunca vão gerar volume de dados suficiente para um único indicador contar a história completa.
A prática comum de esperar publicações e citações se acumularem antes de declarar impacto é um erro em pesquisa rara: quando a população de pacientes é pequena, esse acúmulo simplesmente não vai acontecer no ritmo que financiadores esperam. O gestor que espera por esse volume perde a janela de decisão, porque o financiador já tomou a decisão de continuar ou cortar o investimento com base em outra evidência, ou na ausência dela.
O que a maioria dos relatórios de impacto ainda ignora é o valor probatório dos dados pré-clínicos gerados por modelagem personalizada. Um estudo de amenabilidade bem documentado, com critério de resposta claro e rastro auditável, vale mais para uma AIO do que uma citação em revista de alto fator de impacto. Priorize documentação sobre prestígio editorial. Sempre.
— John
Fontes
- Return on Scientific Investment – RoSI: a PMO dynamical index proposal for scientific projects performance evaluation and management
- Diretrizes Metodológicas (AIO) — REBRATS 2026 (versão preliminar)
- Avaliação responsável | Portal Fiocruz
- Relatório GT impacto e relevância econômica e social — CAPES