Triagem de estudos com IA: como escolher entre revisão manual, ferramentas especializadas e modelos gerais

Delimite a decisão que você vai testar

Fazer a triagem de títulos e resumos significa decidir quais registros de uma busca bibliográfica parecem atender aos critérios de elegibilidade e devem avançar para a etapa seguinte. Isso não equivale a confirmar que um estudo é elegível: muitas vezes, o resumo não contém informações suficientes, e a decisão definitiva exige consultar o texto completo. Por isso, o piloto proposto aqui avalia uma tarefa específica: classificar registros para decidir quais precisam de uma análise posterior, e não realizar uma revisão sistemática completa nem substituir seu protocolo.

A pergunta prática não é «a IA consegue fazer a triagem?», mas «qual método ajuda esta equipe, com estes critérios e este conjunto de registros, sem aumentar o risco de perder estudos pertinentes?». Uma resposta útil deve considerar erros, consistência, rastreabilidade e tempo de trabalho humano. O fato de uma ferramenta produzir rapidamente um rótulo não demonstra que ele esteja correto nem que a economia líquida de tempo seja significativa.

Convém distinguir três opções. Na triagem manual, as pessoas leem os registros e anotam suas decisões, por exemplo, em uma planilha. Uma ferramenta especializada foi desenvolvida para tarefas relacionadas à revisão bibliográfica, mas suas funções específicas devem ser verificadas no produto e na versão que serão utilizados. Um modelo geral de IA pode receber instruções para classificar texto, mas não se deve presumir que ofereça um fluxo de triagem, um registro de decisões ou controles adequados para uma revisão. Em todos os casos, a configuração faz diferença.

Defina critérios e casos de teste antes de comparar

Antes de abrir qualquer ferramenta, transforme a pergunta da revisão em critérios de inclusão e exclusão aplicáveis a registros individuais. Especifique população, intervenção ou exposição, comparador, resultados, desenho do estudo, contexto e quaisquer limites temporais ou linguísticos que realmente façam parte do protocolo. Nem todos esses elementos serão pertinentes a todas as revisões; o essencial é indicar quais informações determinam a elegibilidade e o que fazer quando elas estiverem ausentes.

Inclua instruções para os casos ambíguos. Por exemplo: se o resumo não permitir confirmar um critério, o registro deve ser mantido para análise do texto completo ou excluído? Como tratar um estudo que parece pertinente, mas não informa o desenho? O que fazer quando o título parece atender aos critérios, mas o resumo os contradiz? Se a equipe não responder a essas perguntas antecipadamente, dois métodos poderão parecer discordar quando, na verdade, estiverem aplicando regras diferentes ou incompletas.

Prepare um conjunto de registros que inclua exemplos claramente elegíveis, claramente não elegíveis e duvidosos. Uma orientação institucional sobre seleção de estudos recomenda testar os critérios com registros dessas três categorias; aqui, essa orientação é adaptada ao objetivo adicional de comparar alternativas. Preserve os títulos e resumos tal como foram obtidos, salvo as transformações necessárias e documentadas para proteger dados ou padronizar o formato. Não selecione apenas exemplos fáceis: o piloto deve revelar onde as instruções são insuficientes.

Estabeleça uma decisão de referência por meio de revisão humana independente e defina um procedimento para resolver divergências. A referência não é uma verdade infalível: é uma decisão documentada conforme o protocolo, com as dúvidas visíveis. Se os revisores discordarem, adjudique o caso, esclareça a regra pertinente e registre a mudança; depois, aplique novamente a mesma regra às três alternativas.

Compare as três abordagens sem atribuir capacidades não verificadas

A triagem manual oferece uma referência direta aos critérios da equipe, mas exige a leitura e o registro de cada decisão. Uma planilha pode ajudar a organizar os registros e documentar rótulos, se a equipe a preparar para essa finalidade; por si só, não fornece uma decisão metodológica nem resolve divergências. Para que a comparação seja justa, defina antecipadamente as colunas, os rótulos permitidos e quem pode alterar uma decisão.

Ferramentas especializadas são candidatas a um piloto, não uma garantia de qualidade. Rayyan, Elicit, SciSpace e scite.ai aparecem nas fontes fornecidas como ferramentas relacionadas a revisões ou análises bibliográficas. Essa menção ajuda a montar uma lista inicial, mas não confirma que cada uma inclua atualmente a triagem de títulos e resumos, que a realize da maneira exigida pelo seu protocolo ou que as funções estejam disponíveis nas mesmas condições de acesso. Verifique cada tarefa no próprio produto e em documentação atualizada antes de planejar o teste.

Um modelo geral pode ser útil para testar instruções explícitas sobre os critérios, mas qualquer resultado dependerá do texto enviado, das instruções, da configuração e da resposta gerada. Não presuma que o modelo repetirá a mesma classificação em todas as execuções, citará uma justificativa verificável ou manterá um histórico suficiente. Verifique essas propriedades diretamente e registre a versão, a data e os parâmetros disponíveis. Se o sistema mudar entre execuções, essa variação faz parte do resultado e não deve ser ocultada.

Use as mesmas informações de elegibilidade em todas as alternativas. Quando uma ferramenta não permitir exportar uma decisão, guardar uma justificativa ou repetir exatamente uma configuração, registre isso como uma limitação operacional. Não tente compensar a ausência de uma função supondo o que o fornecedor provavelmente oferece.

Planeje um teste comparável e reproduzível

Use o mesmo conjunto de registros, os mesmos critérios e as mesmas regras para resolver incertezas nas três alternativas. Escreva uma instrução única e clara; se uma ferramenta exigir adaptação do formato, preserve o significado e documente a adaptação. Não aperfeiçoe as instruções de uma opção depois de observar seus erros sem repetir os testes das demais: isso favoreceria a alternativa que recebeu mais ajustes.

Separe o desenvolvimento do teste da avaliação. Você pode usar um grupo inicial para esclarecer instruções e detectar problemas de formato; reserve outro grupo para verificar os resultados com as instruções congeladas. Se o corpus disponível for pequeno, informe essa limitação e evite apresentar poucos casos como prova conclusiva de desempenho geral. O objetivo do piloto é obter evidências pertinentes ao fluxo de trabalho específico da equipe, não declarar um vencedor universal.

Sempre que a organização do trabalho permitir, evite que as pessoas responsáveis pela decisão de referência vejam primeiro os rótulos do sistema. Depois, compare cada resultado com essa referência e revise manualmente todas as exclusões propostas por uma IA na amostra de avaliação. Esse controle é particularmente importante porque uma exclusão equivocada pode retirar da revisão um estudo que seria pertinente. Preserve também as divergências: elas podem indicar que o critério precisa ser mais preciso ou que o caso exige adjudicação.

Teste a repetibilidade quando o método puder produzir resultados diferentes. Repita uma parte do conjunto com a mesma configuração e compare as decisões. Se a configuração de uma ferramenta não puder ser fixada, registre quais controles ela realmente oferece. A falta de controle, por si só, não demonstra que uma classificação esteja errada, mas limita o quanto o piloto pode ser reproduzido e auditado.

Meça erros, consistência e carga de trabalho

Não reduza a avaliação a uma única taxa de acertos. Conte os falsos descartes: registros que a alternativa exclui, mas que a decisão de referência mantém para análise do texto completo. Conte também os falsos incluídos: registros que a alternativa conserva, embora a referência os exclua. Informe os casos incertos e as divergências que exigiram revisão ou adjudicação. Apresente as contagens junto com o tamanho do conjunto e explique como a referência foi construída.

Os erros não têm todos o mesmo efeito prático. Para uma equipe que prioriza não perder estudos potencialmente relevantes, um falso descarte pode ser mais preocupante do que a necessidade de revisar alguns registros adicionais. Essa prioridade deve ser declarada como critério de decisão antes de conhecer os resultados, e não escolhida depois para justificar a opção preferida. Se o protocolo exigir decisões independentes de várias pessoas, o piloto não deve substituir esse requisito sem uma justificativa metodológica aprovada.

Registre o tempo separadamente para preparação, importação, execução, revisão dos resultados, resolução de casos ambíguos e exportação ou limpeza dos dados. Compare o trabalho humano total, não apenas o tempo que uma ferramenta leva para produzir rótulos. Meça também se a equipe consegue reconstruir o que aconteceu com cada registro: quem decidiu, com base em qual critério e informação, e se houve alguma alteração posterior.

Uma alternativa que reduza o tempo de leitura inicial ainda pode exigir mais trabalho de verificação. Em sentido inverso, um fluxo manual pode ser mais simples para um corpus pequeno ou com critérios difíceis de formalizar. O piloto deve mostrar esses custos no contexto real da equipe. Não apresente uma diferença observada em um teste limitado como propriedade universal do produto.

Considere limites, dados e decisões que exigem supervisão

Um título ou resumo incompleto pode ocultar informações decisivas. O sistema não consegue resolver de forma confiável um critério que não aparece no registro sem consultar outra fonte; pedir que ele preencha essa lacuna pode gerar uma inferência aparentemente segura, mas sem respaldo no texto. Defina uma saída para indicar incerteza e use-a. Quando a elegibilidade depender de detalhes metodológicos ausentes do resumo, mantenha o registro para a etapa de análise do texto completo.

Os próprios critérios também podem estar mal operacionalizados. Expressões como «população pertinente» ou «estudo de qualidade adequada» não são suficientes se a equipe não especificar quais evidências textuais as satisfazem. Se pessoas e sistemas interpretarem uma regra de maneiras diferentes, revise a regra antes de atribuir o problema apenas à ferramenta. Depois de qualquer alteração, documente a versão dos critérios e reaplique o conjunto reservado segundo um procedimento coerente.

Antes de carregar registros, verifique as condições aplicáveis de acesso, tratamento de dados, armazenamento, retenção e reutilização do serviço que será testado. As fontes fornecidas não informam as condições atuais de acesso, preço ou tratamento de dados dos produtos candidatos; esses aspectos precisam ser verificados diretamente. Se os materiais contiverem informações sensíveis ou houver restrições institucionais, consulte as normas da organização e não envie dados antes de obter autorização.

Mantenha sob responsabilidade da equipe a aprovação dos critérios, a resolução de casos ambíguos e a decisão final de elegibilidade. Uma orientação universitária sobre IA na síntese de evidências propõe o uso dessas ferramentas em conjunto com o julgamento especializado; ela serve como orientação, não como prova de que determinada função seja segura ou eficaz. Transparência significa registrar o que foi automatizado, o que foi revisado, o que mudou e quais limitações o teste apresentou.

Escolha com uma matriz de decisão, não com uma promessa

Ao final, compare os resultados com as prioridades acordadas antes do piloto. Se a equipe não puder tolerar falsos descartes, descarte qualquer configuração que os produza sem uma revisão capaz de detectá-los. Se a rastreabilidade for essencial, exija um fluxo que permita recuperar os rótulos e explicar qualquer alteração. Se o objetivo for economizar tempo, inclua o tempo de supervisão, e não apenas a execução da ferramenta.

Mantenha a triagem manual quando o conjunto for manejável para a equipe, os critérios exigirem interpretação contextual ou nenhuma alternativa automatizada atender às condições mínimas de segurança e registro. Considere uma ferramenta especializada se suas funções pertinentes estiverem verificadas, se o piloto com os próprios registros da equipe for aceitável e se o fluxo permitir exportar e auditar os resultados. Teste um modelo geral somente com instruções controladas, dados autorizados e revisão suficiente para impedir que seus resultados se transformem em exclusões não verificadas.

Se os resultados forem promissores, incorpore a ferramenta como uma alteração explícita do procedimento: documente seu papel, as versões utilizadas, os controles humanos, a gestão de divergências e a forma de corrigir erros. Reavalie o fluxo se os critérios, o produto, o modelo ou a configuração mudarem. Se as evidências forem insuficientes, informe a incerteza e amplie o piloto, em vez de afirmar que uma opção é superior.

Para acompanhar o processo editorial da Inferama, este guia pode ser conectado às páginas de Descoberta, Comparação e Aprendizagem. A utilidade dessa navegação não altera o padrão metodológico: a decisão deve ser justificada pelos registros do piloto e pelas necessidades do protocolo, não por uma descrição comercial ou uma lista de funções não verificadas.

Continue a explorar

Correções e transparência

Se encontrar informação incorreta ou desatualizada, envie-nos a página e a fonte que devemos rever.