Screening degli studi con l’IA: come scegliere tra revisione manuale, strumenti specializzati e modelli generalisti

Definisci con precisione la decisione da mettere alla prova

Lo screening di titoli e abstract consiste nel decidere quali record di una ricerca bibliografica sembrano soddisfare i criteri di eleggibilità e debbano passare alla fase successiva. Non equivale a confermare che uno studio sia eleggibile: spesso l’abstract non contiene informazioni sufficienti e per prendere una decisione definitiva è necessario consultare il testo integrale. Il progetto pilota proposto qui valuta quindi un compito circoscritto: classificare i record per stabilire quali richiedano un esame successivo, non completare una revisione sistematica né sostituirne il protocollo.

La domanda pratica non è «l’IA può fare lo screening?», ma «quale metodo può aiutare questo gruppo, con questi criteri e questo insieme di record, senza aumentare il rischio di perdere studi pertinenti?». Per rispondere in modo utile occorre considerare errori, coerenza, tracciabilità e tempo di lavoro umano. Il fatto che uno strumento produca rapidamente un’etichetta non dimostra né che sia corretta né che il risparmio netto sia significativo.

È utile distinguere tre alternative. Nello screening manuale, le persone leggono i record e annotano le decisioni, per esempio in un foglio di calcolo. Uno strumento specializzato è progettato per attività legate alla revisione bibliografica, ma occorre verificare le funzioni effettivamente disponibili nel prodotto e nella versione che si intende usare. Un modello generalista di IA può ricevere istruzioni per classificare un testo, ma non si deve presumere che offra un flusso di screening, un registro delle decisioni o controlli adeguati per una revisione. In tutti i casi, la configurazione è importante.

Definisci i criteri e i casi di prova prima del confronto

Prima di aprire uno strumento, traduci la domanda della revisione in criteri di inclusione ed esclusione applicabili ai singoli record. Specifica la popolazione, l’intervento o l’esposizione, il comparatore, gli esiti, il disegno dello studio, il contesto e gli eventuali limiti temporali o linguistici che fanno effettivamente parte del protocollo. Non tutti questi elementi saranno pertinenti per ogni revisione; l’importante è indicare quali informazioni determinano l’eleggibilità e come comportarsi quando mancano.

Aggiungi istruzioni per i casi ambigui. Per esempio: se l’abstract non permette di confermare un criterio, il record va conservato per l’esame del testo integrale oppure escluso? Come si gestisce uno studio apparentemente pertinente che non specifica il disegno? Che cosa fare quando il titolo sembra soddisfare i criteri, ma l’abstract li contraddice? Se il gruppo non risolve queste domande in anticipo, due metodi possono sembrare in disaccordo quando, in realtà, stanno applicando regole diverse o incomplete.

Prepara un insieme di record che includa esempi chiaramente eleggibili, chiaramente non eleggibili e dubbi. Una guida istituzionale per la selezione degli studi raccomanda di sperimentare i criteri su record appartenenti a tutte e tre le categorie; qui questo orientamento viene adattato allo scopo ulteriore di confrontare diverse alternative. Conserva titoli e abstract così come sono stati ottenuti, salvo le trasformazioni necessarie e documentate per proteggere i dati o uniformare il formato. Non scegliere soltanto esempi facili: il progetto pilota deve far emergere i punti deboli delle istruzioni.

Stabilisci una decisione di riferimento tramite una revisione umana indipendente e una procedura per risolvere i disaccordi. La decisione di riferimento non è una verità infallibile: è una decisione documentata, conforme al protocollo e con i dubbi resi espliciti. Se i revisori non concordano, sottoponi il caso ad aggiudicazione, chiarisci la regola pertinente e registra la modifica; poi applica nuovamente la stessa regola a tutte e tre le alternative.

Confronta i tre approcci senza attribuire capacità non verificate

Lo screening manuale offre un riferimento diretto ai criteri del gruppo, ma richiede di leggere e registrare ogni decisione. Un foglio di calcolo può servire a ordinare i record e documentare le etichette, se viene predisposto a tale scopo; da solo, però, non fornisce una decisione metodologica né risolve i disaccordi. Per rendere equo il confronto, definisci in anticipo le colonne, le etichette consentite e chi può modificare una decisione.

Gli strumenti specializzati sono candidati per un progetto pilota, non una garanzia di qualità. Rayyan, Elicit, SciSpace e scite.ai compaiono tra le fonti fornite come strumenti legati alle revisioni o all’analisi bibliografica. Questa menzione offre un punto di partenza per una lista di candidati, ma non conferma che ciascuno includa attualmente lo screening di titoli e abstract, che lo esegua secondo le esigenze del protocollo o che le funzioni siano disponibili alle stesse condizioni di accesso. Prima di progettare la prova, verifica ogni attività direttamente nel prodotto e nella documentazione aggiornata.

Un modello generalista può essere utile per mettere alla prova istruzioni esplicite sui criteri, ma il risultato dipenderà dal testo inviato, dalle istruzioni, dalla configurazione e dalla risposta generata. Non dare per scontato che il modello ripeta la stessa classificazione a ogni esecuzione, citi una motivazione verificabile o conservi una cronologia sufficiente. Controlla direttamente queste caratteristiche e registra la versione, la data e i parametri disponibili. Se il sistema cambia tra un’esecuzione e l’altra, tale variazione fa parte del risultato e non è un dettaglio da nascondere.

Fornisci a ciascuna alternativa le stesse informazioni sull’eleggibilità. Se uno strumento non consente di esportare una decisione, conservarne la spiegazione o ripetere esattamente una configurazione, annotalo come limite operativo. Non cercare di compensare una funzione mancante con supposizioni su ciò che il fornitore probabilmente offre.

Progetta una prova comparabile e riproducibile

Usa lo stesso insieme di record, gli stessi criteri e le stesse regole per gestire le incertezze in tutte e tre le alternative. Scrivi un’istruzione unica e comprensibile; se uno strumento richiede un adattamento del formato, mantieni invariato il significato e documenta la modifica. Non migliorare le istruzioni di un’opzione dopo averne visto gli errori senza ripetere la prova anche per le altre: così facendo si favorirebbe l’alternativa che ha ricevuto più aggiustamenti.

Tieni separati lo sviluppo della prova e la sua valutazione. Puoi usare un primo gruppo di record per chiarire le istruzioni e individuare problemi di formato; riservane un altro per verificare il risultato con istruzioni ormai congelate. Se il corpus disponibile è piccolo, dichiara il limite ed evita di presentare pochi casi come prova conclusiva delle prestazioni generali. L’obiettivo del progetto pilota è ottenere evidenze pertinenti al flusso concreto del gruppo, non proclamare un vincitore universale.

Quando possibile, fai in modo che chi ha stabilito la decisione di riferimento non veda prima le etichette del sistema. In seguito, confronta ogni risultato con il riferimento e sottoponi a revisione manuale tutte le esclusioni proposte dall’IA nel campione di valutazione. Questo controllo è particolarmente importante perché un’esclusione errata potrebbe rimuovere dalla revisione uno studio pertinente. Conserva anche i disaccordi: possono segnalare che il criterio va precisato meglio o che il caso richiede un’aggiudicazione.

Verifica la ripetibilità quando il metodo può produrre risultati diversi. Ripeti una parte dell’insieme con la stessa configurazione e confronta le decisioni. Se non è possibile bloccare la configurazione di uno strumento, registra quali controlli offre davvero. L’assenza di controllo non dimostra, da sola, che una classificazione sia errata, ma limita la possibilità di riprodurre e verificare il progetto pilota.

Misura gli errori, la coerenza e il carico di lavoro

Non ridurre la valutazione a un’unica percentuale di risposte corrette. Conta i falsi esclusi: i record che l’alternativa esclude, ma che la decisione di riferimento mantiene per l’esame del testo integrale. Conta anche i falsi inclusi: i record che l’alternativa conserva, benché il riferimento li escluda. Riporta i casi incerti e i disaccordi che hanno richiesto una revisione o un’aggiudicazione. Presenta i conteggi insieme alla dimensione dell’insieme e spiega come è stato costruito il riferimento.

Gli errori non hanno tutti lo stesso effetto pratico. Per un gruppo che vuole soprattutto evitare di perdere studi potenzialmente pertinenti, un falso escluso può essere più preoccupante della necessità di esaminare qualche record in più. Questa priorità va dichiarata come criterio decisionale prima di vedere i risultati, non scelta a posteriori per giustificare l’opzione preferita. Se il protocollo richiede decisioni indipendenti da parte di più persone, il progetto pilota non dovrebbe sostituire tale requisito senza una giustificazione metodologica approvata.

Registra separatamente i tempi di preparazione, importazione, esecuzione, revisione dei risultati, risoluzione dei casi ambigui ed esportazione o pulizia dei dati. Confronta il lavoro umano complessivo, non soltanto il tempo impiegato da uno strumento per produrre le etichette. Valuta anche se il gruppo può ricostruire il percorso di un record: chi ha deciso, secondo quale criterio, sulla base di quali informazioni e se la decisione è stata modificata in seguito.

Un’alternativa che riduce la lettura iniziale può richiedere più lavoro di verifica. Al contrario, un flusso manuale può risultare più semplice con un corpus piccolo o con criteri difficili da formalizzare. Il progetto pilota deve rendere visibili questi costi nel contesto reale del gruppo. Non presentare una differenza osservata in una prova limitata come una caratteristica universale del prodotto.

Considera limiti, dati e decisioni che richiedono supervisione

Un titolo o un abstract incompleto può nascondere informazioni decisive. Se un dato non compare nel record e non si consulta un’altra fonte, il sistema non può risolvere in modo affidabile un criterio che dipende da quel dato; chiedergli di colmare la lacuna può generare un’inferenza apparentemente sicura, ma non sostenuta dal testo. Definisci un esito di incertezza e usalo. Quando l’eleggibilità dipende da dettagli metodologici assenti dall’abstract, conserva il record per la fase di esame del testo integrale.

Anche i criteri possono essere operazionalizzati in modo inadeguato. Espressioni come «popolazione pertinente» o «studio di qualità adeguata» non bastano se il gruppo non ha specificato quali evidenze testuali le soddisfino. Se persone e sistemi interpretano diversamente una regola, rivedi la regola prima di attribuire il problema soltanto allo strumento. Dopo ogni modifica, documenta la versione dei criteri e applicala nuovamente all’insieme riservato seguendo una procedura coerente.

Prima di caricare i record, controlla le condizioni applicabili di accesso, trattamento dei dati, archiviazione, conservazione e riutilizzo del servizio che si intende provare. Le fonti fornite non riportano condizioni aggiornate di accesso, prezzi o trattamento dei dati per i prodotti candidati: questi aspetti richiedono una verifica diretta. Se i materiali contengono informazioni sensibili o sono soggetti a restrizioni istituzionali, consulta le regole della tua organizzazione e non inviare dati finché non hai ottenuto l’autorizzazione.

La responsabilità dell’approvazione dei criteri, della risoluzione dei casi ambigui e della decisione finale di eleggibilità deve rimanere al gruppo di revisione. Una guida universitaria sull’IA nella sintesi delle evidenze inquadra l’uso di questi strumenti insieme al giudizio esperto; è un orientamento, non una prova che una specifica funzione sia sicura o efficace. Essere trasparenti significa registrare che cosa è stato automatizzato, che cosa è stato rivisto, che cosa è cambiato e quali limiti ha avuto la prova.

Scegli con una matrice decisionale, non sulla base di una promessa

Al termine, confronta i risultati con le priorità concordate prima del progetto pilota. Se il gruppo non può tollerare falsi esclusi, scarta qualsiasi configurazione che ne produca senza un controllo in grado di individuarli. Se la tracciabilità è essenziale, esigi che il flusso permetta di recuperare le etichette e spiegare ogni modifica. Se l’obiettivo è risparmiare tempo, includi il tempo di supervisione, non soltanto quello di esecuzione dello strumento.

Mantieni lo screening manuale quando il volume è gestibile per il gruppo, i criteri richiedono interpretazione contestuale oppure nessuna alternativa automatizzata soddisfa i requisiti minimi di sicurezza e registrazione. Valuta uno strumento specializzato se le funzioni pertinenti sono state verificate, il progetto pilota con i tuoi record dà risultati accettabili e il flusso consente di esportare e controllare i risultati. Prova un modello generalista solo con istruzioni controllate, dati autorizzati e una revisione sufficiente a impedire che i risultati diventino esclusioni non verificate.

Se i risultati sono promettenti, integra lo strumento come modifica esplicita della procedura: documentane il ruolo, le versioni utilizzate, i controlli umani, la gestione dei disaccordi e il modo di correggere gli errori. Rivaluta il flusso se cambiano i criteri, il prodotto, il modello o la configurazione. Se le evidenze non sono sufficienti, dichiara l’incertezza e amplia il progetto pilota invece di affermare che un’opzione sia superiore.

Per orientarsi nei contenuti di Inferama, questa guida può essere collegata alle pagine Scopri, Confronta e Impara. La navigazione non cambia lo standard metodologico: la decisione deve essere giustificata dai registri del progetto pilota e dalle esigenze del protocollo, non da una descrizione commerciale o da un elenco di funzioni non verificate.

Continua a esplorare

Correzioni e trasparenza

Se trovi un dato errato o non aggiornato, inviaci la pagina e la fonte da verificare.