L'annuncio di un segnale condiviso per l'addestramento dell'IA
Il 30 ottobre 2026, OpenAI, Google, Microsoft e Anthropic hanno annunciato che rispetteranno un segnale comune nel file robots.txt. Questa iniziativa consente agli operatori dei siti web di comunicare a più fornitori, tramite una singola regola, le proprie preferenze su se i contenuti possano essere utilizzati per l'addestramento di modelli di intelligenza artificiale generativa.
Fino ad oggi, gli editori dovevano mantenere liste di esclusione separate per ogni crawler specifico, come GPTBot di OpenAI o Google-Extended. Il nuovo segnale mira a ridurre questa complessità operativa offrendo un token di policy unificato che i fornitori partecipanti interpreteranno in modo simile, semplificando la gestione dei permessi di utilizzo dei dati.
Meccanica tecnica: il token __usage_ai-training
Il meccanismo si basa su una bozza individuale di Internet intitolata 'Machine-Readable Training Preference Signal', proposta da Kevin Kelley di Anthropic presso l'Internet Engineering Task Force (IETF). La proposta non modifica la sintassi esistente di robots.txt né introduce nuove direttive, ma utilizza gruppi ordinari di agenti utente.
Il token specifico definito per questo scopo è __usage_ai-training. Associando questo identificatore a direttive Allow o Disallow, l'operatore esprime una preferenza d'uso. Gli analizzatori che non riconoscono questo token lo tratteranno come un nome di agente sconosciuto, permettendo ai sistemi esistenti di continuare a funzionare senza modifiche durante l'integrazione della nuova funzionalità.
Esempio di come esprimere la preferenza di non consentire l'addestramento dell'IA per tutti i percorsi, tranne una cartella specifica:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/Partecipazione dei fornitori e calendari di implementazione
L'adozione dello standard varia a seconda dell'azienda. Anthropic ha confermato di aver già implementato il supporto per questo token. OpenAI prevede di incorporarlo nei prossimi mesi, sebbene non abbia specificato una data concreta. Google e Microsoft pianificano di accettare il segnale all'inizio del 2027.
Google ha indicato che, se un sito utilizza il token di policy per optare out dall'addestramento e non menziona esplicitamente Google-Extended, lo interpreterà come se l'editore avesse disabilitato quel crawler specifico. Microsoft, d'altra parte, offrirà controlli aggiuntivi che consentiranno di rifiutare l'addestramento o il 'grounding' (ancoraggio) in modo indipendente.
Stato di adozione per fornitore
Riepilogo della situazione di ciascuna azienda riguardo al segnale comune di addestramento dell'IA.
| Fornitore | Stato di implementazione | Note aggiuntive |
|---|---|---|
| Anthropic | Implementato | Rispetta già il token __usage_ai-training. |
| OpenAI | Previsto per i prossimi mesi | Non sostituisce i controlli attuali di GPTBot. |
| Pianificato per il 2027 | Si integrerà con la logica di Google-Extended. | |
| Microsoft | Pianificato per il 2027 | Includerà opzioni per rifiutare il grounding. |
| Meta | Sostegno dichiarato | Non ha confermato formalmente se rispetterà il segnale tecnico. |
Limiti dello standard e ambito delle preferenze
È fondamentale distinguere tra il controllo del crawling e il controllo dell'uso. Il segnale __usage_ai-training esprime una preferenza sull'addestramento dei modelli, ma non determina da solo se un crawler può visitare una pagina per altri scopi, come la ricerca o l'inferenza in tempo reale.
La bozza dell'IETF chiarisce che gli accordi privati possono prevalere sulle preferenze espresse in robots.txt. Inoltre, il documento tecnico sottolinea che questo segnale non sostituisce i controlli di crawling esistenti. Un amministratore può, ad esempio, bloccare l'addestramento tramite il segnale comune ma consentire l'accesso per la ricerca generativa se non blocca i crawler specifici di ricerca.
Considerazioni per editori e operatori web
Gli editori che desiderano utilizzare questo segnale devono comprendere che la sua efficacia dipende dall'adozione da parte dei fornitori. Dato che lo standard è ancora una bozza presso l'IETF, non gode del sostegno formale dell'organizzazione né ha lo status di norma approvata.
Si raccomanda agli operatori di combinare questo segnale con altre misure di protezione, come le regole WAF o la gestione dei bot, poiché i segnali di contenuto sono preferenze e non contromisure tecniche contro l'appropriazione dei contenuti. Inoltre, è importante verificare la documentazione specifica di ciascun fornitore per capire come interpretano il segnale in relazione ai propri crawler.
Passaggi per implementare il segnale di addestramento
Processo raccomandato per gli amministratori di siti web che desiderano esprimere la propria preferenza sull'addestramento dell'IA.
- 01Accedere al file robots.txt del sito web.
- 02Aggiungere un gruppo di utenti con il token __usage_ai-training.
- 03Definire le direttive Allow o Disallow in base ai percorsi che si desidera escludere o consentire per l'addestramento.
- 04Verificare la sintassi per assicurarsi di non rompere le regole esistenti per altri agenti.
- 05Monitorare il traffico dei bot per confermare che i fornitori partecipanti stiano rispettando la preferenza.
Questioni aperte
- La data esatta di implementazione del segnale da parte di OpenAI non è stata specificata, si indica solo che avverrà nei 'prossimi mesi'.
- Non è confermato se Meta rispetterà formalmente il segnale tecnico, sebbene abbia espresso sostegno all'idea di un segnale comune.
- La bozza dell'IETF è un documento individuale e non rappresenta necessariamente il consenso finale del gruppo di lavoro, quindi il vocabolario e la sintassi potrebbero cambiare prima della standardizzazione definitiva.
Continua a esplorare
Fonti consultate
Correzioni e trasparenza
Se trovi un dato errato o non aggiornato, inviaci la pagina e la fonte da verificare.
Proponi una correzione