In questo articolo3
Ascolta
Voce del browser e privacy
Parte solo quando premi Ascolta. Alcune voci possono usare un servizio online. La nuova velocità può applicarsi dal passaggio successivo. Il testo non viene tradotto.
Il dilemma dei crawler a uso misto
Finora i gestori di siti web si sono trovati di fronte a una scelta obbligata: consentire l'uso dei propri contenuti per l'addestramento dell'intelligenza artificiale o rischiare di perdere visibilità nella ricerca online. Questo problema scaturisce dai crawler a uso misto, impiegati da grandi organizzazioni per svolgere simultaneamente sia l'indicizzazione di ricerca sia la raccolta dati per l'AI.
Mentre meno dell'1% dei siti protetti da Cloudflare sceglie di bloccare i bot dei motori di ricerca, circa il 17% adotta sistemi per bloccare l'addestramento dei modelli AI.
La nuova impostazione Disallow AI Training
Per risolvere i limiti delle sole direttive robots.txt, che non consentono di identificare con certezza chi effettua il crawling o di fermare chi le ignora, Cloudflare ha introdotto la funzionalità Disallow AI Training.
La rete gestita da Cloudflare classifica i bot in base al comportamento in tre categorie distinte: Search, Training e Agent. Attraverso la nuova impostazione, i proprietari dei siti possono rifiutare l'addestramento mantenendo l'indicizzazione.
- Search: scansione per la creazione dell'indice di ricerca.
- Training: scansione per l'addestramento o il fine-tuning dei modelli.
- Agent: bot diretti dagli utenti che visitano le pagine per conto delle persone.
Dati chiave
- Mentre meno dell'1% dei siti protetti da Cloudflare sceglie di bloccare i bot dei motori di ricerca, circa il 17% adotta sistemi per bloccare…1%
- Mentre meno dell'1% dei siti protetti da Cloudflare sceglie di bloccare i bot dei motori di ricerca, circa il 17% adotta sistemi per bloccare…17%
La designazione Accountable e l'impegno dei big tech
Cloudflare ha definito la qualifica Accountable per gli operatori di bot che garantiscono trasparenza e rispetto delle opzioni di opt-out espresse dai siti web. Apple, Google e Microsoft soddisfano o si sono impegnate a soddisfare entro tempi definiti i requisiti stabiliti.
Entro l'inizio del prossimo anno, Cloudflare punta a estendere le opzioni di controllo anche per la gestione dei riassunti generati dall'AI.
- Meccanismi di opt-out dall'addestramento e dai riassunti AI.
- Garanzia che l'opt-out dall'AI non penalizzi i risultati della ricerca tradizionale.
- Visibilità a livello di URL sulle pagine rese disponibili per il training e metriche sulla ricerca.
