In breve: ogni servizio AI usa crawler diversi con compiti diversi. OpenAI ne ha tre: OAI-SearchBot per la ricerca in ChatGPT, GPTBot per l’addestramento dei modelli, ChatGPT-User per le richieste degli utenti. Con il robots.txt puoi decidere bot per bot. Bloccare l’addestramento non ti toglie dalla ricerca, e per comparire non servono file o markup speciali.
Un crawler è un programma che visita le pagine web e si presenta al server con un nome, lo user agent. Molte aziende AI oggi separano le funzioni: un bot raccoglie testi per addestrare i modelli, un altro indicizza per la ricerca, un terzo apre una pagina solo quando un utente lo chiede. Per te conta, perché puoi accettare una funzione e rifiutarne un’altra. Le informazioni che seguono sono verificate sulle documentazioni ufficiali il 22/10/2026 e vanno ricontrollate ogni trimestre.
OAI-SearchBot, GPTBot e ChatGPT-User: che differenza c’è?
OpenAI documenta tre user agent distinti. OAI-SearchBot serve a far comparire i siti nei risultati delle funzioni di ricerca di ChatGPT. GPTBot raccoglie contenuti che possono essere usati per addestrare i modelli di AI generativa. ChatGPT-User entra in azione quando un utente di ChatGPT o di un GPT personalizzato chiede di aprire una pagina: non scansiona il web in automatico.
Secondo OpenAI ogni impostazione è indipendente dalle altre. Puoi quindi bloccare GPTBot e lasciare libero OAI-SearchBot. OpenAI indica anche che, dopo una modifica al robots.txt, possono servire circa 24 ore perché la ricerca la recepisca.
Su ChatGPT-User c’è un dettaglio da conoscere: dato che l’azione parte da un utente, le regole del robots.txt possono non applicarsi. OpenAI precisa che questo agente non serve a decidere se un contenuto può comparire nella ricerca.
Gli altri servizi seguono una logica simile:
| User agent | Servizio | A cosa serve | Cosa succede se lo blocchi |
|---|---|---|---|
| OAI-SearchBot | OpenAI | Ricerca in ChatGPT | Il sito può non comparire nei risultati di ricerca di ChatGPT |
| GPTBot | OpenAI | Addestramento dei modelli | Segnali che i contenuti non vanno usati per l’addestramento; la ricerca non cambia |
| ChatGPT-User | OpenAI | Pagine aperte su richiesta di un utente | Il robots.txt può non applicarsi |
| PerplexityBot | Perplexity | Mostrare e linkare i siti nei risultati di Perplexity; non usato per addestrare modelli di base | Il sito può non comparire nei risultati di Perplexity |
| ClaudeBot | Anthropic | Raccolta di contenuti per l’addestramento | I contenuti futuri vengono esclusi dall’addestramento |
| Claude-SearchBot e Claude-User | Anthropic | Indicizzazione per la ricerca e pagine aperte su richiesta degli utenti | Può ridursi la visibilità nelle risposte di ricerca di Claude |
| Google-Extended | Token di controllo per addestramento e grounding di Gemini e Vertex AI; non è un crawler separato | Nessun effetto su inclusione e ranking in Google Search | |
| Applebot-Extended | Apple | Decide se i dati raccolti da Applebot possono addestrare i modelli di Apple; non scansiona pagine | Il sito resta reperibile in Spotlight, Siri e Safari |
| CCBot | Common Crawl | Archivio aperto di dati del web, consultabile da chiunque | Chiedi a Common Crawl di non includere il sito nelle sue scansioni |
| meta-externalagent | Meta | Addestramento di modelli AI e indicizzazione per i prodotti Meta | Chiedi a Meta di non scansionare il sito per questi usi |
Perplexity-User e meta-externalfetcher, gli agenti legati alle richieste degli utenti, possono ignorare il robots.txt secondo le rispettive documentazioni.
Bloccare GPTBot toglie il sito da ChatGPT?
No, non dalla ricerca. GPTBot riguarda l’addestramento, mentre la presenza nei risultati di ricerca di ChatGPT dipende da OAI-SearchBot. Se il tuo obiettivo è non contribuire all’addestramento ma restare trovabile, la configurazione corretta è bloccare GPTBot e lasciare libero OAI-SearchBot.
Lo stesso schema vale per Anthropic: ClaudeBot per l’addestramento, Claude-SearchBot per la ricerca. Prima di bloccare un bot, leggi a cosa serve: il nome da solo non basta.
Cosa cambia con Google-Extended?
Google-Extended non è un crawler. È un token che scrivi nel robots.txt per decidere se i contenuti già scansionati da Google possono servire ad addestrare i modelli Gemini e a fare grounding in Gemini Apps e Vertex AI. Google dichiara che Google-Extended non incide sull’inclusione del sito in Google Search e non è un segnale di ranking.
E le AI Overviews e AI Mode? Sono funzioni della Ricerca. Google spiega che il controllo sulla scansione passa dalle regole per Googlebot, mentre per limitare cosa viene mostrato delle tue pagine si usano nosnippet, data-nosnippet, max-snippet o noindex. Bloccare Google-Extended, quindi, non ti toglie dalle AI Overviews; bloccare Googlebot ti toglie dalla Ricerca intera.
Serve llms.txt?
llms.txt è una proposta di Jeremy Howard, pubblicata nel settembre 2024: un file in Markdown che dà agli agenti AI una mappa ragionata del sito. Il sito del progetto lo presenta come proposta aperta ai contributi della comunità, non come standard di un ente.
Per Google la risposta è chiara. La guida «AI features and your website» dice che non servono nuovi file leggibili dalle macchine, file di testo per l’AI o markup per comparire nelle funzioni AI della Ricerca. Non serve nemmeno uno schema.org speciale: basta che la pagina sia indicizzata e idonea a mostrare uno snippet.
Sul nostro sito abbiamo pubblicato /llms.txt e /llms-full.txt come sintesi ordinata dei servizi, sapendo che non è un requisito e non garantisce citazioni. La priorità resta un sito leggibile, con contenuti chiari e ben strutturati, come spieghiamo nell’articolo su come la struttura dei contenuti incide sul posizionamento.
Cosa può e non può fare il robots.txt?
Il robots.txt dice ai crawler quali URL possono visitare. Serve soprattutto a gestire il traffico dei bot. Ecco le regole principali dalla documentazione Google:
- Il file sta nella radice dell’host, per esempio https://www.tuosito.it/robots.txt. Ogni sottodominio ne ha bisogno di uno proprio.
- Google legge fino a 500 KiB; il contenuto oltre il limite viene ignorato.
- Per ogni crawler vale il gruppo con lo user agent più specifico. Se scrivi un gruppo per GPTBot, GPTBot ignora le regole sotto «User-agent: *».
- Google di norma tiene in cache il file fino a 24 ore.
- Se il file risponde con un errore 4xx (tranne il 429), Google lo tratta come assente e non applica restrizioni. Con un errore 5xx, nelle prime 12 ore sospende la scansione del sito.
- Google non supporta crawl-delay. Anthropic invece lo supporta per i propri bot.
Due limiti da tenere presenti. Il robots.txt non serve a tenere una pagina fuori da Google: un URL bloccato può comparire nei risultati senza descrizione. Per escluderla usa noindex o una password. Non tutti i crawler rispettano le regole. E non sostituire il robots.txt con il blocco degli indirizzi IP: Anthropic avverte che può non funzionare in modo affidabile.
Ecco un esempio commentato per chi vuole restare nella ricerca AI ma non contribuire all’addestramento. È un esempio, non la configurazione consigliata per ogni sito:
# Tutti i crawler possono visitare il sito
User-agent: *
Disallow:
# No all'addestramento dei modelli OpenAI
User-agent: GPTBot
Disallow: /
# No all'addestramento dei modelli Anthropic
User-agent: ClaudeBot
Disallow: /
# No all'uso dei contenuti per Gemini e Vertex AI
# (non cambia nulla in Google Search)
User-agent: Google-Extended
Disallow: /
Sitemap: https://www.tuosito.it/sitemap.xmlOAI-SearchBot, PerplexityBot e Claude-SearchBot non hanno un gruppo dedicato, quindi seguono la regola generale e restano liberi.
Come verifico che il robots.txt funzioni?
Un firewall o un CDN possono rispondere con un errore a un bot anche se il robots.txt lo ammette. Cloudflare, per esempio, ha un’impostazione separata dal file che blocca i bot verificati classificati come crawler di addestramento AI. Controlla quindi quattro punti:
- Il file. Apri tuosito.it/robots.txt e controlla che risponda con codice 200 e che i gruppi siano quelli che vuoi.
- Search Console. Il report sui file robots.txt mostra quali file Google ha trovato per i 20 host principali del sito, quando li ha controllati ed eventuali errori o avvisi. In caso di emergenza puoi chiederne una nuova scansione.
- La risposta del server. Fai una richiesta a una tua pagina simulando lo user agent di ciascun bot e controlla il codice di stato. Un 403 o una pagina di verifica indicano un blocco a monte del robots.txt.
- Le impostazioni del CDN. Controlla le regole sui bot del tuo CDN o del firewall dell’hosting e confrontale con la tua decisione.
Cosa abbiamo deciso sul sito di Studio Futuroma?
Abbiamo scelto di ammettere tutti i crawler AI. Il nostro robots.txt non ha restrizioni: un solo gruppo «User-agent: *» con «Disallow:» vuoto e il link alla sitemap. Il 22/10/2026 abbiamo verificato la risposta del server per GPTBot, OAI-SearchBot, ChatGPT-User, PerplexityBot, ClaudeBot, Claude-User, Google-Extended, Applebot-Extended, CCBot, meta-externalagent e Bingbot: tutti ricevono HTTP 200.
Pubblichiamo anche /llms.txt e /llms-full.txt. È una scelta coerente con il nostro lavoro: un’agenzia che si occupa di ottimizzazione per i motori di risposta AI vuole che i propri contenuti siano leggibili dal maggior numero di sistemi. Non è una scelta valida per tutti. Un editore o chi vende contenuti originali può avere buone ragioni per escludere l’addestramento. La decisione va presa sapendo cosa fa ogni bot, e va rivista quando le documentazioni cambiano.
Se vuoi capire come la SEO tradizionale e l’ottimizzazione per l’AI lavorano insieme, trovi un confronto nella pagina su SEO e GEO. Per la configurazione di robots.txt, sitemap e risposte del server sul tuo sito, vedi il servizio di SEO tecnica.
Domande frequenti
Se blocco tutti i bot AI, il mio sito sparisce da Google?
No, se non blocchi Googlebot. I bot AI di altre aziende non influiscono sulla Ricerca Google. Le AI Overviews e AI Mode seguono le regole di Googlebot, non quelle di Google-Extended.
Ogni quanto i bot leggono le modifiche al robots.txt?
Google di norma tiene il file in cache fino a 24 ore. OpenAI indica circa 24 ore perché la ricerca di ChatGPT recepisca una modifica. Per gli altri servizi la documentazione non dà tempi precisi.
Ammettere i crawler AI garantisce di essere citati?
No. Ammettere un bot rende le pagine accessibili, ma nessun servizio promette citazioni. Contano la qualità e la chiarezza dei contenuti, e la decisione resta al sistema che genera la risposta.
Devo scrivere una regola per ogni bot?
Solo per i bot che vuoi trattare in modo diverso dalla regola generale. Ricorda che un gruppo dedicato sostituisce del tutto le regole di «User-agent: *» per quel bot.
llms.txt sostituisce la sitemap o il robots.txt?
No. La sitemap aiuta i motori a trovare le URL, il robots.txt regola l’accesso. llms.txt è una proposta di sintesi per gli agenti AI e Google non lo richiede.
Vuoi sapere cosa vedono davvero i crawler quando visitano le tue pagine? Lo controlliamo insieme a te nell’ambito dei servizi della nostra agenzia SEO, partendo da robots.txt, risposte del server e sitemap. Verifica come i crawler leggono il tuo sito.
Fonti
- OpenAI, Overview of OpenAI Crawlers, consultata il 22/10/2026
- Google Search Central, AI features and your website, consultata il 22/10/2026
- Google, Google’s common crawlers (Google-Extended), consultata il 22/10/2026
- Google Search Central, Robots.txt Introduction and Guide, consultata il 22/10/2026
- Google Search Central, How Google interprets the robots.txt specification, consultata il 22/10/2026
- Guida di Search Console, Report sui file robots.txt, consultata il 22/10/2026
- Perplexity, Perplexity Crawlers, consultata il 22/10/2026
- Anthropic, Does Anthropic crawl data from the web, and how can site owners block the crawler?, consultata il 22/10/2026
- Apple, About Applebot, consultata il 22/10/2026
- Common Crawl, CCBot, consultata il 22/10/2026
- Meta for Developers, Meta Web Crawlers, consultata il 22/10/2026
- llmstxt.org, The /llms.txt file, consultata il 22/10/2026
- Cloudflare Docs, Block AI Bots, consultata il 22/10/2026
