La sitemap XML rimane il modo più affidabile per ottenere una vista esaustiva degli URL pubblicati su un sito. Su Net Work, questo file è accessibile a un indirizzo standardizzato, ma il suo utilizzo va oltre la semplice consultazione in un browser.
Sitemap XML e robots.txt: due file complementari per mappare Net Work
Una sitemap XML elenca gli URL che un editore desidera vedere esplorati dai motori di ricerca. Non garantisce né l’indicizzazione né il posizionamento, ma fornisce un inventario strutturato.
Il file robots.txt inquadrato dalla RFC 9309 (pubblicata a settembre 2022 dall’IETF) formalizza il Robots Exclusion Protocol. La direttiva Sitemap: che vi si inserisce è una convenzione complementare, ampiamente supportata da Google e Bing, ma non fa parte del cuore di questa RFC. In altre parole, dichiarare la sitemap in robots.txt aiuta i crawler cooperativi a localizzarla, senza costituire un meccanismo di controllo degli accessi.
Per accedere direttamente a l’elenco delle pagine di Net Work, basta aggiungere il percorso /sitemap/ al dominio principale. A seconda della configurazione del CMS, questo punto di accesso restituisce un file XML unico o un indice di sitemap suddivisi per tipo di contenuto (articoli, pagine, categorie).
Ciò che la sitemap non mostra
Gli URL bloccati da una direttiva Disallow in robots.txt o contrassegnati noindex generalmente non appaiono nella sitemap. Le pagine orfane, cioè quelle che non ricevono alcun link interno, possono essere assenti se il generatore di sitemap si basa esclusivamente sul collegamento interno.
Raccomandiamo di incrociare la sitemap con una scansione completa del sito per rilevare queste discrepanze. Uno strumento di spider SEO percorre la struttura dei link reali e rivela gli URL che la sitemap ignora.

Balise lastmod e ping Google: cosa è cambiato dal 2023
Google ha deprecato il ping della sitemap tramite HTTP. Il precedente endpoint di notifica non ha più effetto. Il metodo raccomandato consiste ora nel dichiarare la sitemap in Google Search Console, quindi fornire un campo lastmod esatto in ogni voce XML.
Il trucco comune: rigenerare la sitemap aggiorna la data lastmod di tutti gli URL, anche di quelli il cui contenuto non è cambiato. Google si aspetta una data corrispondente a una modifica significativa del contenuto, non alla semplice ricostruzione del file. Un lastmod sistematicamente ripristinato finisce per essere ignorato dal crawler.
IndexNow come complemento, non come sostituto
Il protocollo IndexNow consente di segnalare rapidamente a Bing e ai motori partecipanti che un URL è stato modificato. Osserviamo una confusione ricorrente: IndexNow non garantisce né l’esplorazione né l’indicizzazione della pagina notificata. Accelera la potenziale considerazione, senza sostituire la dichiarazione della sitemap negli strumenti webmaster.
Per un sito come Net Work, combinare la sottomissione della sitemap in Search Console, la direttiva Sitemap: in robots.txt e l’integrazione di IndexNow copre i tre principali canali di scoperta.
Sfruttare l’elenco delle pagine di Net Work per un audit del collegamento interno
Consultare la sitemap in un browser visualizza un file XML grezzo, difficilmente leggibile. Diverse approcci rendono l’analisi sfruttabile.
- Importare la sitemap in un foglio di calcolo (Google Sheets, Excel) tramite la funzione di importazione XML per filtrare gli URL per directory, data di ultima modifica o frequenza di aggiornamento dichiarata.
- Caricare l’URL della sitemap in un crawler SEO dedicato, che confronta le pagine elencate con quelle effettivamente scoperte dalla scansione e segnala le orfane o le redirezioni.
- Utilizzare l’operatore di ricerca
site:net-work.frin Google per confrontare il numero di risultati indicizzati con il numero di URL presenti nella sitemap e individuare un eventuale divario di indicizzazione.
Il divario tra pagine elencate e pagine indicizzate costituisce un indicatore diretto della salute tecnica del sito. Una sitemap contenente URL con errore 404 o in redirezione 301 invia un segnale negativo ai robot di esplorazione.

Pulizia della sitemap: le voci da rimuovere
Raccomandiamo di rimuovere dalla sitemap gli URL che restituiscono un codice HTTP diverso da 200. Le pagine paginate senza contenuto proprio, gli archivi di tag vuoti e gli URL con parametri di tracciamento non hanno posto in questo file.
Una sitemap pulita, limitata alle pagine canoniche e aggiornata, migliora il budget di scansione allocato dai motori. Su un sito di dimensioni medie come Net Work, questo impatto rimane modesto, ma una sitemap senza rumore facilita la diagnosi durante un audit tecnico.
Robots.txt e crawler IA: una distinzione da non trascurare
La RFC 9309 precisa che robots.txt costituisce una richiesta indirizzata ai robot cooperativi. Un crawler non cooperativo, in particolare alcuni bot di addestramento di modelli di linguaggio, può ignorare queste direttive senza conseguenze tecniche. Il file non protegge quindi un elenco di pagine riservate.
Per gli editori che desiderano controllare l’accesso di GPTBot o di altri agenti IA, l’unico approccio affidabile rimane quello di combinare la direttiva Disallow in robots.txt con meccanismi di autenticazione lato server. La sitemap espone la struttura completa del sito: ogni URL che vi figura è per definizione destinato a essere scoperto.
Prima di pubblicare una sitemap, raccomandiamo di verificare che non contenga URL di amministrazione, pagine di staging o risorse interne. Questo semplice riflesso evita di offrire una mappa dettagliata del sito a agenti indesiderati.
Accedere all’elenco delle pagine di un sito tramite la sua sitemap XML non si limita ad aprire un URL. Il file diventa uno strumento di audit quando lo si incrocia con una scansione, si monitora la coerenza del lastmod e si puliscono le voci obsolete. Su Net Work, questo approccio rimane accessibile senza competenze tecniche avanzate, a condizione di sapere cosa cercare nel file.



