Naar de inhoud

Libre Demat

Actualiteit

Ontdek hoe je eenvoudig toegang krijgt tot de lijst met pagina’s van Net Work

De XML-sitemap blijft de meest betrouwbare manier om een volledig overzicht van de gepubliceerde URL's op een site te krijgen. Op Net Work, dit bestand…

Femme professionnelle naviguant sur la liste des pages d'un site web professionnel sur un ordinateur portable au bureau

De XML-sitemap blijft de meest betrouwbare manier om een uitgebreid overzicht van de gepubliceerde URL’s op een site te krijgen. Op Net Work is dit bestand toegankelijk op een gestandaardiseerd adres, maar het gebruik ervan gaat verder dan alleen het bekijken in een browser.

XML-sitemap en robots.txt: twee complementaire bestanden om Net Work in kaart te brengen

Een XML-sitemap bevat de URL’s die een uitgever door zoekmachines wil laten verkennen. Het garandeert noch indexering noch positionering, maar biedt een gestructureerde inventaris.

Het bestand robots.txt, omkaderd door RFC 9309 (gepubliceerd in september 2022 door de IETF) formaliseert het Robots Exclusion Protocol. De richtlijn Sitemap: die erin wordt opgenomen, is een aanvullende conventie, die breed wordt ondersteund door Google en Bing, maar maakt geen deel uit van de kern van deze RFC. Met andere woorden, het verklaren van de sitemap in robots.txt helpt samenwerkende crawlers om deze te lokaliseren, zonder een toegang controlemechanisme te vormen.

Om direct toegang te krijgen tot de lijst met pagina’s van Net Work, hoeft u alleen maar het pad /sitemap/ aan het hoofddomein toe te voegen. Afhankelijk van de configuratie van het CMS, verwijst dit toegangspunt ofwel naar een uniek XML-bestand, ofwel naar een index van sitemaps verdeeld op basis van type inhoud (artikelen, pagina’s, categorieën).

Wat de sitemap niet toont

De URL’s die zijn geblokkeerd door een Disallow-richtlijn in robots.txt of gemarkeerd zijn met noindex, verschijnen doorgaans niet in de sitemap. Wees voorzichtig met pagina’s zonder interne links, dat wil zeggen pagina’s die geen interne link ontvangen, omdat deze ook afwezig kunnen zijn als de sitemap-generator uitsluitend op de interne linkstructuur vertrouwt.

Wij raden aan om de sitemap te combineren met een volledige crawl van de site om deze afwijkingen te detecteren. Een SEO-spider tool doorloopt de structuur van de werkelijke links en onthult de URL’s die de sitemap negeert.

Man die thuiswerkt en de volledige lijst van pagina's van een professioneel netwerk op een groot bureau scherm bekijkt

Lastmod-tag en Google-ping: wat er is veranderd sinds 2023

Google heeft de sitemap-ping via HTTP afgebroken. Het oude notificatie-eindpunt heeft geen effect meer. De aanbevolen methode is nu om de sitemap in Google Search Console te verklaren en vervolgens een exact lastmod-veld in elke XML-invoer in te vullen.

De veelvoorkomende val: het regenereren van de sitemap werkt de lastmod-datum van alle URL’s bij, zelfs van die waarvan de inhoud niet is veranderd. Google verwacht een datum die overeenkomt met een significante wijziging van de inhoud, niet met de eenvoudige reconstructie van het bestand. Een lastmod die systematisch opnieuw wordt ingesteld, wordt uiteindelijk genegeerd door de crawler.

IndexNow als aanvulling, niet als vervanging

Het IndexNow-protocol maakt het mogelijk om snel aan Bing en deelnemende zoekmachines te melden dat een URL is gewijzigd. We zien een terugkerende verwarring: IndexNow garandeert noch verkenning noch indexering van de gemelde pagina. Het versnelt de potentiële opname, zonder de verklaring van de sitemap in webmastertools te vervangen.

Voor een site zoals Net Work dekt het combineren van de indiening van de sitemap in Search Console, de Sitemap:-richtlijn in robots.txt en de integratie van IndexNow de drie belangrijkste ontdekkingskanalen.

De lijst met pagina’s van Net Work gebruiken voor een interne linkaudit

Het bekijken van de sitemap in een browser toont een ruw XML-bestand, dat moeilijk leesbaar is. Verschillende benaderingen maken de analyse bruikbaar.

  • Importeer de sitemap in een spreadsheet (Google Sheets, Excel) via de XML-importfunctie om de URL’s te filteren op directory, datum van laatste wijziging of opgegeven updatefrequentie.
  • Laad de URL van de sitemap in een speciale SEO-crawler, die de vermelde pagina’s vergelijkt met die welke daadwerkelijk zijn ontdekt tijdens de crawl, en meldt de weespagina’s of omleidingen.
  • Gebruik de zoekoperator site:net-work.fr in Google om het aantal geïndexeerde resultaten te vergelijken met het aantal URL’s in de sitemap, en om een mogelijke indexeringsafwijking te identificeren.

Het verschil tussen vermelde pagina’s en geïndexeerde pagina’s is een directe indicator van de technische gezondheid van de site. Een sitemap die URL’s met een 404-fout of een 301-omleiding bevat, geeft een negatief signaal aan de crawlers.

Twee collega's die samen de lijst van pagina's van een professioneel netwerk op een tablet in een coworking-ruimte bekijken

Opruimen van de sitemap: de in te trekken invoeren

Wij raden aan om de URL’s die een andere HTTP-code dan 200 retourneren uit de sitemap te verwijderen. Gepagineerde pagina’s zonder eigen inhoud, lege tagarchieven en URL’s met trackingparameters hebben geen plaats in dit bestand.

Een schone sitemap, beperkt tot canonieke en actuele pagina’s, verbetert het crawlbudget dat door de zoekmachines wordt toegewezen. Op een gemiddelde site zoals Net Work blijft deze impact bescheiden, maar een sitemap zonder ruis vergemakkelijkt de diagnose tijdens een technische audit.

Robots.txt en AI-crawlers: een onderscheid dat niet over het hoofd mag worden gezien

RFC 9309 verduidelijkt dat robots.txt een verzoek is aan samenwerkende robots. Een niet-samenwerkende crawler, met name bepaalde bots voor het trainen van taalmodellen, kan deze richtlijnen zonder technische gevolgen negeren. Het bestand beschermt dus geen lijst van vertrouwelijke pagina’s.

Voor uitgevers die de toegang van GPTBot of andere AI-agenten willen controleren, blijft de enige betrouwbare aanpak het combineren van de Disallow-richtlijn in robots.txt met server-side authenticatiemechanismen. De sitemap blootlegt de volledige structuur van de site: elke URL die daarin staat, is per definitie bedoeld om ontdekt te worden.

Voordat u een sitemap publiceert, raden wij aan om te controleren of deze geen URL’s voor administratie, stagingpagina’s of interne bronnen bevat. Deze eenvoudige reflex voorkomt dat u een gedetailleerd overzicht van de site aan ongewenste agenten aanbiedt.

Toegang krijgen tot de lijst met pagina’s van een site via de XML-sitemap beperkt zich niet tot het openen van een URL. Het bestand wordt een audittool wanneer het wordt gecombineerd met een crawl, wanneer de consistentie van de lastmod wordt gecontroleerd en wanneer verouderde invoeren worden opgeruimd. Op Net Work blijft deze aanpak toegankelijk zonder geavanceerde technische vaardigheden, op voorwaarde dat men weet waar men in het bestand naar moet zoeken.

Ontdek hoe je eenvoudig toegang krijgt tot de lijst met pagina’s van Net Work