Verbeterde indexering en vindbaarheid met ODP sitemaps

Crawlen en indexeren

Google crawlt het internet (en ook jouw website). Dit proces kun je zien als een robotje (spider) die op alle linkjes klikt die hij tegenkomt op het internet. Elke pagina welke het robotje tegenkomt, slaat hij op in een index. Een index is een soort inhoudsopgave van het hele internet. Nu heeft Google een overzicht van alle pagina's die er bestaan. Op deze manier ontdekt Google zelf automatisch alle pagina's die er bestaan op het hele internet (dit is uiteraard een heel simplistische uitleg van crawlen en indexeren, maar voor nu even goed genoeg 😉).

Je kunt Google helpen met het crawlen en het opbouwen van de index. Dat doe je door een sitemap van je website aan te leveren. Die sitemap bevat alle pagina's van jouw website. Zo hoeft Google niet zelf je hele website te scannen en alle linkjes te volgen. Hiermee kun je ook pagina's aanbieden die Google anders niet (of moeilijk) had gevonden. Je bent dus een stuk completer.

Indexering van locaties, evenementen, routes en arrangementen

Voor contentpagina's op de website bieden we al langere tijd een sitemap aan, maar voor detailpagina's uit het Open Data Platform (ODP) gebeurde dit nog niet. Deze werden puur geïndexeerd doordat ze via linkjes gecrawled konden worden door de crawler. Dit is gewijzigd. Nu worden er ook automatisch sitemaps gegenereerd voor alle locaties, alle evenementen, alle routes en alle arrangementen.

Zo werkt de sitemap.xml

Een sitemap.xml is niets meer dan een inhoudsopgave van alle pagina's van jouw website. We maken sitemaps per "type content" en per taal. Je krijgt dus een speciale sitemap voor alle locaties, een voor events, enz.

Maar hoe weet Google nu van het bestaan van deze sitemaps? Dat vertellen we Google in een robots.txt bestand.

Een robots.txt is een bestandje dat op een vaste plaats staat van elke website, zodat Google hem kan vinden (zelfs Google heeft een robots.txt). Hierin vind je een overzicht van alle sitemaps die voor jouw website beschikbaar zijn (bijv: https://www.waterlandvanfriesland.nl/robots.txt). Bekijk jouw eigen robots.txt maar eens:

https://www.jouwwebsite.nl/robots.txt

Je zult dan iets soortgelijks zien:

Je ziet hier de url van jouw website en per taal en "type content" een xml-bestand. Dit xml-bestand is een overzicht van alle url's die Google mag crawlen.

De event.xml bij de Nederlandse taal bevat een inhoudsopgave van alle evenementen-pagina's. Er zijn waarschijnlijk honderden evenementen die je wilt aanmelden bij Google, maar er mogen maar een maximaal aantal links in één sitemap vermeld worden. Dit is de reden waarom het event.xml bestand een overzicht bevat van alle pagina's die individuele evenementen bevatten.

Als je vervolgens weer een laagje dieper gaat (bijv: naar https://www.waterlandvanfriesland.nl/nl/sitemap/event/page-1.xml), dan krijg je links naar alle individuele evenementen op jouw website.

Deze evenementen worden automatisch aangeboden bij Google. Zodra je in het Open Data Platform een evenement aanpast, zal de datum van de wijziging ook aangepast worden in de sitemap. Zodra Google de sitemap weer eens bekijkt, zal hij alleen de wijzigingen sinds de laatste keer opnieuw crawlen en indexeren.

Het resultaat van ODP sitemaps

Sinds de implementatie van de ODP sitemaps worden de locatie-, evenement-, route- en arrangement-pagina's beter geïndexeerd in Google. Er worden flink meer pagina's opgenomen in de index van Google.

Je bent niet meer afhankelijk van de Google crawler die alle linkjes op je website moet volgen, maar je levert zelf alle url's van je website aan bij Google die ze mogen indexeren.

ODP sitemaps zijn direct beschikbaar voor jou

We hebben de sitemaps automatisch voor je toegevoegd, dus we vertellen Google automatisch alles over al jouw locaties, evenementen, routes en deals. Deze nieuwe functionaliteiten zijn beschikbaar vanaf versie 2.48 van het cms. Zo hoef jij je alleen nog maar druk te maken over goede content, en het vullen van de juiste SEO informatie.

Heb je vragen? Stel ze gerust via support@insiders.nl