Uitgebreide gids: hoe maak je een sitemap?

Robots van zoekmachines verkennen je website normaliter door links te volgen. Het probleem hierbij is dat crawlers sommige pagina’s op deze manier nooit zullen bereiken: ofwel omdat je website te groot is, ofwel omdat er geen links naar deze pagina’s verwijzen. Om deze reden bestaan er sitemaps.

In deze uitgebreide gids verkennen we de voordelen van een XML-sitemap voor een website, bespreken we verschillende soorten sitemaps en leren we je hoe je een goede sitemap maakt. Vergeet ook de bonus aan het einde niet, een infographic die de tips voor het maken van sitemaps uit dit artikel samenvat.

Wat is een sitemap?

Een sitemap is een bestand met alle URL’s van een website. Dit maakt het voor crawlers en gebruikers gemakkelijker om over de website te navigeren.

Zoekmachines gebruiken sitemaps om te voorkomen dat belangrijke content onopgemerkt blijft. Sitemaps leiden zoekmachine crawlers naar delen van de website die ze mogelijk niet eerder hebben bezocht, en helpen zoekmachines zo efficiënter te navigeren en content op de website te indexeren.

Sitemaps vertellen zoekmachines daarbij welke pagina’s en bestanden op je website je het belangrijkst vindt. Ook bieden ze aanvullende metadata over pagina’s, zoals de datum van de laatste wijziging en de frequentie van wijzigingen.

Heeft je website een sitemap nodig?

Volgens Google kan een sitemap maken in de volgende situaties nodig zijn:

• Je hebt een grote website: het beheren van interne links op een grote website kan uitdagend zijn. Googlebot zal sommige van je nieuwe pagina’s daarbij minder snel ontdekken. Een XML-sitemap maken kan dit probleem verhelpen door Google te helpen bij het ontdekken van content.
• Je website is nieuw en heeft geen backlinks: webcrawlers vertrouwen tijdens het crawlen en verkennen van nieuwe pagina’s op de links vanaf andere websites. Googlebot zal meer moeite hebben om deze pagina’s te vinden zonder externe links. Sitemaps helpen Google je content veel sneller te vinden.
• Je website publiceert relatief vaak nieuwsberichten: Google kan aanvullende informatie uit sitemaps halen bij het positioneren van content in de zoekmachine. Dat is vooral interessant als je website relatief veel nieuwsberichten bevat en daarmee mogelijk wordt vermeld in Google Nieuws.

Aan de andere kant is een sitemap niet altijd nodig bij kleinere websites met ongeveer 500 pagina’s of minder, die uitgebreide interne links en weinig mediabestanden of nieuwspagina’s bevatten. Het aanmaken van een sitemap kan weliswaar geen kwaad en is relatief eenvoudig, maar helpt hier mogelijk niet veel. De beslissing is aan jou.

Wat zijn de voordelen van een XML-sitemap?

Het is aan te raden om een ​​sitemap te maken als je een grote website hebt met veel mediabestanden, of als je een nieuw project start. De meeste SEO’ers zijn het erover eens dat een sitemap belangrijk is voor de indexering en rankings van een website. Laten we de voordelen eens nader bekijken:

Snellere indexering van pagina’s 

Het maken van XML-sitemaps helpt zoekmachines te begrijpen welke pagina’s geïndexeerd moeten worden. Door een URL in de sitemap op te nemen, vertel je Google dat deze pagina van waarde is. Dit helpt zoekmachines nieuwe pagina’s eerder te vinden, wat resulteert in een sneller indexeringsproces en daarmee een verbeterde zichtbaarheid van de website in de zoekresultaten.

Merk op dat Google ervoor kan kiezen je verzoek te negeren, daar alle pagina’s moeten voldoen aan de kwaliteitsnormen die Google stelt om überhaupt geïndexeerd te worden. 

Verbeterde indexatie van dieper gelegen pagina’s 

Sitemaps vormen de sleutel tot de indexatie van dieper gelegen pagina’s in de structuur van je website. Deze pagina’s bevinden zich op enkele klikken van de homepage en zijn daardoor minder makkelijk te vinden met reguliere navigatiemethoden op de website (je menu, verwijzing in een sidebar, etc.). 

Door deze dieper gelegen pagina’s in de sitemap op te nemen, weten zoekmachines dat ze bestaan ​​en zullen ze deze makkelijker vinden.

Sitemaps zijn vooral handig als je website een complexe structuur heeft, zoals pagina’s achter formulieren of pagina’s die alleen toegankelijk zijn via zoekfuncties.

Monitoring van geïndexeerde pagina’s

Hoewel de sitemap zelf niet direct bijdraagt ​​aan het monitoren van geïndexeerde pagina’s, biedt het een referentiepunt voor zoekmachines om de reeds geïndexeerde pagina’s te vergelijken met de pagina’s die in de sitemap staan.

Door de sitemap te combineren met Google Search Console, kun je achterhalen welke URL’s uit de sitemap geïndexeerd zijn.

Vergelijk je sitemap regelmatig met de daadwerkelijk geïndexeerde pagina’s om eventuele afwijkingen of ontbrekende pagina’s te identificeren. Als bepaalde pagina’s in de sitemap niet geïndexeerd zijn, kan dit wijzen op problemen met de indexering of het crawlen ervan, zoals technische fouten, richtlijnen die dit blokkeren of problemen met de kwaliteit van de content.

Laat regionale versies van je pagina’s indexeren 

Informeer Google over de regionale versies van je pagina’s, door deze in je sitemap te vermelden met speciale hreflang-attributen.

Dit is niet de enige methode om een ​​meertalige website goed te structureren; webmasters zijn echter van mening dat dit de gemakkelijkste manier is.

Verbeterde gebruikerservaring

Een goed gestructureerde visuele sitemap kan ook gebruikers helpen navigeren. Gebruikers bezoeken je sitemap als ze niet kunnen vinden wat ze zoeken in het hoofdmenu van je website. Ze kunnen de sitemap daarbij gebruiken om te zien over welke onderwerpen je content gepubliceerd hebt of welke producten je hen biedt. Het is daarom belangrijk om je HTML-sitemap gebruiksvriendelijk te houden. Organiseer pagina’s op categorie en gebruik beschrijvende ankers.

Volgens Google is het altijd nuttig om een ​​sitemap aan je website toe te voegen; je wordt er nooit voor gestraft.

Formats voor een sitemap 

Er zijn twee hoofdtypen sitemaps: HTML– en XML-sitemaps. Andere, minder vaak gebruikte sitemaps zijn .txt-, RSS-, mRSS- en Atom 1.0-sitemaps. Elk type dient een ander doel, waarbij XML-sitemaps cruciaal zijn voor SEO en de indexering van pagina’s, terwijl HTML-sitemaps de navigatie en toegankelijkheid voor gebruikers verbeteren.

Laten we deze eens nader bekijken.

HTML-sitemap

Een HTML-sitemap is een webpagina met een lijst met links die verwijzen naar de belangrijkste secties en pagina’s van een website. Hier zijn enkele mooie voorbeelden van goed ontworpen HTML-sitemaps: FedEx en Lufthansa.

Het overkoepelende doel van de HTML-sitemap is om mensen (geen robots) te helpen snel door de website te navigeren en een overzicht te bieden van de belangrijkste secties. Aan de andere kant, volgens John Mueller, hoef je geen HTML-sitemap te maken als je website al een duidelijke navigatiestructuur heeft. In plaats daarvan is het voldoende om de bestaande structuur van de website te verbeteren.

XML-sitemap

Een XML-sitemap is een XML-bestand, meestal sitemap.xml genaamd, dat zich in de hoofdmap van een website bevindt. Het specificeert links, de datum van de laatste wijzigingen aan pagina’s en andere parameters die relevant zijn voor zoekmachines. Omdat al deze parameters gemarkeerd zijn met speciale tags, lijken XML-bestanden op de HTML-code van een website:

Hoewel XML-sitemaps er misschien niet aantrekkelijk uitzien, zijn ze erg belangrijk voor SEO. Het maken van een XML-sitemap geeft crawlers een volledig inzicht in de structuur van je website, helpt ze nieuwe content gemakkelijk te vinden, enzovoorts. 

Naast de standaard XML-sitemap met URL’s van websites kun je met Google aangepaste sitemaps maken voor afbeeldingen en video’s, of bijvoorbeeld met nieuwsitems. Een XML-sitemap bevindt zich doorgaans in de hoofdmap: voorbeeld.nl/sitemap.xml

RSS-, mRSS- en Atom 1.0-sitemaps

CMS’en maken automatisch RSS-, mRSS- en Atom 1.0-sitemaps aan. Deze formats hebben een vergelijkbare structuur als de XML-sitemaps. 

.txt-sitemap

Een .txt-sitemap is een eenvoudige oplossing voor kleine websites. Je kunt een .txt-bestand maken en alle URL’s vermelden die Google moet crawlen. Als je website bijvoorbeeld slechts 10 pagina’s heeft, kun je deze steeds per regel aan een .txt-bestand toevoegen. Net als de XML-sitemap moet deze sitemap zich in de hoofdmap bevinden: voorbeeld.nl/sitemap.txt.

Andere soorten sitemaps 

Het gebruik van afzonderlijke sitemaps voor afbeeldingen, nieuws en video’s wordt aanbevolen. Elk van deze afwijkende sitemaps kan specifieke details bevatten, zoals de lengte van video’s, beoordelingen of de publicatiedatum van een afbeelding.

Een sitemap met afbeeldingen is specifiek ontworpen om zoekmachines informatie te bieden over de afbeeldingen op een website, die de zoekmachine anders misschien zou missen. Het gaat hierbij ook om de afbeeldingen die via JavaScript-code worden bereikt.

Met een video sitemap help je Google video’s op je website te vinden en te begrijpen. Dat is met name interessant voor nieuw toegevoegde video’s die mogelijk niet gemakkelijk door crawlers worden gevonden. Aan een video sitemap kun je details toevoegen zoals de videolengte, de beoordeling van gebruikers, een kijkwijzer en meer.

Volgens Google, hoef je geen video’s te vermelden die geen verband houden met de content van de pagina waarop deze gepubliceerd is. Video’s die bijvoorbeeld slechts dienen als kleine toevoeging aan of geen direct verband hebben met de hoofdtekst, zou je niet moeten opnemen in de sitemap. 

Daarbij is het belangrijk dat de bestanden waarnaar in de video sitemap wordt verwezen, niet worden geblokkeerd door robots.txt-regels. Ook mogen ze niet worden geblokkeerd door firewalls, door een autorisatie mechanisme of vergelijkbare blokkades. 

Sitemaps met nieuws 

Sitemaps met nieuwsberichten zijn interessant voor websites die regelmatig nieuwsartikelen publiceren. Ze bieden zoekmachines informatie over nieuwe artikelen, inclusief hun URL’s, de publicatiedatum, titels en andere belangrijke details, zoals in welke taal ze geschreven zijn.

Nieuws sitemaps helpen zoekmachines om tijdgevoelige content effectiever te identificeren en indexeren, wat de zichtbaarheid van een website in nieuwsgerelateerde zoekresultaten kan verbeteren.

Google moet nieuwsartikelen snel kunnen vinden. Sterker nog, alleen nieuwe artikelen die in de afgelopen twee dagen zijn gepubliceerd, mogen van Google worden opgenomen in nieuws sitemaps. Zo krijgen gebruikers van de zoekmachine alleen actuele informatie te zien. Eén nieuws sitemap mag daarbij maximaal 1.000 artikelen bevatten; oudere content moet worden verwijderd. De laatste – en waarschijnlijk de belangrijkste – voorwaarde is dat je website geregistreerd is bij Google Nieuws.

Hoe maak je een sitemap (XML)? 

Laten we eens kijken naar enkele van de meest voorkomende benaderingen voor het maken van een sitemap.

Webmasters kiezen doorgaans een van de onderstaande opties:

• Handmatig creëren van een sitemap
• Sitemap generators
• CMS plug-ins

Laten we de drie benaderingen eens bekijken.

CMS plug-ins

De eenvoudigste manier om een ​​XML-sitemap te genereren is via je CMS. Omdat CMS-platforms informatie opslaan over alle pagina’s van je website en eventuele aanpassingen die je maakt, kunnen ze deze data automatisch aan een dynamische sitemap toevoegen. Een Joomla- of bijvoorbeeld WordPress sitemap maken wordt zo heel eenvoudig. 

Sommige CMS-platforms hebben ingebouwde mogelijkheden voor het genereren van sitemaps. Dit is het geval voor Magento, Shopify, Wix en Squarespace. Voor andere populaire CMS-platforms zoals WordPress, Joomla, Drupal of OpenCart heb je speciale plug-ins nodig.

De bovenstaande tabel toont een lijst met de beste sitemap plug-ins voor CMS-platforms. Om de juiste plug-in voor jouw website te kiezen, is het belangrijk om te letten op de functies van de plug-in. Met SEO-vriendelijke plug-ins kun je bijvoorbeeld pagina’s zoals 404’s, redirects, noindex en niet-gecanoniseerde pagina’s uitsluiten van je XML-sitemap. Kijk ook naar de mogelijkheden om de sitemap aan te passen, zodat je eenvoudig in kunt stellen welke pagina’s in het bestand moeten worden opgenomen.

Sitemap generators

Als je website niet op basis van een CMS gebouwd is of als de beschikbare plug-ins binnen het CMS niet geschikt zijn, kun je specifieke sitemap tools gebruiken. Deze kunnen een XML-bestand met alle benodigde pagina’s voor je aanmaken. Dit is vaak zelfs eenvoudiger dan het installeren van een extra plug-in.

Er zijn zowel gratis als betaalde opties beschikbaar. Met een betaalde generator kun je een aanpasbare, dynamische sitemap genereren. De meeste gratis oplossingen zijn te basic en missen belangrijke functies. Vaak creëren gratis generators slechts een statische sitemap met alle pagina’s van de website, inclusief niet-gecanoniseerde URL’s, noindex-URL’s en redirect-URL’s. Iets wat je wilt voorkomen.

Als een betaalde oplossing en een plug-in binnen je CMS geen optie zijn, overweeg dan een ​​sitemap te maken met de Website Audit tool van SE Ranking. Deze tool genereert binnen enkele minuten een statische sitemap voor je website (op basis van de laatste crawl).

Standaard voegt de tool enkel 200 OK-pagina’s toe aan de XML-sitemap. Daar waar 4xx-, 3xx-, noindex- en andere pagina’s die je normaal gesproken wilt uitsluiten, juist worden weggelaten.

Zorg ervoor dat je crawl limieten hoog genoeg zijn bij het genereren van je XML-sitemap met de Website Audit tool van SE Ranking. Controleer of de crawl limiet alle pagina’s van je website beslaat om te voorkomen dat je belangrijke pagina’s in je sitemap mist.

Als geen van de kant-en-klare oplossingen voor je website werkt, kun je een aangepaste XML-sitemap maken. Omdat dit programmeervaardigheden vereist, is het de overweging waard om een ontwikkelaar in te huren die een ​​goede dynamische sitemap voor je website maakt.

Handmatig een sitemap maken

Als je geen grote website hebt, kun je zelf een sitemap maken. Open een teksteditor en maak een sitemap met behulp van XML-code. Dit is een voorbeeld van een eenvoudige XML-sitemap:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
 <url>
   <loc>https://www.example.com/url1/</loc>
   <lastmod>2024-11-20</lastmod>
 </url>
 <url>
   <loc>https://www.example.com/url2/</loc>
   <lastmod>2024-11-19</lastmod>
 </url>
 <url>
   <loc>https://www.example.com/url3</loc>
   <lastmod>2024-11-18</lastmod>
 </url>
</urlset>

Sitemaps.org, een handige bron die door Google wordt aanbevolen, geeft een overzicht van tags die je in je XML-bestand kunt gebruiken. Laten we elk tagtype eens bekijken. We bepalen welk doel de tag dient en hoe je deze correct gebruikt.

Verplichte tags:

• <urlset> is een verplicht element dat een sitemap inkapselt en aangeeft welke versie van de XML Sitemap protocol standaard wordt gebruikt (via het xmlns-attribuut). Een protocol standaard wordt ook wel namespace genoemd.
• <url> is een ander verplicht element dat een blok markeert met alle informatie over een enkele URL.
• <loc> is het verplichte laatste element dat de pagina-URL zelf toont. Alle vermelde URL’s moeten volledig gekwalificeerd zijn en het website protocol (HTTP of HTTPS) en www-prefix bevatten als dit in je domeinnaam is opgenomen.

Optionele tags:

• <lastmod> geeft aan wanneer de content op de pagina voor het laatst is bijgewerkt. Volgens Gary Illyes, analist bij Google, wordt dit gebruikt als een signaal voor crawlers om te bepalen hoe vaak pagina’s moeten worden gecrawld. Echter, zoals bleek uit het Google API-lek in 2024, kan het zijn dat Google de opgegeven waarden niet vertrouwt. Het betekent dat je de <lastmod>-tag alleen zou moeten bijwerken in het geval van grote wijzigingen.

Verouderde tags:

• <changefreq> definieert hoe vaak een pagina kan veranderen. Je kunt deze parameter instellen op altijd, elk uur, dagelijks, wekelijks, maandelijks, jaarlijks of nooit.
• <priority> stelt de prioriteit bij het crawlen van een pagina in (geldige waarden liggen tussen 0,0 en 1,0).

Volgens de laatste editie van Google’s gids voor het bouwen van sitemaps, bijgewerkt op 21 juni 2024, heeft Google aangegeven dat de bovengenoemde tags tegenwoordig worden genegeerd.

Google’s vereisten voor sitemaps

Om ervoor te zorgen dat je sitemap door Google geïndexeerd wordt, dien je het bestaande sitemap protocol te volgen.

Zorg allereerst voor het gebruik van dezelfde syntaxis bij het specificeren van een URL.

De XML-sitemaps moeten daarbij UTF-8-gecodeerd zijn en alle waarden (inclusief URL’s) moeten entity escaped zijn.

Nieuws-, afbeelding- en video sitemaps vereisen verschillende tags, zoals <news:news>. Alle andere tags die je in je afbeelding-/nieuws-/video sitemaps zou moeten gebruiken worden beschreven in deze documentatie:

Ten slotte kun je elke gewenste bestandsnaam gebruiken, zolang de gebruikte tekens toegestaan ​​zijn in URL’s. Houd er rekening mee dat er een bug is ontdekt, waarbij bestandsnamen met koppeltekens niet goed werken.

Je sitemaps beheren met een sitemap index-bestand

Zoekmachines hebben beperkte mogelijkheden om XML-sitemaps te crawlen. De maximale bestandsgrootte, ongecomprimeerd, mag 50 MB zijn. Daarbij mag het bestand niet meer dan 50.000 URL’s bevatten. Google heeft deze beperkingen opgelegd om te voorkomen dat webservers overbelast raken bij het laden van grote bestanden. Als je een grote website en daarmee een grote sitemap hebt, is het zaak om deze op te splitsen in meerdere kleinere bestanden. Van daaruit kun je een sitemap index-bestand maken met een lijst van deze kleinere sitemaps. Je verzendt het index-bestand vervolgens naar Google.

Zo pak je dit aan: 

1. Creëer meerdere aparte sitemaps en comprimeer deze bestanden met een tool als gzip, wat bandbreedte kan besparen. Gecomprimeerde bestanden hebben de extensie .gz, bijvoorbeeld sitemap.xml.gz.
2. Voeg alle afzonderlijke sitemaps toe aan het sitemap index-bestand, zoals in het onderstaande voorbeeld:

Het voorbeeld toont een sitemap index-bestand in XML-formaat. Het bevat twee sitemaps.

Raadpleeg de documentatie van Google voor meer informatie.

Zo bepaal je welke pagina’s je in een sitemap opneemt 

Dit gedeelte is belangrijk, lees het dus aandachtig!

Een veelvoorkomende misvatting is dat je alle pagina’s van een website in een XML-sitemap op moet nemen om Google te helpen deze te crawlen en indexeren. Google hoeft echter niet alle pagina’s op je website te zien. Zorg dat je Google enkel informeert over de pagina’s die volgens jou een hoge ranking verdienen. Dit zorgt ervoor dat Google alleen die pagina’s prioriteit geeft. Houd er rekening mee dat je sitemap een advies aan Google is; deze kan het wel of niet opvolgen. Hieronder vind je een lijst met pagina’s die je in je sitemap zou moeten opnemen.

Pagina’s die een 200 OK-code retourneren

Als vuistregel geldt dat alle pagina’s die je aan de lijst toevoegt 200 OK-pagina’s moeten zijn, gevuld met kwalitatief goede, gebruikersgerichte content. Sluit alle pagina’s uit die niet aan deze criteria voldoen.

Bekijk deze handleiding over HTTP-statuscodes eens. Het helpt je te begrijpen hoe de verschillende statuscodes werken.

Zorg dat je de volgende belangrijke 200 OK-pagina’s markeert, om deze in je sitemap op te nemen:

• Homepage 
• Pagina’s uit je hoofdmenu 
• Categoriepagina’s
• Subcategorieën
• Artikelen van je blog
• Interne pagina’s 
• Contactpagina’s
• Pagina’s met merkinformatie

Omdat deze pagina’s van groot belang zijn voor je rankings en het algehele succes van je bedrijf, is het zaak om ervoor te zorgen dat Google deze bekijkt en indexeert.

Pagina’s die je niet in de sitemap zou moeten opnemen

3XX pagina’s

Een 3XX response code geeft aan dat een pagina is doorgestuurd naar een nieuw adres. Dergelijke pagina’s horen niet in je XML-sitemap thuis.

Concentreer je in plaats daarvan op het opnemen van de bestemmings-URL’s van deze pagina’s in je sitemap, aangezien deze de content achter de redirect weergeven. Dit helpt zoekmachines de structuur van je website beter te begrijpen en je content correct te indexeren en te laten ranken.

4XX pagina’s 

4XX respons codes geven aan dat de gevraagde pagina niet bestaat of dat de toegang tot de pagina beperkt is. Sluit deze pagina’s uit van je sitemap.

404-pagina’s zijn verwijderde pagina’s. Als ze met opzet zijn verwijderd, zou je ze niet moeten opnemen in je XML-sitemap.

Zachte 404-pagina’s zijn eveneens niet geschikt voor SEO. Ze retourneren een succes status code 200, ondanks dat ze weinig of geen content bevatten, redirects naar de homepage vormen of 404-pagina’s bevatten die geblokkeerd zijn door robots.txt.

Je kunt een aangepaste 404-pagina maken voor een soepele gebruikerservaring.

Een andere populaire 4XX-statuscode is 401, wat aangeeft dat Google “niet geautoriseerd” is om de pagina te openen. Deze pagina’s zijn normaal gesproken bedoeld voor ingelogde gebruikers en zouden niet door Google geïndexeerd moeten worden. Dit betekent dat je ze niet in je sitemap hoeft op te nemen.

5XX pagina’s 

5XX statuscodes duiden op een probleem met je webserver. De meest voorkomende fout is de 503 Service Unavailable-fout, die aangeeft dat de server tijdelijk niet beschikbaar is. Dit kan gebeuren als de webserver in onderhoud of overbelast is.

Als de fout slechts één keer optreedt, is er geen reden tot bezorgdheid, aangezien dit waarschijnlijk te wijten is aan gepland onderhoud aan de webserver. Als het probleem echter aanhoudt, is het belangrijk om de onderliggende oorzaak te achterhalen en deze op te lossen. Doe je het niet, dan zou Google kunnen concluderen dat je website slecht wordt onderhouden.

Het toevoegen of verwijderen van 5XX-pagina’s aan je sitemap heeft geen zin. Concentreer je in plaats daarvan op het oplossen van het probleem om een ​​responscode van 200 OK te krijgen.

Je kunt deze pagina’s eenvoudig identificeren door het website audit rapport in SE Ranking te bekijken. Zodra je de controle gestart hebt, navigeer je naar de sectie Crawling & Indexing van het Issues Report.

Niet-indexeerbare pagina’s

Elke website heeft verschillende pagina’s die belangrijk zijn voor gebruikers, maar niet voor zoekmachines. Denk hierbij aan inlogpagina’s, pagina’s die alleen na inloggen beschikbaar zijn, pagina’s die volgen op het sorteren en filteren van data, enzovoorts. Het is gebruikelijk om deze pagina’s te blokkeren met het robots.txt-bestand, zodat Google er geen toegang toe heeft. Je kunt Google de pagina ook laten crawlen, maar de indexering ervan beperken met speciale richtlijnen (noindex of all).

Geen van deze pagina’s zou in je XML-sitemap moeten staan. Als een pagina niet geïndexeerd kan worden, maar wel in je sitemap staat, brengt dat Google in verwarring en verspilt het je crawl budget. Hetzelfde geldt voor pagina’s die geblokkeerd worden door robots.txt: Google crawlt ze niet.

Ook is het verstandig om je website periodiek te auditen om er zeker van te zijn dat de noindex-richtlijn en het robots.txt-bestand correct worden gebruikt en dat je niet per ongeluk de verkeerde pagina’s hebt geblokkeerd.

Om deze pagina’s te vinden, ga je naar de sectie Crawling & Indexing van het Issues Report van de SE Ranking.

Door op het aantal gevonden pagina’s te klikken, krijg je een volledige lijst met URL’s die als noindex zijn gemarkeerd of door robots.txt geblokkeerd worden. Ook andere belangrijke parameters worden getoond, zoals het aantal interne links dat naar de pagina verwijst, alle robots-metatags en x-robots-tags, en paginatitels. Je ziet ook direct of elke pagina momenteel in je XML-sitemap is opgenomen.

Ben je nog geen gebruiker van SE Ranking? Je kunt het platform gratis uitproberen met onze proefperiode van 14 dagen.

Niet-canonieke pagina’s

Een canonieke tag wordt gebruikt om aan te geven welke van twee of meer vergelijkbare pagina’s de primaire is. Google indexeert en rangschikt de opgegeven voorkeurspagina, waarbij het dubbele of bijna-dubbele pagina’s negeert. Vergelijkbare pagina’s die met canonieke tags als zodanig zijn gemarkeerd, kunnen volledig verschillende URL’s maar ook vergelijkbare URL’s hebben (bijvoorbeeld URL’s die zijn gegenereerd tijdens het sorteren en filteren, URL’s met UTM-tags en tracking parameters).

Soms worden canonieke tags ook gebruikt om ervoor te zorgen dat een pagina toegankelijk is via zowel HTTP als HTTPS, en met en zonder het www-voorvoegsel. In dit geval wordt de hoofdversie van de pagina (bijvoorbeeld de HTTPS-variant zonder www) gemarkeerd met rel=canonical. De meeste websites geven echter de voorkeur aan server-side redirects. Dit komt doordat deze eenvoudiger in te stellen zijn en garanderen dat alleen de gewenste variant van een website geïndexeerd wordt.

Canonieke tags werken anders dan redirects en lijken meer op aanbevelingen dan op richtlijnen. Google kan ze volgen of negeren. Daarom kunnen niet-canonieke URL’s in je sitemap verwarrend zijn voor zoekmachines. Als de pagina niet als canoniek is gemarkeerd, gaat Google ervan uit dat je niet wilt dat deze geïndexeerd wordt. Tegelijkertijd moedigt het toevoegen van de pagina aan je XML-sitemap Google aan om de pagina te indexeren. Dit zorgt ervoor dat Google alle versies van een pagina indexeert, wat leidt tot zoekwoord kannibalisatie.

Bekijk onze gids over zoekwoord kannibalisatie om te ontdekken hoe dit de prestaties van je website schaadt. Ook biedt het artikel tips en trucs om het te detecteren en te voorkomen.

Een zoekmachine kan ook de niet-canonieke URL indexeren, wat nog eens benadrukt waarom het belangrijk is om helder te maken welke pagina de belangrijkste is.

Statische vs. dynamische sitemaps

Je vraagt ​​je inmiddels misschien af ​​hoeveel tijd je zou moeten besteden aan het bijwerken van je sitemap wanneer je een nieuwe pagina publiceert of een bestaande pagina vernieuwt. Het up-to-date houden van je XML-sitemap kan lastig zijn als je een statische sitemap maakt. Het goede nieuws is dat je het jezelf makkelijker maakt met een dynamische sitemap.

Dynamische sitemaps worden automatisch bijgewerkt wanneer je wijzigingen aanbrengt op je website. Wanneer je bijvoorbeeld een pagina verwijdert en deze een 404-fout toont, wordt de pagina uit de sitemap verwijderd. Als je een pagina markeert als noindex of toevoegt aan het robots.txt-bestand, wordt deze eveneens uit de sitemap verwijderd. Wanneer je daarentegen een nieuwe pagina aanmaakt en deze markeert als canoniek, wordt deze direct toegevoegd aan je sitemap. Je hoeft de tool alleen maar correct in te stellen om ervoor te zorgen dat je sitemaps dynamisch gegenereerd worden.

De dynamische sitemap is een perfecte oplossing om je sitemap up-to-date te houden, omdat deze elke keer wordt aangemaakt wanneer een zoekmachine erom vraagt. Daar dit de server extra kan belasten, raden we het gebruik ervan voornamelijk aan voor grotere websites met frequente updates.

Combineren van sitemaps met afbeeldingen, video’s en nieuws

De content van je website kan soms verdeeld worden over meerdere categorieën, waarvan nieuwsartikelen met ingesloten afbeeldingen en video’s een voorbeeld is. In dit geval kun je sitemaps met afbeeldingen, video’s en nieuws combineren in één groot bestand. 

Zo pak je het aan: 

1. Voor elke sitemap die je in een gedeelde sitemap wilt gebruiken, specificeer je de bijbehorende namespace met de ondersteunde tags. Dit doe je met behulp van het xmlns-attribuut in de urlset-tag.
2. Om sitemaps te combineren, voeg je de tags van de gewenste sitemaps één voor één toe aan de juiste <url>-tag, zoals beschreven in de documentatie van elke sitemap.

Raadpleeg de documentatie van Google voor meer informatie.

Sitemap toevoegen aan het robots.txt-bestand

Een verwijzing naar je sitemap toevoegen aan je robots.txt-bestand is de veiligste en gemakkelijkste manier om zoekmachines te informeren over je sitemap. Het robots.txt-bestand staat meestal in de rootdirectory van je webserver. De onderstaande schermafbeelding laat zien hoe je de sitemap hieraan toevoegt.

Op deze manier zullen zoekmachines je website sneller verkennen en de structuur begrijpen. Het draagt bij aan het crawlen en indexeren van je pagina’s. 

Hoewel het openbaar maken van je sitemaps in het robots.txt-bestand handig is voor indexering, zijn ze hiermee voor iedereen gemakkelijk te vinden. Dit kan een probleem zijn als je jouw pagina’s en de structuur van je website liever niet openbaar wilt maken.

Voor meer informatie kun je onze uitgebreide gids over het maken van een robots.txt-bestand raadplegen.

Hoe je jouw sitemap bij Google indient

Afhankelijk van de tool die je gebruikt hebt om je sitemap te genereren, kan het noodzakelijk zijn om deze handmatig aan je website te toevoegen. In andere gevallen, bijvoorbeeld bij het gebruik van plug-ins binnen je CMS, is deze waarschijnlijk al aanwezig. Wanneer een XML-sitemap automatisch aan een website wordt toegevoegd, is deze normaal gesproken te vinden op voorbeeld.nl/sitemap.xml.

Als je een externe tool gebruikt hebt om je XML-sitemap te genereren, upload je deze handmatig naar de hoofdmap van je website. Gebruik hiervoor je cPanel of een FTP-client, bijvoorbeeld Total Commander of FileZilla. Controleer de geldigheid van de sitemap voordat je deze uploadt, vooral als het bestand handmatig is gemaakt. Je kunt een gratis tool, zoals deze, gebruiken om te controleren of je XML-sitemap naar behoren functioneert.

Zodra je een geldige sitemap op je website gepubliceerd hebt, kun je deze via ‘Sitemaps’ indienen bij Google Search Console (GSC). Klik op ‘Een nieuwe sitemap toevoegen‘, voer de URL van je sitemap in en klik op de knop ‘Verzenden’.

Controleer de kolom Status om te zien of Google je sitemap correct heeft kunnen verwerken. Als alles goed gaat, zie je de status ‘Succesvol’. Als de sitemap van de website is bekeken, maar Google fouten heeft gedetecteerd, krijg je de status ‘Heeft fouten‘. Als Google je sitemap niet kan crawlen, krijg je de status ‘Kan niet ophalen‘.

Herstel de gevonden fouten om ervoor te zorgen dat de status van je sitemap naar ‘Succesvol’ verandert.

In dezelfde tabel onder Sitemaps zie je hoeveel URL’s er zijn gevonden. ​​Idealiter komt dit overeen met het aantal URL’s dat je eerder aan je sitemap hebt toegevoegd.

Klik tot slot op de knop met de drie puntjes om naar het rapport ‘Pagina-indexering bekijken‘ te gaan. Dit geeft je meer inzicht in hoe Google je website crawlt en indexeert. Bestudeer het rapport eens om pagina’s van lage kwaliteit effectiever uit je XML-sitemap te kunnen verwijderen en pagina’s toe te voegen die anders over het hoofd zouden worden gezien.

Veelvoorkomende fouten rond sitemaps 

Bekijk de volgende fouten rond sitemaps en de wijze waarop je deze kunt verhelpen:

1. Ongeldig XML-format: sitemaps moeten voldoen aan de regels van het XML-format. Structureer je sitemap met de juiste XML-syntaxis. Gebruik online XML-validators, zoals eerder vermeld, om de geldigheid van je sitemap te valideren.
2. URL’s die zijn geblokkeerd door robots.txt, niet toegankelijk zijn of niet worden gevolgd: afhankelijk van de vraag of je deze URL’s wilt indexeren, is het zaak de blokkering op te heffen of ze uit je sitemap verwijderen.
3. Ontbrekende of onjuiste URL’s: controleer of alle URL’s in je sitemap correct en toegankelijk zijn. Controleer de sitemap op ontbrekende of verbroken links en werk deze indien nodig bij. Voeg ook de canonieke versie van elke URL toe om problemen met dubbele content te voorkomen.
4. Sitemap is te groot: als je sitemap de maximaal toegestane grootte overschrijdt (meestal 50 MB of 50.000 URL’s), verdeel deze dan in meerdere sitemaps en maak een sitemap index-bestand om ernaar te verwijzen.
5. Mismatch in een opgegeven pad: zorg voor consistentie in je sitemap wat betreft de aanwezigheid van “www” in de URL’s. Als je sitemap zich bevindt op https://voorbeeld.nl/sitemap.xml, mag geen van de URL’s www bevatten. Bevindt de sitemap zich op https://www.voorbeeld.nl/sitemap.xml, dan moeten alle URL’s www bevatten.

Wij hebben een gids waarin veel voorkomende sitemap fouten uitgebreid worden behandeld, wat je helpt deze problemen op te lossen.

Overweeg de Website Audit tool te gebruiken om sitemap fouten te detecteren en deze in een apart rapport te verzamelen. Deze tool laat zien of er problemen zijn met noindex-pagina’s in de XML-sitemap, niet-canonieke pagina’s in de XML-sitemap, 3XX/4XX/5XX-pagina’s in de XML-sitemap, en nog veel meer.

Door je sitemap regelmatig te controleren, de structuur ervan te beoordelen en eventuele fouten of problemen direct te verhelpen, kunnen zoekmachines je website effectiever crawlen en indexeren.

Conclusie

Gefeliciteerd! Je hebt onze spoedcursus rond de SEO sitemap succesvol afgerond. We hebben alle best practices voor sitemaps verzameld in de onderstaande infographic. Volg deze best practices en je bent er zeker van dat Google alle belangrijke pagina’s op je website vindt en crawlt.

Bonus: Infographic over het maken van een goede sitemap

Written by

Elena Demianenko

Elena is een vooraanstaand marketingspecialist met uitgebreide ervaring. Met meerdere jaren ervaring in de industrie heeft ze bewezen diepgaande kennis en uitzonderlijke vaardigheden te hebben in digitale marketingstrategieën. Op dit moment werkt ze als Country Team Lead bij SE Ranking, waar ze met succes teams en projecten leidt.