Als je het ziet “Ontdekt – momenteel niet geïndexeerd” in Google Search Console betekent dit dat Google op de hoogte is van de URL, maar deze nog niet heeft gecrawld en geïndexeerd.
Het betekent niet noodzakelijkerwijs dat de pagina nooit zal worden verwerkt. Zoals hun documentatie zegt, kunnen ze er later op terugkomen zonder extra inspanning van uw kant.
Maar andere factoren kunnen voorkomen dat Google de pagina crawlt en indexeert, waaronder:
- Serverproblemen en technische problemen ter plaatse die de crawlmogelijkheden van Google beperken of verhinderen.
- Problemen met betrekking tot de pagina zelf, zoals kwaliteit.
Je kan ook gebruiken Google Search Console-inspectie-API om URL’s in de wachtrij te plaatsen voor hun coverageState status (evenals andere nuttige datapunten) massaal.
Table of Contents
Indexering aanvragen via Google Search Console
Dit is een voor de hand liggende oplossing en in de meeste gevallen lost het het probleem op.
Soms is Google gewoon traag met het crawlen van nieuwe URL’s – het gebeurt. Maar andere keren zijn onderliggende problemen de boosdoener.
Wanneer u indexering aanvraagt, kunnen er twee dingen gebeuren:
- URL wordt “Gecrawld – momenteel niet geïndexeerd”
- Tijdelijke indexering
Beide zijn symptomen van onderliggende problemen.
Het tweede gebeurt omdat het aanvragen van indexering uw URL soms een tijdelijke “versheidsboost” geeft, waardoor de URL boven de vereiste kwaliteitsdrempel kan komen en op zijn beurt kan leiden tot tijdelijke indexering.
Ontvang de dagelijkse nieuwsbrief waar marketeers op vertrouwen.
Problemen met paginakwaliteit
Dit is waar woordenschat verwarrend kan worden. Er is mij gevraagd: “Hoe kan Google de paginakwaliteit bepalen als deze nog niet is gecrawld?”
Dit is een goede vraag, en het antwoord is dat dit niet kan.
Google doet een aanname over de kwaliteit van de pagina op basis van andere pagina’s op het domein. Hun classificaties zijn eveneens gebaseerd op URL-patronen en website-architectuur.
Als gevolg hiervan kan het verplaatsen van deze pagina’s van “bewustzijn” naar de crawl-wachtrij de prioriteit krijgen op basis van het gebrek aan kwaliteit dat ze hebben gevonden op vergelijkbare pagina’s.
Het is mogelijk dat pagina’s met vergelijkbare URL-patronen of pagina’s die zich in vergelijkbare delen van de sitearchitectuur bevinden, een lage waarde hebben in vergelijking met andere inhoudsitems die dezelfde gebruikersintenties en zoekwoorden targeten.
Mogelijke oorzaken zijn onder meer:
- De diepte van de hoofdinhoud.
- Presentatie.
- Niveau van ondersteunende inhoud.
- Uniciteit van de aangeboden inhoud en perspectieven.
- Of zelfs meer manipulatieve problemen (dat wil zeggen, de inhoud is van lage kwaliteit en automatisch gegenereerd, gesponnen of dupliceert rechtstreeks reeds bestaande inhoud).
Werken aan verbetering van de inhoudskwaliteit binnen het sitecluster en de specifieke pagina’s kunnen een positieve invloed hebben op het opnieuw aanwakkeren van de interesse van Google om uw inhoud doelgerichter te crawlen.
U kunt ook andere pagina’s op de website waarvan u erkent dat ze niet van de hoogste kwaliteit zijn, niet indexeren om de verhouding tussen pagina’s van goede kwaliteit en pagina’s van slechte kwaliteit op de site te verbeteren.
Crawlbudget en efficiëntie
Crawlbudget is een vaak verkeerd begrepen mechanisme in SEO.
De meeste websites hoeven zich hier geen zorgen over te maken. Sterker nog, Gary Illyes van Google is op de plaat gegaan en beweert dat waarschijnlijk 90% van de websites hoeft niet na te denken over het crawlbudget. Het wordt vaak gezien als een probleem voor zakelijke websites.
Kruip efficiëntie, aan de andere kant, kan van invloed zijn op websites van elke omvang. Als dit over het hoofd wordt gezien, kan dit leiden tot problemen met de manier waarop Google de website crawlt en verwerkt.
Ter illustratie, als uw website:
- Dupliceert URL’s met parameters.
- Lost op met en zonder schuine strepen.
- Is beschikbaar op HTTP en HTTPS.
- Serveert inhoud van meerdere subdomeinen (bijv. https://website.com en https://www.website.com).
… dan heb je mogelijk duplicatieproblemen die van invloed zijn op de aannames van Google over crawlprioriteit op basis van bredere aannames van de site.
Mogelijk zapt u het crawlbudget van Google met onnodige URL’s en verzoeken. Aangezien Googlebot websites in delen doorzoekt, kan dit ertoe leiden dat de bronnen van Google niet ver genoeg reiken om alle nieuw gepubliceerde URL’s zo snel te ontdekken als u zou willen.
U wilt uw website regelmatig crawlen en ervoor zorgen dat:
- Pagina’s worden omgezet in een enkel subdomein (naar wens).
- Pagina’s worden omgezet naar een enkel HTTP-protocol.
- URL’s met parameters worden gecanoniseerd naar de root (zoals gewenst).
- Interne links maken niet onnodig gebruik van omleidingen.
Als uw website parameters gebruikt, zoals filters voor e-commerceproducten, kunt u het crawlen van deze URI-paden beperken door ze niet toe te staan in de robots.txt-bestand.
Uw server kan ook belangrijk zijn in de manier waarop Google het budget toewijst om uw website te crawlen.
Als uw server overbelast is en te traag reageert, kunnen er crawlproblemen optreden. In dit geval heeft Googlebot geen toegang tot de pagina, waardoor een deel van uw inhoud niet wordt gecrawld.
Bijgevolg zal Google later proberen terug te komen om de website te indexeren, maar dit zal ongetwijfeld een vertraging in het hele proces veroorzaken.
Interne koppeling
Als je een website hebt, is het belangrijk om die te hebben interne koppelingen van de ene pagina naar de andere.
Google besteedt meestal minder aandacht aan URL’s die geen of voldoende interne links hebben – en kan deze zelfs uitsluiten van de index.
U kunt het aantal interne links naar pagina’s controleren via crawlers zoals Screaming Frog en Sitebulb.
Het hebben van een georganiseerde en logische websitestructuur met interne links is de beste manier om uw website te optimaliseren.
Maar als je hier problemen mee hebt, kun je er zeker van zijn dat al je interne pagina’s met elkaar verbonden zijn door de crawldiepte te “hacken” met behulp van HTML-sitemaps.
Deze zijn ontworpen voor gebruikers, niet voor machines. Hoewel ze nu als relikwieën kunnen worden gezien, kunnen ze nog steeds nuttig zijn.
Als uw website veel URL’s heeft, is het bovendien verstandig om deze op te splitsen over meerdere pagina’s. U wilt niet dat ze allemaal vanaf één pagina worden gelinkt.
Interne links moeten ook de -tag gebruiken voor interne links in plaats van te vertrouwen op JavaScript-functies zoals onClick().
Als je een Jamstack- of JavaScript-framework gebruikt, onderzoek dan hoe dit of gerelateerde bibliotheken omgaan met interne links. Deze moeten worden gepresenteerd als tags.
De meningen in dit artikel zijn die van de gastauteur en niet noodzakelijkerwijs van Search Engine Land. Stafauteurs worden vermeld hier.
