Over noindex-headers
Wat is een noindex-header?
Een noindex-header is een instructie om een pagina uit de zoekresultaten te houden. Deze wordt meegestuurd met de HTTP-respons in plaats van in de HTML van de pagina te worden geschreven. De header doet hetzelfde als een noindex-metatag; hij wordt alleen via een andere route aangeleverd.
De header die deze instructie bevat, heet X-Robots-Tag. In de meeste documentatie wordt die naam door elkaar gebruikt met noindex-headers. De header kan ook andere directives bevatten, zoals nofollow of noarchive, maar noindex is de directive met gevolgen die het controleren waard zijn.
Omdat de instructie wordt meegestuurd in de respons, kan deze ook worden toegepast op bestanden waarin geen HTML aanwezig is om een metatag aan toe te voegen: pdf's, afbeeldingen, spreadsheets en downloads. Dit is ook de manier waarop regels op serverniveau in één keer op volledige mappenstructuren worden toegepast.
Zijn noindex-headers in 2026 nog steeds relevant?
Ze zijn buitenproportioneel belangrijk omdat ze onzichtbaar zijn. Een noindex in de paginabron kan door iedereen die de pagina bekijkt, worden gevonden; een noindex in een header niet. Daardoor kan deze een pagina maandenlang stilletjes onderdrukken, terwijl iedereen de HTML controleert en niets verkeerds vindt.
Ze worden ook ingesteld op server- of CDN-niveau, waardoor ze vaak volledig buiten het contentmanagementsysteem vallen. Degene die een pagina debugt die niet wordt geïndexeerd, heeft vaak geen toegang tot de locatie waar de directive staat.
Wanneer ze bewust worden gebruikt, blijven ze het juiste middel voor niet-HTML-bestanden, wat een echt veelvoorkomende behoefte is op sites die documenten publiceren.
Hoe noindex-headers zich verhouden tot AI-zoekopdrachten
Een noindex-header sluit content op precies dezelfde manier uit van indexen als een metatag, en dus ook van het materiaal waarop AI-antwoorden worden gebaseerd. De kosten van een onbedoelde noindex-header zijn daardoor navenant toegenomen.
Het wordt ook steeds vaker gebruikt om AI-specifieke instructies op bestandsniveau toe te passen. Daarom is het de moeite waard om dit te begrijpen, in plaats van het te behandelen als een verouderde header die niemand meer instelt.
Voor documenten geldt dit in het bijzonder van beide kanten. Een pdf waarvan je liever niet wilt dat de inhoud wordt geciteerd, kun je hier het beste uitsluiten; een pdf die je gevonden wilt laten worden, moet je hier juist niet uitsluiten.
Praktische richtlijnen voor noindex-headers
- Controleer de responseheaders, en niet alleen de HTML, wanneer een pagina niet wordt geïndexeerd.
- Gebruik ze voor niet-HTML-bestanden, waarvoor een metatag geen optie is.
- Houd serverregels beperkt. Een regel die voor een hele map geldt, kan gemakkelijk meer onderscheppen dan de bedoeling is.
- Zorg ervoor dat de header niet in tegenspraak is met de metatag op dezelfde pagina.
- Combineer een noindex-header niet met een blokkade in robots.txt; een geblokkeerde pagina wordt nooit opgehaald, dus de header wordt nooit gelezen.
- Controleer dit na wijzigingen aan de CDN of hosting, die standaardinstellingen vaak opnieuw introduceren.
Veelgemaakte fouten
- Een indexeringsprobleem uitsluitend in de paginabron proberen op te sporen, terwijl een headerinstructie daar onzichtbaar is.
- Een regel toepassen op een directory die ook pagina’s bevat die je geïndexeerd wilt hebben.
- Een header uit de stagingfase laten staan na de lancering, op de server in plaats van in de code.
- Ervan uitgaan dat een CDN headers ongewijzigd doorgeeft, terwijl deze ze mogelijk toevoegt of verwijdert.
- Een header en een metatag instellen die elkaar tegenspreken en je vervolgens afvragen welke de doorslag geeft.
Wat deze tool controleert
De tool controleert de HTTP-responsheaders van de pagina en meldt of er een X-Robots-Tag-noindexrichtlijn aanwezig is. Als er een wordt gevonden, wordt dit als een fout gemeld, omdat een pagina die je test een pagina is die je geïndexeerd wilt hebben.
De tool onderzoekt alleen de respons. Een noindex die in de HTML van de pagina is opgenomen, valt onder een afzonderlijke controle. Wanneer een pagina niet in de zoekresultaten verschijnt, is het de moeite waard om beide controles uit te voeren.
Waar je nu verder kunt gaan
Indexeringsproblemen komen meestal neer op een van drie instructies. Controleer de
noindex-metatags in de HTML van de pagina, bekijk je
robots.txt op een crawlblokkade die voorkomt dat de pagina überhaupt wordt gelezen, en bevestig dat de pagina in je
XML-sitemap staat.