Kontrol af blokerede søgemaskiner
SEOptimers kontrol af blokerede søgemaskiner læser din robots.txt og fortæller dig, om Google og andre søgemaskiner er blokeret fra at crawle dit website.
SEO-audit af ethvert website på få sekunder
+ Omfattende SEO-/GEO-værktøjer til alle funktioner
Kør over 100 kontroller af dit website inden for on-page SEO, brugervenlighed, ydeevne, sociale medier og links. Nu med GEO i alle rapporter. SEOptimer tilbyder også søgeordsanalyse, rangsporing, backlinkanalyse og en komplet webcrawler.
Om blokering af søgemaskiner i Robots.txt
Hvad betyder det egentlig at være blokeret?
En robots.txt-regel fortæller en crawler, at den ikke skal hente en sti. Anvendt på hele webstedet forhindrer den søgemaskiner i at læse noget, og alt det efterfølgende holder op med at fungere: Der opdages ikke nyt indhold, og eksisterende sider bliver forældede og forsvinder til sidst fra indekset.
Denne kontrol læser din robots.txt-fil og rapporterer, om søgemaskiner blokeres fra dit website.
Det er den enkeltstående linje, der kan skade et website mest, og den fylder kun én linje.
Sådan sker det
Næsten altid ved et uheld og næsten altid på samme måde: Et staging-website oprettes med en blokering af hele websitet for at holde det ude af søgeresultaterne, og filen kommer med live sammen med resten af implementeringen.
Indholdsstyringssystemer har deres egen version af dette. I de fleste af dem findes der en indstilling, der hedder "afskræk søgemaskiner", som aktiveres under udviklingen og sjældent bliver overvejet igen.
Der går ikke noget synligt i stykker, når det sker. Webstedet fungerer perfekt for alle mennesker, der besøger det, og derfor kan der ofte gå uger, før nogen forbinder faldet i trafikken med årsagen.
Blokering er ikke det samme som fjernelse
Det er denne del, der overrasker folk. En blokeret side kan stadig vises i søgeresultaterne, uden en beskrivelse, fordi crawleren fik besked på ikke at læse den, men ikke på at udelade den.
For at holde en side korrekt ude af søgeresultaterne skal du bruge et noindex-direktiv, hvilket betyder, at crawleren skal have tilladelse til at hente siden for at kunne se det. Blokering og afindeksering trækker i hver sin retning.
Derfor er robots.txt det forkerte værktøj til privatliv. Den styrer crawling, ikke synlighed, og selve filen er offentlig.
Er robots.txt stadig relevant i 2026?
Det er forudsætningen for alt andet. Indhold, struktur, hastighed og links forudsætter alle, at en crawler kan nå siden i første omgang, og ingen af dem hjælper, hvis den ikke kan.
Den har også fået en ekstra opgave. Den samme fil afgør nu, om AI-crawlere kan læse dit website, hvilket bestemmer, om dine sider kan citeres i genererede svar.
For en fil, der normalt kun består af en håndfuld linjer, har den urimeligt stor betydning.
Hvad dette værktøj kontrollerer
Den henter robots.txt fra det domæne, du angiver, og rapporterer, om reglerne vil forhindre søgemaskiner i at crawle dit website.
En godkendt kontrol betyder, at intet blokerer dem på websitets niveau. Det bekræfter ikke, at individuelle stier er åbne, så en side, der ikke bliver indekseret, selv om denne kontrol er godkendt, bør undersøges separat.
Hvad kan du gøre som det næste
Hvis crawling er åbent, er de næste spørgsmål, hvad der kan opdages, og hvad der bevidst er udelukket. Gennemgå hele robots.txt-filen, kontrollér, at dit XML-sitemap er til stede og opdateret, og bekræft, at ingen noindex-tag i stilhed gør det, som robots.txt ikke gør.
Omfattende SEO-værktøjskasse med over 55 værktøjer
Tjek sidetitler, metabeskrivelser, overskrifter, Schema, Core Web Vitals, SSL og robots.txt. Generér metatags, sitemaps og .htaccess-regler, minificér CSS, JS og HTML, og udarbejd tekster med vores AI-skriveværktøjer – øjeblikkeligt og gratis.
Yderligere læsning
Se Mere
Robots.txt - The Ultimate Guide
What is Robots.txt?
Robots.txt is a file in text form that instructs bot crawlers to index or not index certain pages. It is also know...
How to Fix 'Indexed, though blocked by robots.txt' in Google Search Console
If you received the warning ‘Indexed, though blocked by robots.txt’ notification in Google Search Console, you’ll want to fix it as soon a...
What is a Google Crawler?
You know when you use Google to search for a service, or find information? And once the page loads there is always one website at the very t...
Crawl Depth in SEO: What is It & How to Improve It?
Crawl depth influences how efficiently Google can index your content.
Googlebot has limited time and server resources. Therefore, th...