Over het valideren van llms.txt
Wat er moet worden gevalideerd
Het llms.txt-formaat is beknopt: een H1 met de sitenaam, een optioneel blokcitaat als samenvatting en vervolgens H2-secties waarvan de inhoud bestaat uit markdown-linklijsten met een naam, URL en beschrijving.
Omdat er zo weinig strikt verplicht is, kan een bestand volledig geldig zijn en toch vrijwel niets waard zijn: één kop en een kale link doorstaan elke structurele test, maar vertellen een assistent niets.
Daarom scheidt deze tool de twee vragen. Fouten zijn wat de indeling breekt; suggesties zijn wat voorkomt dat het bestand nuttig is.
Wat de indeling breekt
- Geen H1-kop, de enige regel die echt verplicht is.
- Meer dan één H1, waardoor de sitenaam onduidelijk blijft.
- Lijstitems die geen markdown-links zijn.
- Links zonder tekst tussen de vierkante haken.
- Relatieve paden, die onduidelijk zijn zodra het bestand buiten je site wordt gelezen.
Waarom het de moeite waard is
- Een samenvattende regel, zodat een lezer weet wat de site biedt voordat die links leest.
- Koppen voor secties, zodat elke link bij een onderdeel van de site hoort.
- Een beschrijving bij elke link die aangeeft wat er op de pagina staat, in plaats van de naam ervan te herhalen.
- Terughoudendheid. Een bestand met honderden links is een sitemap, terwijl het juist om curatie ging.
De beschrijvingen doen hier het meeste werk. Zij zorgen ervoor dat een pagina geselecteerd kan worden voor een specifieke vraag, in plaats van alleen maar te worden vermeld.
Wat deze tool controleert
Voer je domein in. De tool haalt /llms.txt op, leest het bestand en rapporteert structurele fouten en kwaliteitssuggesties afzonderlijk, samen met een samenvatting van de inhoud van het bestand.
De tool detecteert ook het geval van een soft 404, waarbij een server een normale pagina met status 200 terugstuurt in plaats van een bestand. In een browser lijkt dit op succes en dit is de meest voorkomende false positive.
De tool leest het bestand zoals het is gepubliceerd in plaats van elke link afzonderlijk op te halen. Daardoor wordt een vermelde pagina die inmiddels is verplaatst hier niet gemarkeerd.
Waar je nu verder kunt gaan
Als er nog geen bestand is, maakt onze
llms.txt-generator er een op basis van de gegevens van je site. De
llms.txt-controle beantwoordt de eenvoudigere vraag of er überhaupt een bestand bestaat, en de
AI-crawler-checker bevestigt dat de pagina's waarnaar het verwijst daadwerkelijk kunnen worden opgehaald.