llms.txtについて
llms.txtとは?
llms.txtファイルとは、サイトのルート(/llms.txt)に置く短いMarkdown文書で、言語モデルに読む価値のあるページを示し、それぞれのページの内容を1行で説明するものです。これは、Answer.AIのJeremy Howard氏によって2024年後半に提案されました。
このファイルが解決しようとしている問題は、実際に存在します。現代のウェブページを読み取るモデルは、少量の本来のコンテンツを取り囲むナビゲーション、Cookie通知、関連記事ウィジェット、マークアップなども取得するうえ、処理できるコンテキストウィンドウにも限りがあります。説明付きで整理された、読みやすいページのリストがあれば、サイト全体をクロールするよりもはるかに優れた出発点になります。
形式は意図的にシンプルです。タイトル、任意の概要、その後に注釈付きリンクの見出しセクションが続きます。これが仕様のすべてであり、上記の llms.txt ジェネレーターはまさにこの形式を生成します。
ファイルの形式
- サイト名またはプロジェクト名を記載した H1。必須なのはこの1行だけです。
- サイトを1文で要約する、任意の引用ブロック。
- 読者が最初に知っておく必要のある背景情報を記載する、任意の本文。
- H2 セクション。各セクションには、名前、URL、短い説明を記載したリンクの Markdown リストを含めます。
- スペースが限られている場合に省略できるリンクをまとめた、「Optional」という見出しの任意のセクション。
補助ファイルである llms-full.txt には、これらのページの全文がリンクではなくインラインで記載されています。維持管理の負担が大きいため、短いバージョンが役立つようになってから導入するのがよいでしょう。
採用が進んでいる標準
llms.txt は新しい仕組みであり、現在はサイト運営者が先行して導入している段階です。ドキュメントサイトが早くから採用し、対応するフレームワークやツールも増え続けています。また、llms.txt を公開するサイトの数も着実に増加しています。
AIプロバイダーは、現時点ではそれを読み取ることについて公に表明していませんが、このように新しい規約においては一般的なことです。XMLサイトマップや構造化データも、標準的に使われるようになる前は同じ状況でした。
そのため、早めに取り組むのは賢明です。作成には半日ほどしかかからず、維持費もかかりません。また、対応が定着する前に導入しておくことには、確実になるまで待つ以上の価値があります。
良いものの条件
説明が役割を果たします。「料金」という説明では、モデルはURLから推測できる以上の情報を得られません。一方、「料金プラン、各レベルに含まれる内容、使用量のカウント方法」とすれば、ページに実際に記載されている内容を説明でき、特定の質問に対して選択可能になります。
選択も重要です。400個のURLを列挙したファイルは、手間を増やしただけのサイトマップにすぎず、重要なページを示すという本来の目的を損ないます。詳しく説明された20個のリンクのほうが、サイト全体よりも優れています。
各ページの最もシンプルなバージョンを指定します。ドキュメントを装飾の多い形式とプレーンなMarkdown形式の両方で公開している場合は、プレーンな方にリンクします。
よくある間違い
- サイトマップ全体をそのまま入れると、ファイルに価値を与えている選別が失われます。
- ページの説明ではなく、リンクテキストを言い換えただけの説明。
- 相対パスは、サイト以外の場所でファイルが読み込まれると曖昧になります。
- 一度書いたきりで、サイトの変更後に見直さないこと。
- ページの内容が優れていることの代わりになるものとして扱うのは誤りです。実際、そうではありません。
これがAI検索とどのように関係するか
それを作成すること自体が有益な作業です。サイトを実際に代表する20ページはどれかを決めざるを得ないからです。これは、AIの回答で自分のどのページが引用されるかを決めるのと同じ問いです。
最も効果を発揮するのは、明確な見出し、最初の段落で疑問に答えるコンテンツ、構造化データ、そして高速で到達可能なページといった、その他の基盤作りと組み合わせた場合です。厳選したインデックスは、すでにあなたのサイトを読みたいと思っているシステムを助けます。そして、システムにそう思わせるのが、これらの要素なのです。
両方を行うことで、互いに効果を高め合います。
llms.txtジェネレーターを使用する
サイト名、URL、1行の概要を入力し、サイトの各セクションと含める価値のあるリンクを追加します。相対パスはサイトURLを基準に展開されるため、「/docs」と入力すると完全なアドレスになります。
コピーまたはダウンロードする前に出力を編集できます。通常、説明文の最終調整はこの段階で行います。結果をサイトのルートに「llms.txt」として保存すると、yourdomain.com/llms.txtでアクセスできるようになります。
次に行うこと
このファイルはインデックスなので、重要なのはその背後にあるページです。
robots.txtチェッカーでそれらのページにアクセスできることを確認し、
XMLサイトマップが完全かつ最新であることを確認して、ページ自体に適切な
スキーママークアップが含まれていることを確認してください。