llms.txt hakkında
llms.txt nedir?
Bir llms.txt dosyası, sitenizin kök dizininde /llms.txt adresinde bulunan, bir dil modelini okunmaya değer sayfalara yönlendiren ve her sayfanın ne hakkında olduğunu tek satırda belirten kısa bir Markdown belgesidir. Bu dosya, 2024’ün sonlarında Answer.AI’den Jeremy Howard tarafından önerilmiştir.
Ele aldığı sorun gerçektir. Modern bir web sayfasını okuyan bir model; az miktarda asıl içeriğin etrafına sarılmış navigasyon menüleri, çerez bildirimleri, ilgili gönderi bileşenleri ve biçimlendirme kodlarıyla karşılaşır ve çalışabileceği bağlam penceresi sınırlıdır. Açıklamaları bulunan, özenle seçilmiş temiz sayfalardan oluşan bir liste, tüm siteyi taramaktan çok daha iyi bir başlangıç noktasıdır.
Biçim özellikle sade tutulmuştur: bir başlık, isteğe bağlı bir özet ve ardından açıklamalı bağlantılardan oluşan başlıklı bölümler. Tüm belirtim bundan ibarettir ve yukarıdaki llms.txt oluşturucusu tam olarak bu yapıyı üretir.
Dosya nasıl görünür?
- Site veya proje adını içeren bir H1. Gerekli olan tek satır budur.
- Siteyi tek cümlede özetleyen isteğe bağlı bir blok alıntı.
- Okuyucunun önceden bilmesi gereken bağlamı sağlayan isteğe bağlı düzyazı.
- Her biri ad, URL ve kısa açıklama olarak yazılmış markdown bağlantı listesinden oluşan H2 bölümleri.
- Alan kısıtlı olduğunda atlanabilecek bağlantılar için "İsteğe Bağlı" başlıklı isteğe bağlı bir bölüm.
llms-full.txt adlı yardımcı dosya, bu sayfaların tam metnini bağlantı vermek yerine satır içine yerleştirilmiş şekilde içerir. Bakımını sürdürmek daha büyük bir yükümlülüktür; kısa sürüm sizin için fayda sağlamaya başlayana kadar bunu ertelemeye değer.
Benimsenme sürecindeki bir standart
llms.txt yeni bir uygulamadır ve yayıncıların ilk adımı attığı aşamadadır. Dokümantasyon siteleri bunu erkenden benimsemiş, giderek daha fazla framework ve araçta destek sunulmaya başlanmış ve llms.txt yayımlayan sitelerin sayısı istikrarlı biçimde artmıştır.
Yapay zekâ sağlayıcıları henüz bunu okuyacaklarına dair kamuya açık taahhütlerde bulunmadı; bu yaşta bir standart için bu normaldir — XML site haritaları ve yapılandırılmış veriler için de, bunlar rutin hâle gelmeden önce durum aynıydı.
Bu da onu mantıklı bir erken adım hâline getiriyor. Yazılması bir öğleden sonranızı alır, barındırma maliyeti yoktur ve destek kesinleşmeden önce hazır bulundurmak, emin olmayı beklemekten daha değerlidir.
İyi bir dosyayı ne oluşturur
Açıklamalar işin büyük kısmını yapar. "Fiyatlandırma", bir modele URL'den çıkaramayacağı hiçbir bilgi vermezken "Fiyatlandırma kademeleri, her düzeyde nelerin dahil olduğu ve kullanımın nasıl hesaplandığı" sayfada gerçekten ne olduğunu açıklar ve sayfanın belirli bir soru için seçilebilir olmasını sağlar.
Seçici de olun. Dört yüz URL listeleyen bir dosya, fazladan adımlar içeren bir site haritasından ibarettir ve amacı boşa çıkarır; amaç, hangi sayfaların önemli olduğunu belirtmektir. İyi açıklanmış yirmi bağlantı, tüm siteden daha değerlidir.
Her sayfanın en sade sürümüne yönlendirin. Belgeleri hem yoğun biçimde stillendirilmiş hem de yalın Markdown biçiminde yayımlıyorsanız yalın olanı bağlantı olarak ekleyin.
Yaygın hatalar
- Dosyaya değer kazandıran seçkiyi ortadan kaldıracak şekilde tüm site haritasını olduğu gibi eklemek.
- Sayfayı açıklamak yerine bağlantı metnini tekrarlayan açıklamalar.
- Dosya siteniz dışında herhangi bir yerde okunduğunda belirsiz kalan göreli yollar.
- Bir kez yazıp site değiştikçe hiçbir zaman yeniden gözden geçirmemek.
- Bunu, sayfa içeriğinin iyi olmasının yerine koymak; ki bu doğru değildir.
Bunun yapay zekâ aramasıyla ilişkisi
Bir tane yazmak başlı başına faydalı bir alıştırmadır, çünkü sizi siteyi gerçekten temsil eden yirmi sayfanın hangileri olduğuna karar vermeye zorlar. Yapay zekâ yanıtında hangi sayfalarınızın kaynak gösterileceğini belirleyen soru da aynıdır.
En iyi sonuç, diğer temel çalışmalarla birlikte kullanıldığında alınır: net başlıklar, ilk paragrafında bir soruyu yanıtlayan içerikler, yapılandırılmış veriler ve hızlı ve erişilebilir sayfalar. Özenle hazırlanmış bir dizin, sizi zaten okumak isteyen bir sisteme yardımcı olur; diğer unsurlar ise onun sizi okumak istemesini sağlar.
Her ikisini de yapın; birbirlerini güçlendirirler.
llms.txt oluşturucuyu kullanma
Site adınızı, URL'nizi ve tek satırlık bir özeti girin; ardından sitenin her bölümü ve eklenmeye değer bağlantılar için birer bölüm ekleyin. Göreli yollar site URL'niz temel alınarak genişletilir; böylece /docs yazdığınızda tam adres elde edilir.
Çıktıyı kopyalamadan veya indirmeden önce düzenleyebilirsiniz; açıklamalar genellikle son hâlini bu aşamada alır. Sonucu sitenizin kök dizinine llms.txt adıyla kaydedin; böylece yourdomain.com/llms.txt adresinde erişilebilir olur.
Sonraki adımlar
Dosya bir dizindir; bu nedenle önemli olan, arkasındaki sayfalardır. Bu sayfaların
robots.txt denetleyicisiyle erişilebilir olduğunu kontrol edin,
XML site haritası dosyanızın eksiksiz ve güncel olduğunu doğrulayın ve sayfaların kendilerinde uygun
şema işaretlemesinin bulunduğundan emin olun.