Web Sitesinin Taranabilirliğini Test Edin
SEOptimer’ın ücretsiz taranabilirlik testi, arama motorlarının ve yapay zekâ tarayıcılarının sayfanıza erişip erişemediğini, sayfanızı alıp dizine ekleyip ekleyemediğini kontrol eder. robots.txt kuralları, noindex yönergeleri, durum kodu ve gerçekte ne kadar içeriğin oluşturulduğu incelenir.
Saniyeler İçinde Herhangi Bir Sitede SEO Denetimi Yapın
+ Her İşlev İçin Kapsamlı SEO / GEO Araçları
Web sitenizde Sayfa İçi SEO, Kullanılabilirlik, Performans, Sosyal Medya ve Bağlantılar genelinde 100'den fazla kontrol gerçekleştirin. Artık her raporda GEO da var. SEOptimer ayrıca anahtar kelime araştırması, sıralama takibi, backlink analizi ve eksiksiz bir site tarayıcısı sunar.
Web Sitesi Taranabilirliği Hakkında
Taranabilirlik ne anlama gelir?
Bir sayfa, arama motoru ona ulaşabildiğinde, sayfayı getirmesine izin verildiğinde ve sayfaya ulaştığında saklamaya değer bir şey bulduğunda taranabilirdir. Bunlardan herhangi biri başarısız olursa, içerik ne kadar iyi olursa olsun sayfa fiilen görünmez olur.
Her şeyden önce gelen adım budur. Sıralama, snippet’ler ve yapay zekâ alıntıları — bunların tamamı, sayfanın öncelikle bir dizine eklenmiş olduğunu varsayar. Bu nedenle, bir sayfa görünmüyorsa yapılacak en mantıklı ilk şey içeriği yeniden yazmaya başlamak yerine web sitesinin taranabilirliğini test etmektir.
İşin zor yanı, bu hataların her birinin sessizce gerçekleşmesidir. Hiçbir şey bozulmaz, hiçbir hata görünmez, sayfa size tamamen kusursuz görünür — ancak yine de asla görünmez.
Bir sayfanın dizine eklenmesini engelleyen dört şey
Neredeyse tüm taranabilirlik sorunları bunlardan biridir ve belirli bir sırayla ortaya çıkar:
- URL çözümlenmiyor: 404 hatası, sunucu hatası veya sonuçsuz kalan bir yönlendirme zinciri var.
- Robots.txt tarayıcının erişimini engelliyor; bu nedenle sayfa hiç alınmıyor.
- Noindex yönergesi, arama motoruna sayfayı almasını ancak sonuçlarda göstermemesini söyler.
- Sayfa JavaScript olmadan neredeyse hiçbir şey görüntülemiyor; bu nedenle dizine eklenecek çok az içerik var.
Bunları düzeltirken sıra önemlidir. Robots.txt engeli, altındaki noindex etiketi okunmadan önce devreye girer. Bu nedenle ikisini birlikte kullanmak, insanların beklediğinin tam tersini yapar: sayfanın taranması engellenmeye devam eder ve kaldırma yönergesi görülmez.
Robots.txt ve noindex aynı şey değildir
En çok zarara yol açan kafa karışıklığı budur. Robots.txt, bir tarayıcının bir sayfayı getirip getiremeyeceğini; noindex ise sayfayı dizininde tutup tutamayacağını kontrol eder. Farklı aşamalarda çalışırlar ve birbirlerinin yerine kullanılamazlar.
Bir sayfanın arama sonuçlarının dışında tutulmasını istiyorsanız noindex kullanmalısınız ve tarayıcının bunu görebilmesi için sayfayı getirmesine izin verilmelidir. Bunun yerine robots.txt ile engellemek, arama motoru adresi bildiği ancak sayfayı incelemesine hiçbir zaman izin verilmediği için bir URL'nin hiçbir açıklama olmadan listelenmesine neden olabilir.
Tersi için — bulunmasını istediğiniz bir sayfa söz konusu olduğunda — her ikisinin de net olması gerekir ve noindex, HTML içinde veya bir HTTP başlığında yer alabilir. Başlık sürümü, sayfa kaynağında görünmediği için kullanıcıları en çok yanıltan durumdur.
AI tarayıcıları 2026 yılında ayrı bir karardır
Yapay zekâ şirketleri kendi adlandırılmış tarayıcılarını çalıştırır ve bunları engellemek, arama motorlarını engellemekten farklı bir tercihtir. GPTBot, ClaudeBot, PerplexityBot ve diğerlerinin her biri robots.txt dosyasında kendi kurallarını belirler.
Pek çok site, aslında bunu amaçlamadan, genellikle başka bir yerden robots.txt dosyası kopyaladığı için onları engellemiştir. Yapay zekâ yanıtlarında kaynak gösterilmek sizin için önemliyse, bunu sonradan fark etmek yerine önceden bilmekte fayda var.
Bunun tam tersi de geçerli ve meşru bir tercihtir. İçeriğinizin eğitim veya özetleme amacıyla kullanılmasını istemiyorsanız, bu aracılara erişimi engellemek bunu belirtmenin yoludur. Önemli olan, bunun yanlışlıkla değil, bilinçli bir kararla yapılmasıdır.
Bu araçla web sitesi taranabilirliği nasıl test edilir
Bir URL girin; araç, bu URL üzerinde on bir kontrol çalıştırır ve her birini, bir tarayıcının karşılaşma sırasına göre ayrı ayrı raporlar:
- Sayfaya erişilebiliyor - URL’nin döndürdüğü durum kodu.
- Arama motorları engellendi - robots.txt dosyasının Googlebot’a izin verip vermediği.
- Yapay zekâ tarayıcıları engellendi - başlıca yapay zekâ kullanıcı aracılarından kaç tanesinin engellendiği.
- Noindex etiketi - sayfanın HTML kodundaki noindex yönergesi.
- Noindex üst bilgisi - X-Robots-Tag olarak iletilen aynı yönerge.
- Robots.txt - dosyanın mevcut olup olmadığı ve içeriği.
- XML site haritası - tarayıcıların sitenin geri kalanını keşfetmesi için böyle bir dosyanın mevcut olup olmadığı.
- Llms.txt - Yapay zekâ asistanlarının aradığı dosyanın mevcut olup olmadığını gösterir.
- Canonical etiketi - Sayfanın dizine eklenmesi gereken URL olarak hangisini belirlediğini gösterir.
- Oluşturulan içerik - Bir tarayıcının JavaScript'i çalıştırmadan sayfanın ne kadarını gördüğünü gösterir.
- JavaScript hataları - Sayfadaki komut dosyalarının başarısız olmasıdır; oluşturulan içeriğin yetersiz olmasının nedeni genellikle budur.
Tüm siteyi taramak yerine verdiğiniz tek URL'yi kontrol eder. Bu nedenle, web sitesi taranabilirliğini ana sayfada değil, gerçekten eksik olan sayfada test edin; bu ikisi genellikle farklıdır ve sorun yaşanan sayfa nadiren ana sayfadır.
Sonraki adımlar
Her şey burada başarılı görünüyor ve sayfa hâlâ görünmüyorsa, sıradaki incelemeniz gereken konu keşfedilebilirliktir. Sayfanın XML site haritası içinde listelendiğini kontrol edin, yalnızca bir aracı için tanımlanan kurallar yerine robots.txt dosyasının tamamını inceleyin ve iç bağlantı denetleyicisiyle sitede herhangi bir yerin bu sayfaya bağlantı verip vermediğine bakın.
55'ten Fazla Araç İçeren Kapsamlı SEO Araç Kutusu
Başlıkları, meta açıklamalarını, başlık etiketlerini, Schema işaretlemelerini, Core Web Vitals'ı, SSL'yi ve Robots.txt'yi kontrol edin. Meta etiketleri, site haritaları ve .htaccess kuralları oluşturun; CSS, JS ve HTML'yi küçültün ve AI Yazma Araçlarımızla anında ve ücretsiz olarak içerik taslakları hazırlayın.
Daha fazla okuma
Daha Fazla Gör
What is a Google Crawler?
You know when you use Google to search for a service, or find information? And once the page loads there is always one website at the very t...
AI Crawlability: Should You Let AI Bots Access Your Site and How Can You Check?
As more people use ChatGPT, Claude, Perplexity, and Google’s AI search features, AI crawlability is becoming increasingly important for webs...
Robots.txt - Nihai Rehber
Robots.txt Nedir? Robots.txt, bot tarayıcıların belirli sayfaları indeksleyip indekslememesi gerektiği talimatlarını içeren metin forma...
How to Fix 'Indexed, though blocked by robots.txt' in Google Search Console
If you received the warning ‘Indexed, though blocked by robots.txt’ notification in Google Search Console, you’ll want to fix it as soon a...
What is Rendered Content and How it Affects AI Crawlers?
Key Takeaway
Rendered content refers to the version of a webpage that a browser displays after executing HTML, CSS, and JavaScript....
Crawl Depth in SEO: What is It & How to Improve It?
Crawl depth influences how efficiently Google can index your content.
Googlebot has limited time and server resources. Therefore, th...