AI Bot Erişim Testi
Bir sayfa için robots.txt’nizin hangi yapay zekâ ve arama botlarına izin verdiğini, sunucunuzun bunların kimliklerine sıradan bir tarayıcıdan farklı davranıp davranmadığını görün.
AI Bot Erişim Testi, GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot ve PerplexityBot gibi botlara robots.txt’nizin belirli bir sayfa için izin verip vermediğini kontrol eden ücretsiz bir araçtır. Ayrıca her botun kimliğini sunucunuza gönderip yanıtı sıradan bir tarayıcıyla karşılaştırır ve gerçek botların yine de farklı ele alınabileceğini dürüstçe belirtir.
Son güncelleme:
AI bot erişim testi neleri kontrol eder?
Girdiğiniz sayfa için iki soruyu yanıtlar: robots.txt’niz her yapay zekâ botuna ne yapmasını söylüyor ve sunucunuz o botun kimliğine sıradan bir tarayıcıdan farklı mı yanıt veriyor?
- robots.txt kararı: her bot token’ı için kuralları, RFC 9309’un tarif ettiği biçimde (en özel grup, en uzun eşleşen kural, eşitlikte Allow kazanır) sayfanın yoluna uygularız.
- Sunucu yanıtı: sayfayı her bot kimliğiyle bir kez ve sıradan bir tarayıcı olarak bir kez, yönlendirmeleri izlemeden isteriz; durum kodlarını ve doğrulama sayfalarını karşılaştırırız.
- Sayfa yönergeleri: meta robots etiketinde veya X-Robots-Tag başlığında noindex, nosnippet ve noai.
Sonuç, bot başına bir karardır: izinli, robots.txt ile engelli, sunucu farklı yanıt veriyor veya kesin değil.
Hangi yapay zekâ botları var ve ne işe yarar?
Çoğu şirket eğitim, arama ve kullanıcı isteğiyle getirme için ayrı botlar çalıştırır; böylece bir amaca izin verip diğerini engelleyebilirsiniz. Tablo sağlayıcıların kendi belgelerini izler.
| Bot | Şirket | Sağlayıcıya göre amaç |
|---|---|---|
| GPTBot | OpenAI | Üretken yapay zekâ modellerinin eğitiminde kullanılabilecek içeriği toplar |
| OAI-SearchBot | OpenAI | Siteleri ChatGPT arama sonuçlarında gösterir |
| ChatGPT-User | OpenAI | Biri ChatGPT’den sayfa açmasını istediğinde sayfayı açar; robots.txt kuralları geçerli olmayabilir |
| ClaudeBot | Anthropic | Model eğitimine katkıda bulunabilecek içeriği toplar |
| Claude-SearchBot | Anthropic | Claude’un arama sonuçlarının kalitesini artırır |
| Claude-User | Anthropic | Bir Claude kullanıcısı soru sorduğunda sayfaları açar |
| PerplexityBot | Perplexity | Siteleri Perplexity aramasında gösterir ve bağlantılar; temel model eğitimi için kullanılmaz |
| Perplexity-User | Perplexity | Kullanıcı isteğiyle yapılan ziyaretler; genellikle robots.txt’yi yok sayar |
| Google-Extended | Ayrı bir bot olmayan robots.txt token’ı: Gemini eğitimi ve dayanak kullanımını denetler, Google Arama’yı etkilemez | |
| Applebot-Extended | Apple | Tarama yapmayan robots.txt token’ı: Applebot verilerinin Apple’ın üretken modellerinin eğitiminde kullanımını denetler |
Test ayrıca Applebot, Bingbot, Googlebot, Amazonbot, DuckAssistBot, MistralAI-User, meta-externalagent, meta-externalfetcher, CCBot ve Bytespider’ı da kapsar.
Kararlar nasıl okunur?
- İzinli: robots.txt sayfaya izin veriyor ve sunucu botun kimliğine tarayıcıyla aynı biçimde yanıt verdi.
- robots.txt izin veriyor, sunucu denenmedi: istek gönderilmedi; ya token tarama yapmadığı ya da bot IP adresiyle doğrulandığı için (Googlebot, Bingbot).
- robots.txt ile engelli: bir Disallow kuralı uygulanıyor. Hangi gruptan geldiğine bakın.
- Sunucu farklı yanıt veriyor: tarayıcı sayfayı alırken 403, 429, doğrulama sayfası veya yanıt yok. Güvenlik duvarınıza, CDN bot korumasına veya barındırma güvenlik kurallarına bakın.
- Kesin değil: karşılaştırma isteğinin kendisi başarısız oldu; sunucu hakkında sonuç çıkarılamaz.
Arama botları ve kullanıcı isteğiyle çalışan getiriciler engelliyse yapay zekâ asistanları sayfayı bu kanallardan bulamaz veya açamaz.
Bir yapay zekâ botuna nasıl izin verir veya engellerim?
robots.txt’ye botu adıyla anan bir grup ekleyin. User-agent: GPTBot ile başlayan ve Disallow: / içeren grup o botu tüm siteden engeller; Allow: / ise içeri alır. Adı geçen grup, o bot için User-agent: * kurallarına eklenmez, onların yerini alır.
- Yapay zekâ yanıtlarında bulunmak istiyorsanız arama ve kullanıcı isteği botlarına izin verin.
- Eğitim botlarına ayrıca karar verin. Engellemek bir içerik kullanımı tercihidir, görünürlük tercihi değil.
- Sırlar için robots.txt’ye güvenmeyin. Bu bir istektir ve kullanıcı tetiklemeli bazı getiriciler onu yok sayabilir.
robots.txt Oluşturucu bu grupları sizin için yazar; llms.txt Oluşturucu isteğe bağlı bir özet dosyası hazırlar.
Gerçek bot neden bu testten farklı ele alınabilir?
Bu test her botun user-agent dizesini bizim sunucumuzun adresinden gönderir. Gerçek botlar sağlayıcıların kendi adres aralıklarından gelir ve birçok güvenlik duvarı ile CDN user-agent’a güvenmek yerine bu aralıkları kontrol eder. Sağlayıcılar bu yüzden IP listeleri yayımlar.
- IP adreslerini kontrol eden bir güvenlik duvarı gerçek botu engelleyip bu testi geçirebilir ya da tersini yapabilir.
- User-agent’a göre engelleyen bir kural genellikle burada görünür.
- Kesin yanıt için botun isteklerini sunucu kayıtlarınızda bulun ve IP adreslerini sağlayıcının yayımladığı listeyle karşılaştırın.
CDN veya web uygulaması güvenlik duvarının arkasındaki siteler, örneğin .ae alan adlı iki dilli bir şirket sitesi, bu noktaya özellikle dikkat etmelidir. Barındırma ve güvenlik hizmetimize de bakabilirsiniz.
Sık sorulan sorular
GPTBot’u engellemek sitemi ChatGPT aramasından çıkarır mı?
Hayır. OpenAI ayrı botlar belgeler: modellerinin eğitiminde kullanılabilecek içerik için GPTBot, ChatGPT araması için OAI-SearchBot; biri yasak, diğeri izinli olabilir. Böylece içeriğinizin eğitimde kullanılmasını reddedip aramada görünmeye devam edebilirsiniz. Biri ChatGPT’den sayfa açmasını istediğinde kullanılan ChatGPT-User üçüncü bottur ve OpenAI robots.txt kurallarının ona uygulanmayabileceğini söyler.
Google-Extended’ı engellemek Google Arama’yı etkiler mi?
Hayır. Google, Google-Extended’ı ayrı bir user agent’ı olmayan robots.txt token’ı olarak tanımlar. Google’ın taradığı içeriğin Gemini eğitimi ve dayanak kullanımı için kullanılıp kullanılamayacağını denetler ve sitenin Google Arama’ya dahil edilmesini etkilemediğini belirtir. Aramanın kendisini Googlebot tarar; bu test onu yalnızca robots.txt’de kontrol eder.
Test neden sunucumun farklı yanıt verdiğini söylüyor?
O botun kimliğine sunucunuz 403 veya 429 gibi farklı bir durum, doğrulama sayfası ya da yanıtsızlık döndürdü; sıradan bir tarayıcı isteği ise sayfayı aldı. Bu genellikle bir güvenlik duvarına, CDN bot kuralına veya barındırma güvenlik ayarına işaret eder. Gerçek botlar çoğu zaman IP adresiyle doğrulanır; kuralları değiştirmeden önce sunucu kayıtlarından teyit edin.
robots.txt yapay zekâ sistemlerini uzak tutmaya yeter mi?
Hayır. robots.txt, kurallara uyan botların izlediği bir istektir; erişim denetimi değildir. Sağlayıcılar, ChatGPT-User ve Perplexity-User gibi kullanıcı tetiklemeli bazı getiricilerin ona uymayabileceğini belgeler. Gizli kalması gereken içerik robots.txt kuralıyla değil, giriş ve kimlik doğrulamayla korunmalıdır. Kısacası robots.txt, bot tercihlerinizi iletmek için bir araçtır; güvenlik önlemi değildir.
Test web sitemize ne gönderir?
Girdiğiniz sayfa için sıradan bir tarayıcı kimliğiyle bir istek, robots.txt için bir istek ve her bot kimliği için bir istek: toplam yaklaşık yirmi istek; sunucumuzdan birkaç saniye içinde, yönlendirmeler izlenmeden gönderilir. Hiçbir form gönderilmez ve çerez saklanmaz. Sonuçları ve girdiğiniz adresi saklamayız. Her bağlantı birkaç dakikada sınırlı sayıda test yapabilir.
İlgili sayfalar
Kaynaklar
Kendi işletmeniz için örnek bir tasarım görün
Yüzlerce sektörden kurgusal örnek tasarımlara göz atın. Kendi işletme türünüzü göremediniz mi? WhatsApp'tan ne iş yaptığınızı yazın, size ücretsiz ve bir yükümlülük olmadan örnek bir tasarım hazırlayalım.
