robots.txt Oluşturucu

Arama motorları ve yapay zeka botları için robots.txt dosyası hazırlayın, herhangi bir yolu dosyaya karşı test edin, sonra kopyalayın veya indirin. Her şey tarayıcınızda çalışır.

Kısa cevap

robots.txt Oluşturucu, arama motorlarına ve yapay zeka botlarına sitenizin hangi bölümlerini alabileceklerini söyleyen robots.txt dosyasını hazırlayan ücretsiz bir araçtır. Hazır ayar seçin, botları tek tek düzenleyin, engellenecek yolları ve site haritanızı ekleyin, sonucu kopyalayın veya indirin. Yerleşik test bir yolun izinli olup olmadığını gösterir. Tarayıcınızda çalışır.

Son güncelleme: 2026-10-18

robots.txt dosyası nedir?

robots.txt, sitenizin kök dizinindeki, tarayıcılardan hangi yolları alabileceklerini isteyen düz metin dosyasıdır. Arama motorları ve yapay zeka botları taramadan önce onu okur; kurallar Robot Dışlama Protokolü'nde (RFC 9309) tanımlıdır.

Satır	Anlamı
User-agent: GPTBot	Aşağıdaki kurallar bu tarayıcı için geçerlidir. * diğer tüm tarayıcılar demektir.
Disallow: /admin/	/admin/ ile başlayan adresleri alma.
Allow: /admin/help/	Engelli bir yolun içindeki istisna.
Disallow: /*.pdf$	* herhangi bir metni, $ adresin sonunu belirtir.
Sitemap: https://www.example.ae/sitemap.xml	Site haritanızın yeri.

Birden çok kural eşleştiğinde en özel, yani en uzun kural kazanır; eşitlikte Allow üstündür. Bu araçtaki test kutusu aynı mantıkla çalışır.

robots.txt dosyası nasıl oluşturulur ve yüklenir?

Hazır bir ayar seçin, botları ve yolları düzenleyin, sonra dosyayı koruduğu alan adının köküne yükleyin; böylece https://www.example.ae/robots.txt adresinde açılır.

Hazır ayar seçin: önerilen, tüm botlara izin ver veya tüm yapay zeka botlarını engelle.
Hiçbir botun almaması gereken yolları her satıra bir tane ekleyin, örneğin /admin/.
Tarayıcıların bulabilmesi için site haritası adresinizi ekleyin.
Bot tablosunu açın ve tarayıcıları tek tek işaretleyin veya işareti kaldırın.
Metni kopyalayın veya robots.txt dosyasını indirip sitenizin kök klasörüne yükleyin.
Canlı adresi tarayıcıda açıp düz metin olarak yüklendiğini doğrulayın.

Her sunucu adının kendi dosyası olmalıdır; shop.example.ae gibi bir alt alan adı ayrı robots.txt ister. Girdiğiniz hiçbir şey sunucumuza gönderilmez ve araç sitenizi hiçbir zaman çekmez.

Hangi yapay zeka botlarına izin vermeli, hangilerini engellemeli?

Yapay zeka botlarını üç ayrı iş olarak düşünün: model eğitimi, arama dizini oluşturma ve bir kullanıcı asistandan istediği için sayfa getirme. Bazılarına izin verip diğerlerini engelleyebilirsiniz.

Bot	Sahibi	Amaç
GPTBot	OpenAI	Model eğitimi
OAI-SearchBot	OpenAI	ChatGPT arama sonuçları
ChatGPT-User	OpenAI	Kullanıcı isteğiyle sayfa getirir
ClaudeBot	Anthropic	Model eğitimi
Claude-SearchBot	Anthropic	Claude arama sonuçları
PerplexityBot	Perplexity	Perplexity arama dizini
Google-Extended	Google	Gemini eğitimi için kontrol token'ı; Google Arama'yı etkilemez
Applebot-Extended	Apple	Apple yapay zeka eğitiminden çıkmak için kontrol token'ı
Bingbot	Microsoft	Bing ve Copilot yanıtları
CCBot	Common Crawl	Birçok yapay zeka modelinin kullandığı açık veri seti
Bytespider	ByteDance	Eğitim botu

Önerilen ayar arama ve kullanıcı isteği botlarına izin verir, eğitim botlarını engeller. Arama botlarını engellemek sayfalarınızın o asistanların yanıtlarında kullanılma şansını azaltabilir; bu yüzden bilerek karar verin. Liste, sağlayıcıların herkese açık bot belgelerinden derlenmiştir ve zamanla değişir; arada bir yeniden kontrol edin.

Hangi hatalardan kaçınmalı?

En zararlı hatalar, siteyi yanlışlıkla tamamen kapatmak ve robots.txt'nin sayfaları gizlediğini sanmaktır. Yüklemeden önce şunlara bakın.

Test sitesinden kalan Disallow: / satırı. Tüm tarayıcılara canlı siteden uzak durmalarını söyler.
CSS ve JavaScript klasörlerini engellemek. Arama motorları sayfalarınızı doğru çizemeyebilir.
Gizli yolları yazmak. Dosya herkese açıktır; içine yazdığınız yolu herkes görür.
Bir sayfayı Google'dan kaldırmak için kullanmak. Engelleme taramayı durdurur, dizine eklemeyi değil. Sayfayı sonuçlardan uzak tutmak için noindex etiketi kullanın ve sayfayı taramaya açık bırakın.
Grup kurallarını unutmak. Kendi grubunda adı geçen tarayıcı * grubunu yok sayar; bu yüzden araç genel kurallarınızı izinli botlar için tekrar yazar.

robots.txt botların sitemi açmasını engeller mi?

Hayır. robots.txt bir istektir, erişim kontrolü değildir. RFC 9309, kurallarının bir erişim yetkilendirme biçimi olmadığını belirtir. Kurallara uyan tarayıcılar onu izler, diğerleri yok sayabilir ve herkes bir adresi tarayıcıda yine açabilir.

Gizli içerik için giriş sistemi, sunucu kuralı veya güvenlik duvarı kullanın. Gerçek tarayıcıların sayfalarınıza ulaşıp ulaşamadığını ve güvenlik duvarına takılıp takılmadığını görmek için yapay zeka botu erişim testini deneyin. Sitenizi yapay zeka asistanlarına anlatmak için llms.txt oluşturucuya bakın.

Sık sorulan sorular

robots.txt dosyasını nereye koymalıyım?

Alan adınızın köküne yükleyin; böylece alan-adiniz/robots.txt adresinde açılır, örneğin https://www.example.ae/robots.txt. Alt klasöre konan dosya yok sayılır. Her alt alan adı dahil her sunucu adının kendi dosyası olmalıdır. Yükledikten sonra adresi tarayıcıda açıp düz metin olarak göründüğünü kontrol edin ve dosyayı her değiştirdiğinizde yeniden test edin.

robots.txt bir sayfayı Google'dan kaldırır mı?

Hayır. Tarayıcılardan sayfayı almamalarını ister; ancak başka siteler bağlantı veriyorsa engelli sayfa yine sonuçlarda görünebilir. Bir sayfayı arama sonuçlarından uzak tutmak için noindex etiketi ekleyin ve etiketin okunabilmesi için sayfayı taramaya açık bırakın. Sayfayı hem engellemek hem noindex eklemek işe yaramaz.

İşletme sitemde yapay zeka botlarını engellemeli miyim?

Bu kararınız hedeflerinize bağlıdır. Birçok işletme yapay zeka arama yanıtlarında görünmek ister; bu yüzden arama ve kullanıcı isteği botlarına izin verip yalnızca eğitim botlarını engeller. Emin değilseniz önerilen ayarla başlayın, içeriğinizin sahibiyle gözden geçirin ve sağlayıcılar botlarını değiştirdikçe yeniden değerlendirin; kararınızı bilinçli verin.

Tüm botlar robots.txt'ye uyar mı?

Hayır. Tanınmış arama motorları ve yapay zeka sağlayıcıları ana tarayıcılarının uyduğunu belirtir; ancak kullanıcı tetiklemeli bazı getiriciler ve kötü niyetli botlar uymayabilir. Dosya herkese açık ve gönüllü olduğundan özel sayfaları korumaz. Bir sayfa erişilemez olmalıysa kimlik doğrulama veya güvenlik duvarı kuralı kullanın.

Content-Signal satırı nedir, eklemeli miyim?

Content-Signal; arama, yapay zeka yanıtları ve yapay zeka eğitimi için tercihleri belirten yeni ve isteğe bağlı bir satırdır. RFC 9309 standardının parçası değildir ve birçok tarayıcı yok sayar; engel değil, niyet beyanı olarak düşünün. Bu araçta varsayılan olarak kapalıdır ve asıl işi Disallow kuralları görür.