robots.txt Test Aracı
robots.txt dosyanızı indirip söz dizimini denetleyin; herhangi bir adresin Googlebot, Bingbot ya da yapay zekâ botları için engelli olup olmadığını ve hangi kuralın karar verdiğini görün.
Ücretsiz · Robot Kalkanı ile korunur · Sorgular saklanmaz
robots.txt
2 grup · 10 satırAdres testi
İzin veriliyor
Yol: /wp-admin/admin-ajax.php · Grup: *
Kural (satır 3): Allow: /wp-admin/admin-ajax.php
Bütün botlar için bu adres
Arama motorları
- Googlebot (mobil)
- Googlebot-Image
- Bingbot
- YandexBot
- Applebot
- DuckDuckBot
Yapay zekâ botları
- GPTBot
- OAI-SearchBot
- ClaudeBot
- Claude-SearchBot
- Google-Extended
- PerplexityBot
- Applebot-Extended
- CCBot
- Meta-ExternalAgent
- Bytespider
Sosyal medya önizleme
- facebookexternalhit
- Twitterbot
- LinkedInBot
SEO araçları
- AhrefsBot
- SemrushBot
Sözdizimi ve site haritaları
- Sitemap: https://ornek.com.tr/sitemap.xml
robots.txt Test Aracı ne işe yarar?
robots.txt, sitenizin hangi bölümlerinin hangi botlar tarafından taranabileceğini belirler. Tek bir hatalı satır bütün sitenizi Google'dan gizleyebilir. Bu araç dosyayı RFC 9309 standardına ve Google'ın uygulamasına göre ayrıştırır: en özel User-agent grubunu seçer, en uzun eşleşen kuralı bulur ve eşitlikte Allow'u öne alır.
Dosyayı sitenizden indirebilir ya da yayına almadan önce kendi taslağınızı yapıştırıp deneyebilirsiniz. Test tamamen tarayıcınızda çalışır.