Webmaster & Kod
01 September 2026
•
18 Görüntülenme
Robots.txt Dosyası Nasıl Hazırlanır? Doğru Bot Direktifleri
Arama motoru örümceklerinin sitenizde nereleri tarayıp nereleri atlayacağını belirleyen robots.txt kurallarının oluşturulması.
Robots.txt Dosyasının Amacı
Robots.txt, arama motoru örümceklerine (Googlebot, Bingbot, YandexBot) sitenizin hangi kısımlarını tarayabileceklerini belirten bir yönerge dosyasıdır.
Temel Robots.txt Örneği:
User-agent: *
Disallow: /admin/
Disallow: /tmp/
Sitemap: https://sitemaps.com.tr/sitemap.xml
Kendi sitenize özel kural dosyasını Robots.txt Generator aracımızla saniyeler içinde oluşturabilirsiniz.
İlgili Diğer Makaleler
Domain & WHOIS