📖 Sözlük · Terim
Robots.txt nedir?
Kısa cevap
Robots.txt, sitenizin ana dizininde duran ve arama motoru botlarına hangi bölümleri tarayıp hangilerine girmemeleri gerektiğini söyleyen düz metin dosyasıdır. Adresi alanadiniz.com/robots.txt biçimindedir. Güvenlik önlemi değildir; yalnızca kurallara uyan botlar için bir yönlendirmedir.
Son güncelleme: 21 Ekim 2026 · Hazırlayan: Rebitra ekibi
Kısaca ne işe yarar?
Robots.txt'yi sitenin kapısındaki tabela gibi düşünebilirsiniz: "yönetim paneline girmeyin, sepet sayfalarını taramayın, şu klasör bana ait." Google ve diğer arama motorlarının botları bir siteyi taramadan önce bu dosyaya bakar. Dosya basit satırlardan oluşur:
- `User-agent:` kuralın hangi bot için geçerli olduğunu belirtir.
- `Disallow:` taranmasını istemediğiniz yolu yazar.
- `Allow:` kapalı bir klasör içinde izin verilen bir yolu belirtir.
- `Sitemap:` site haritanızın adresini bildirir.
Amaç, botun zamanını gereksiz sayfalarda harcatmayıp önemli sayfalara yönlendirmektir.
Örnekle anlatalım
Adana'da bir inşaat firması yeni web sitesini önce bir test adresinde hazırlıyor. Geliştirici, test sitesinin Google'a düşmemesi için robots.txt'ye şu iki satırı koyuyor:
`User-agent: *` `Disallow: /`
Bu kural "sitenin tamamını tarama" anlamına gelir ve test aşamasında doğru bir tercihtir. Site yayına alınırken dosya da olduğu gibi canlıya taşınırsa tek bir satır yüzünden bütün site tarama dışında kalır. Haftalarca fark edilmeyen bu hata, firmanın kendi adıyla bile bulunamamasına yol açabilir. Çözüm, yayından sonra robots.txt'yi ve Search Console'daki ilgili raporu mutlaka kontrol etmektir.
Sık yapılan hatalar
- Robots.txt'yi gizlilik aracı sanmak. Dosya herkese açıktır; içindeki yollar başkalarına da gösterilmiş olur. Gizli kalması gereken sayfalar şifre ile korunmalıdır.
- Sayfayı dizinden çıkarmak için kullanmak. Taramayı engellemek, indekslemeyi engellemek değildir. Başka sitelerden link alan kapalı bir adres yine de sonuçlarda adres olarak görünebilir. Bunun için noindex gibi sayfa düzeyinde yöntemler gerekir.
- CSS ve JavaScript dosyalarını kapatmak. Google sayfayı görsel olarak değerlendirir; bu dosyalar kapalıysa sayfa bozuk görünebilir.
- Yazım hatası yapmak. Büyük küçük harf, eksik eğik çizgi ya da yanlış klasör adı kuralı işlevsiz bırakır.
Diğer teknik dosyalarla birlikte düşünün
Robots.txt tek başına çalışmaz. Botlara sayfa listesini veren XML site haritası ve kopya sayfaları işaretleyen canonical etiketi ile birlikte tutarlı olmalıdır. Sitenizin bu yönden denetlenmesini istiyorsanız SEO hizmeti sayfamızı inceleyebilirsiniz.
Bununla ilgili diğer sorular
Robots.txt dosyam yoksa site Google'da çıkmaz mı?
Çıkar. Dosya zorunlu değildir; bulunmadığında botlar siteyi serbestçe tarar. Dosya yalnızca taranmasını istemediğiniz bölümler olduğunda ya da site haritası adresini bildirmek istediğinizde işe yarar.
Robots.txt dosyamı nasıl kontrol ederim?
Tarayıcıya alanadiniz.com/robots.txt yazarak dosyayı doğrudan görebilirsiniz. Google Search Console'daki robots.txt raporu ise dosyanın okunup okunmadığını ve hata olup olmadığını gösterir.
İlgili hizmetler
Bölgelere göre
- Adana SEO Ajansı ve Uzmanı: Aylık Çalışma, Açık Rapor, Yazılı Fiyat
- Aladağ SEO Firması: Andız Pekmezinden Küp Şelalesi'ne Küçük Üreticiler İçin
- Antakya SEO Ajansı: Künefeciden Müteahhide, Şehri Arayan Müşteriye Görünmek
- Ceyhan SEO Uzmanı: Ovanın ve Limanın Firmaları İçin Aylık SEO Hizmeti
- Çukurova SEO Uzmanı: Yeni İşletmeler İçin Açılıştan Başlayan Altı Aylık Plan
- Feke SEO Ajansı: Fasulye, Mantar ve Lavanta Google'da Nasıl Satılır?
- Gaziantep SEO Ajansı: Çok Dilli İhracat Siteleri ve Coğrafi İşaretli Ürünler için Arama Görünürlüğü
- Hatay SEO Danışmanı ve Ajansı: Yeniden Açılan İşletmeler İçin Google Görünürlüğü
Benzer terimler
Rehberde ve diğer bölümlerde
- Rehber · llms.txt nedir?