Uygulamada
Burada bir URL'yi engellemek taramayı durdurur, indekslemeyi değil — başka yerden bağlantı verilen engellenmiş bir sayfa, açıklaması olmadan yine görünebilir. Bunun için noindex kullanın.
Yapay zekâ tarayıcılarına nasıl davranılacağına da burada karar verilir. Bu artık teknik bir dipnot değil, ticari bir karardır.
Neden önemli
Buradaki tek bir yanlış satır bir siteyi aramadan silebilir. Bayt başına sonucu en ağır dosyadır.
İlgili terimler