Uygulamada
Olağan kullanımı dardır: bir dizini engelleyip içindeki taranabilir kalması gereken tek dosyaya izin vermek.
İlk eşleşen değil en uzun eşleşen kural geçerlidir; bu yüzden her değişikliği yayına almadan önce robots.txt test aracında deneyin.
Neden önemli
Bu direktif olmadan bir bölümü engellemek, içindeki taranması gereken varlıkları ve sayfaları da engellerdi.
robots.txt hataları çoğunlukla allow kurallarında saklanır; zararsız görünüp bir engeli sessizce geçersiz kılarlar.
İlgili terimler