Robots.txt fayli qidiruv Botlariga yo‘l-yo‘riq ko‘rsatish maqsadida yaratiladi. Ya’ni, ushbu fayl orqali qaysi kataloglarni indeksatsiya qilish yoki qilmaslikni belgilab berish mumkin.
Robots.txt oddiy matn fayli bo‘lib, oddiy Notepad dasturi orqali ham yaratilishi mumkin.
User-agent: *
Disallow: /wp-
Disallow: /feed/
Disallow: /trackback/
“User-agent: *” – Barcha qidiruv botlari(Google, Yahoo, MSN va hokazo qidiruv tizimlariga tegishli Botlar) ushbu yo‘riqnomaga asosan indeksatsiyani amalga oshirishlari shart.
“Disallow: /wp-” – bu degani, qidiruv tizim Botlari WordPress fayllarini indeksatsiya qilolmaydi. Ya’ni, wp-admin, wp-includes va hokazo fayllarni indeksatsiya qilinishidan himoyalaydi.
Agar WordPress emas, boshqa dasturdan foydalansangiz Disallow qatorini boshqa tegishli katalog nomi bilan o‘zgartirishingiz mumkin, masalan:
User-agent: *
Disallow: /images/
Disallow: /cgi-bin/
Robots.txt faylini yaratib bo‘lganingizdan so‘ng, ushbu faylni o‘zak katalogiga joylashtiring.
