SEO: Robots.txt faylini yaratish 3-Fevral, 2008

Robots.txt fayli qidiruv Botlariga yo‘l-yo‘riq ko‘rsatish maqsadida yaratiladi. Ya’ni, ushbu fayl orqali qaysi kataloglarni indeksatsiya qilish yoki qilmaslikni belgilab berish mumkin.

Robots.txt oddiy matn fayli bo‘lib, oddiy Notepad dasturi orqali ham yaratilishi mumkin.

User-agent: *
Disallow: /wp-
Disallow: /feed/
Disallow: /trackback/


“User-agent: *” - Barcha qidiruv botlari(Google, Yahoo, MSN va hokazo qidiruv tizimlariga tegishli Botlar) ushbu yo‘riqnomaga asosan indeksatsiyani amalga oshirishlari shart.

“Disallow: /wp-” - bu degani, qidiruv tizim Botlari WordPress fayllarini indeksatsiya qilolmaydi. Ya’ni, wp-admin, wp-includes va hokazo fayllarni indeksatsiya qilinishidan himoyalaydi.

Agar WordPress emas, boshqa dasturdan foydalansangiz Disallow qatorini boshqa tegishli katalog nomi bilan o‘zgartirishingiz mumkin, masalan:

User-agent: *
Disallow: /images/
Disallow: /cgi-bin/

Robots.txt faylini yaratib bo‘lganingizdan so‘ng, ushbu faylni o‘zak katalogiga joylashtiring.

Teglar: , , , , , , ,
Bo‘lim: SEO, Yo‘riqnoma |

Muhokama:

Ushbu XHTML teglardan foydalanish mumkin: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>