robots.txt Dosyasini vBSEO ve vBulletin e Gore Ayarlamak

[guclusat]

robots.txt dosyanizi vbseo ve vbulletin e gore en uygun sekilde nasil ayarliyabileceginizi burada anlatacagiz.
Oncelikle kisaca robots.txt dosyasi ne is yapar? bundan bahsedeyim.
Bu dosyanin tek amaci, arama motoru orumcekleri sitenize geldiginde, sitenizi indexlesin mi? indexlemesin mi? veya nereleri indexlemesin bunu belirtiyoruz.
ornegin sitenizdeki admin klasorunun indekslenmesine hicbir gerek yok. veya yoneticilerinize ozel olan bir bolumun. Belkide yemek tarifi sitenizde dikis nakistan bahsediyorsunuz ve googlede bunlarin bulunmasini degil, sadece yemek alaninda bulunmak istiyorsunuz, iste bu isi robots.txt den yapacaksiniz.
Alttaki liste basit olarak standart vbulletin ve vbseo kullanan sitelerde gorunmemesi gereken yerleri iceriyor.
Forum ana klasorune atmaniz kafidir.
Basarilar.

#ALL BOTS

User-agent: *
Disallow: /admincp/
Disallow: /ajax.php
Disallow: /clientscript/
Disallow: /cpstyles/
Disallow: /images/
Disallow: /includes/
Disallow: /install/
Disallow: /modcp/
Disallow: /subscriptions/
Disallow: /customavatars/
Disallow: /customprofilepics/
Disallow: /announcement.php
Disallow: /calendar.php
Disallow: /cron.php
Disallow: /editpost.php
Disallow: /faq.php
Disallow: /frm_attach
Disallow: /image.php
Disallow: /inlinemod.php
Disallow: /joinrequests.php
Disallow: /login.php
Disallow: /memberlist.php
Disallow: /misc.php
Disallow: /moderator.php
Disallow: /newattachment.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /payment_gateway.php
Disallow: /payments.php
Disallow: /poll.php
Disallow: /wtf.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /profile.php
Disallow: /register.php
Disallow: /report.php
Disallow: /reputation.php
Disallow: /search.php
Disallow: /sendmessage.php
Disallow: /subscription.php
Disallow: /usercp.php
Disallow: /threadrate.php
Disallow: /usernote.php
​