XenForo için robots.txt Dosyası

[guclusat]

User-agent: *  
Disallow: /misc 
Disallow: /help  
Disallow: /search  
Disallow: /members  
Disallow: /register  
Disallow: /login  
Disallow: /online  
Disallow: /lost-password  
Disallow: /recent-activity

Kısa Açıklama :
.txt dosyası hazırlayıp içine yukarıdaki kodları kopyalayıp yapıştırın ve site ana dizinine atın.....
​

Bu İşlem Google ve Benzeri Arama Motorlarının Botlarının Sitenizde İndexlemesini İstemediğiniz Yerler İçin Yapılan Bir Düzenlemedir.

Örneğin "Disallow: /members" Komutunu Kullandığınızda Üye Listeniz Google ve Diğer Arama Motorları Tarafından İndexlenmeyecektir.
​