Give an example of the ideal robots.txt WPFR!  

  RSS

alex as
Active Member Customer
Joined:4 months  ago
Posts: 11
22/08/2017 3:42 pm  

Извините что пишу по русски. Я экспериментирую с robots.txt уже 2 месяца, никак не найду подходящий, позиции сайта падают и приход посетителей с поисковиков yandex и google. У нас в России Яндекс больше всего 60-70% дает посетителей.

Очень прошу дайте четкий пример robots.txt для форума! Мой пример сейчас простейший:

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /?s=*
Disallow: /search*
Disallow: */trackback/
Disallow: */feed
Disallow: */print/
Disallow: *?print=*
Allow: /wp-content/uploads/

User-agent: MJ12bot
Disallow: /

User-agent: AhrefsBot
Disallow: /

Sitemap:  http://www.manval.ru/sitemap.xml 

Плагин использую google-sitemap-generator. Может настройки плагина нужно ка кто "особо" настроить для успеха? Очень вам признателен за ваше дело, я форумом очень доволен и рад что с вами!!! С приветом из России Алекс.

 

Edited: 4 weeks  ago

ReplyQuote
Tom
 Tom
Support Team Admin
Joined:2 years  ago
Posts: 1923
25/08/2017 2:29 pm  

Thank you Alex,

wpForo comes with own SEO pack and it's super SEO friendly. There is no mean to make any change in robot.txt to make it indexable by search engines. You just need to put your website and forum home URL in Yandex.Webmaster and force indexing. Then it'll index and display the result based on your website rank and content uniqueness.

wpDiscuz Documentation


ReplyQuote
Anna Sviridova
New Member Customer
Joined:3 months  ago
Posts: 1
11/09/2017 11:04 am  
Posted by: alex as

Извините что пишу по русски. Я экспериментирую с robots.txt уже 2 месяца, никак не найду подходящий, позиции сайта падают и приход посетителей с поисковиков yandex и google. У нас в России Яндекс больше всего 60-70% дает посетителей.

Очень прошу дайте четкий пример robots.txt для форума! Мой пример сейчас простейший:

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /?s=*
Disallow: /search*
Disallow: */trackback/
Disallow: */feed
Disallow: */print/
Disallow: *?print=*
Allow: /wp-content/uploads/

User-agent: MJ12bot
Disallow: /

User-agent: AhrefsBot
Disallow: /

Sitemap:  http://www.manval.ru/sitemap.xml 

Плагин использую google-sitemap-generator. Может настройки плагина нужно ка кто "особо" настроить для успеха? Очень вам признателен за ваше дело, я форумом очень доволен и рад что с вами!!! С приветом из России Алекс.

 

А можно у Вас узнать какую Вы sitemap используете? у меня почему то не видят практически весь форум, какие не пробовала....

 

По поводу карты, я бы Вас еще советовала закрывать 

/cgi-bin 

это системная папка но яндекс умудрялся индексировать. Так же в Вашем варианте robots есть пункты которые не имеют отношения к wp. Ко всему я бы Вам так же советовала закрыть /users* или /members*  или /profile* кто они там у Вас так же вы забыли про /activity*, так же закройте /page* вобщем посмотрите сами сколько у Вас там и дабл контента и куча всякой всячены не нужной https://www.xml-sitemaps.com/download/manval.7228991/sitemap.html?view=1

Мне тоже нравится этот форум, не могу от них смайликов добиться. Единственный форум без смайликов. 


ReplyQuote
Tom
 Tom
Support Team Admin
Joined:2 years  ago
Posts: 1923
12/09/2017 8:26 pm  

Forums are not included in sitemaps, forum doesn't need any sitemap it's already a sitemap. It should be indexed without any other solution.

Please remove all customizations from your robot txt, just remove it all and wait for indexing. We don't support robots.txt customizations, this is something hard to follow and you should use it if you're well familiar with that.

wpDiscuz Documentation


ReplyQuote
  
Working

Please Login or Register