Give an example of the ideal robots.txt WPFR!  

  RSS

alex as
Active Member Customer
Joined:6 months  ago
Posts: 14
22/08/2017 3:42 pm  

Извините что пишу по русски. Я экспериментирую с robots.txt уже 2 месяца, никак не найду подходящий, позиции сайта падают и приход посетителей с поисковиков yandex и google. У нас в России Яндекс больше всего 60-70% дает посетителей.

Очень прошу дайте четкий пример robots.txt для форума! Мой пример сейчас простейший:

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /?s=*
Disallow: /search*
Disallow: */trackback/
Disallow: */feed
Disallow: */print/
Disallow: *?print=*
Allow: /wp-content/uploads/

User-agent: MJ12bot
Disallow: /

User-agent: AhrefsBot
Disallow: /

Sitemap:  http://www.manval.ru/sitemap.xml 

Плагин использую google-sitemap-generator. Может настройки плагина нужно ка кто "особо" настроить для успеха? Очень вам признателен за ваше дело, я форумом очень доволен и рад что с вами!!! С приветом из России Алекс.

 

Edited: 3 months  ago

ReplyQuote
Tom
 Tom
Support Team Admin
Joined:3 years  ago
Posts: 2109
25/08/2017 2:29 pm  

Thank you Alex,

wpForo comes with own SEO pack and it's super SEO friendly. There is no mean to make any change in robot.txt to make it indexable by search engines. You just need to put your website and forum home URL in Yandex.Webmaster and force indexing. Then it'll index and display the result based on your website rank and content uniqueness.

wpDiscuz Documentation


ReplyQuote
Anna Sviridova
New Member Customer
Joined:5 months  ago
Posts: 2
11/09/2017 11:04 am  
Posted by: alex as

Извините что пишу по русски. Я экспериментирую с robots.txt уже 2 месяца, никак не найду подходящий, позиции сайта падают и приход посетителей с поисковиков yandex и google. У нас в России Яндекс больше всего 60-70% дает посетителей.

Очень прошу дайте четкий пример robots.txt для форума! Мой пример сейчас простейший:

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /?s=*
Disallow: /search*
Disallow: */trackback/
Disallow: */feed
Disallow: */print/
Disallow: *?print=*
Allow: /wp-content/uploads/

User-agent: MJ12bot
Disallow: /

User-agent: AhrefsBot
Disallow: /

Sitemap:  http://www.manval.ru/sitemap.xml 

Плагин использую google-sitemap-generator. Может настройки плагина нужно ка кто "особо" настроить для успеха? Очень вам признателен за ваше дело, я форумом очень доволен и рад что с вами!!! С приветом из России Алекс.

 

А можно у Вас узнать какую Вы sitemap используете? у меня почему то не видят практически весь форум, какие не пробовала....

 

По поводу карты, я бы Вас еще советовала закрывать 

/cgi-bin 

это системная папка но яндекс умудрялся индексировать. Так же в Вашем варианте robots есть пункты которые не имеют отношения к wp. Ко всему я бы Вам так же советовала закрыть /users* или /members*  или /profile* кто они там у Вас так же вы забыли про /activity*, так же закройте /page* вобщем посмотрите сами сколько у Вас там и дабл контента и куча всякой всячены не нужной https://www.xml-sitemaps.com/download/manval.7228991/sitemap.html?view=1

Мне тоже нравится этот форум, не могу от них смайликов добиться. Единственный форум без смайликов. 


ReplyQuote
Tom
 Tom
Support Team Admin
Joined:3 years  ago
Posts: 2109
12/09/2017 8:26 pm  

Forums are not included in sitemaps, forum doesn't need any sitemap it's already a sitemap. It should be indexed without any other solution.

Please remove all customizations from your robot txt, just remove it all and wait for indexing. We don't support robots.txt customizations, this is something hard to follow and you should use it if you're well familiar with that.

wpDiscuz Documentation


alex as liked
ReplyQuote
alex as
Active Member Customer
Joined:6 months  ago
Posts: 14
22/09/2017 11:29 pm  

Tom! Я снова извиняюсь за то что пишу по русски. У меня нет слов даже как такое понять можно чтоб удалить robot.txt!!! Без карты сайта?))) Прямо сейчас удаляю в вебмастере google@yandex карту сайта любимого уже форума WPFORO!

Я вообще забыл о всех проблемах как мучился на drupal ранее... Для новичка и средней руки вебмастера wpforo грааль просто! А тут ещё и карту сайта sitemap не нужно оказывается и форум wpforo super seo!!!

Ну ребята)), ну вы даете, кто бы меня ранее предупредил, но теперь благодаря моему посту все узнают что не нужны больше идиотские карты сайта, новая реальность идет WPFORO!

Edited: 2 months  ago

ReplyQuote
alex as
Active Member Customer
Joined:6 months  ago
Posts: 14
23/09/2017 2:47 pm  

Вчера удалил все sitemap googl yandex и файл robot.txt в корневой папке вордпресс. Сейчас пишет в вебмастере вот такой робот встал:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Многоуважаемый Том, все ли правильно сейчас и надо просто ждать переиндексации?)


ReplyQuote
Tom
 Tom
Support Team Admin
Joined:3 years  ago
Posts: 2109
25/09/2017 11:28 pm  
Posted by: alex as

Вчера удалил все sitemap googl yandex и файл robot.txt в корневой папке вордпресс. Сейчас пишет в вебмастере вот такой робот встал:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Многоуважаемый Том, все ли правильно сейчас и надо просто ждать переиндексации?)

Thank you Alex,

Yes, it's perfect. Most popular WP robot.txt file looks like this:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-content/plugins

 

Edited: 2 months  ago

wpDiscuz Documentation


ReplyQuote
alex as
Active Member Customer
Joined:6 months  ago
Posts: 14
28/10/2017 7:05 pm  

Прошел месяц, в yandex поисковик  загружено 7 123 сылок, а в поиске всего  осталось 451. При этом на форуме гораздо больше комментариев, их 1500 примерно не приватных. Так что удаление файла робот не помогает. Может где то ошибка у меня Том? Я пароли высылал вам администратора, и не менял их. Посмотрите пожалуйста.


ReplyQuote
Tom
 Tom
Support Team Admin
Joined:3 years  ago
Posts: 2109
29/10/2017 11:29 am  

I think you're tracking it wrong. We've checked all topics of your forums and all are indexed by Yandex and all comes in search result, here are examples:

https://yandex.ru/search/?text=manval.ru%20Stock%20Free
https://yandex.ru/search/?text=manval.ru%20Акции%20Quik
https://yandex.ru/search/?text=manval.ru%20Micex

All content of your forum are indexed and already in search result. This is what we see and this is the important.

Edited: 4 weeks  ago

wpDiscuz Documentation


ReplyQuote
  
Working

Please Login or Register