Give an example of the ideal robots.txt WPFR!

Thank you Alex,

wpForo comes with own SEO pack and it's super SEO friendly. There is no mean to make any change in robot.txt to make it indexable by search engines. You just need to put your website and forum home URL in Yandex.Webmaster and force indexing. Then it'll index and display the result based on your website rank and content uniqueness.

Posted by: alex as

Извините что пишу по русски. Я экспериментирую с robots.txt уже 2 месяца, никак не найду подходящий, позиции сайта падают и приход посетителей с поисковиков yandex и google. У нас в России Яндекс больше всего 60-70% дает посетителей.

Очень прошу дайте четкий пример robots.txt для форума! Мой пример сейчас простейший:

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /?s=*
Disallow: /search*
Disallow: */trackback/
Disallow: */feed
Disallow: */print/
Disallow: *?print=*
Allow: /wp-content/uploads/

User-agent: MJ12bot
Disallow: /

User-agent: AhrefsBot
Disallow: /

Sitemap:  http://www.manval.ru/sitemap.xml 

Плагин использую google-sitemap-generator. Может настройки плагина нужно ка кто "особо" настроить для успеха? Очень вам признателен за ваше дело, я форумом очень доволен и рад что с вами!!! С приветом из России Алекс.

 

А можно у Вас узнать какую Вы sitemap используете? у меня почему то не видят практически весь форум, какие не пробовала....

По поводу карты, я бы Вас еще советовала закрывать 

/cgi-bin 

это системная папка но яндекс умудрялся индексировать. Так же в Вашем варианте robots есть пункты которые не имеют отношения к wp. Ко всему я бы Вам так же советовала закрыть /users* или /members*  или /profile* кто они там у Вас так же вы забыли про /activity*, так же закройте /page* вобщем посмотрите сами сколько у Вас там и дабл контента и куча всякой всячены не нужной https://www.xml-sitemaps.com/download/manval.7228991/sitemap.html?view=1

Мне тоже нравится этот форум, не могу от них смайликов добиться. Единственный форум без смайликов. 

Forums are not included in sitemaps, forum doesn't need any sitemap it's already a sitemap. It should be indexed without any other solution.

Please remove all customizations from your robot txt, just remove it all and wait for indexing. We don't support robots.txt customizations, this is something hard to follow and you should use it if you're well familiar with that.

Tom! Я снова извиняюсь за то что пишу по русски. У меня нет слов даже как такое понять можно чтоб удалить robot.txt!!! Без карты сайта?))) Прямо сейчас удаляю в вебмастере google@yandex карту сайта любимого уже форума WPFORO!

Я вообще забыл о всех проблемах как мучился на drupal ранее... Для новичка и средней руки вебмастера wpforo грааль просто! А тут ещё и карту сайта sitemap не нужно оказывается и форум wpforo super seo!!!

Ну ребята)), ну вы даете, кто бы меня ранее предупредил, но теперь благодаря моему посту все узнают что не нужны больше идиотские карты сайта, новая реальность идет WPFORO!

Вчера удалил все sitemap googl yandex и файл robot.txt в корневой папке вордпресс. Сейчас пишет в вебмастере вот такой робот встал:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Многоуважаемый Том, все ли правильно сейчас и надо просто ждать переиндексации?)

Posted by: alex as

Вчера удалил все sitemap googl yandex и файл robot.txt в корневой папке вордпресс. Сейчас пишет в вебмастере вот такой робот встал:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Многоуважаемый Том, все ли правильно сейчас и надо просто ждать переиндексации?)

Thank you Alex,

Yes, it's perfect. Most popular WP robot.txt file looks like this:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-content/plugins

Прошел месяц, в yandex поисковик  загружено 7 123 сылок, а в поиске всего  осталось 451. При этом на форуме гораздо больше комментариев, их 1500 примерно не приватных. Так что удаление файла робот не помогает. Может где то ошибка у меня Том? Я пароли высылал вам администратора, и не менял их. Посмотрите пожалуйста.

I think you're tracking it wrong. We've checked all topics of your forums and all are indexed by Yandex and all comes in search result, here are examples:

https://yandex.ru/search/?text=manval.ru%20Stock%20Free
https://yandex.ru/search/?text=manval.ru%20Акции%20Quik
https://yandex.ru/search/?text=manval.ru%20Micex

All content of your forum are indexed and already in search result. This is what we see and this is the important.