Google Webmaster Tools его видит, но я не могу его найти. Любая идея о том, как он генерируется или где находится файловая структура? Я не вижу файл в моем корне. Мой веб-сайт находится по адресу http://mikewills.me, а URL-адрес файла robots.txt — http://mikewills.me/robots.txt.
В конце концов, Google не индексирует мой сайт, и я пытаюсь выяснить, как отредактировать robots.txt, чтобы индексация была разрешена. Я изменил параметр конфиденциальности, чтобы разрешить индексирование, но это не обновило файл robots.txt.
Ссылка на сайт? robots.txt вряд ли имеет какое-либо отношение к WP…
Спасибо за информацию. Я был при этом предположении. Я боялся увидеть Disallow. Тогда это нормально?
@Mike: Да, все в порядке. Теперь вы говорите: «Эй, роботы, чье
User-agent
совпадение*
(то есть все роботы), список страниц, к которым вы не можете получить доступ,[empty]
». Это означает, что они могут получить доступ ко всем страницам.Добавление robots.txt в корень, похоже, не работает, он по-прежнему служит сгенерированному WordPress. Нет ли способа добавить или изменить файл robots.txt без установки подключаемого модуля?
Он динамически генерируется функцией
do_robots()
, которая имеет как действие (do_robotstxt
), так и фильтр (robots_txt
). Если вы создаетеrobots.txt
файл в корне WordPress, он (вероятно) будет обслуживаться по/robots.txt
запросу, в противном случае обработка будет возложена на WordPress.Ваш текущий файл выглядит так:
Первые два параметра подходят для индексируемого блога. Итак, вы можете просто ждать Google на данный момент. Возможно, вам нужно запросить пересмотр вашего сайта.
robots.txt создается динамически. Файл robots.txt отсутствует. Установите плагин robot.txt, который решит вашу проблему. Надеюсь это поможет