У меня есть сайт, страницы которого индексируются в Google в виде…
site.com/?p=1
site.com/?category_name=uncategorized
site.com/?author=1
site.com/?m=201103
И поскольку постоянные ссылки сайта были установлены на postname с момента создания сайта, я пытаюсь определить, как создаются эти ссылки и где я могу найти исходный файл, который создал индекс ссылок.
Я понимаю, что возможно, что сайт был проиндексирован до обновления постоянной ссылки, но просто пытаюсь определить, есть ли сценарий, о котором я не знаю, который может быть доступен для паука поисковой системы.
Любые идеи?
Есть два места, где боты будут искать: ваша карта сайта (если вы отправили ее в Google) и ваш файл robots.txt. Сам WordPress ничего не помещает в robots.txt (если вы не сделаете свой сайт закрытым, тогда он говорит ботам ничего не индексировать), а также не создает XML-карты сайта, которые будет использовать Google.
Однако есть несколько плагинов, которые сделают это за вас. Я знаю, что Google XML Sitemaps популярен и мне подходит. SEO -плагин Yoast также создает карты сайта для вас.
Я думаю, что самый простой способ заставить Google начать индексацию правильно — это создать карту сайта с одним из этих двух плагинов, а затем отправить ее в Google с помощью инструментов Google для веб-мастеров.
Если ваш сайт ранее был проиндексирован с этими URL-адресами, они останутся до тех пор, пока робот Google не просканирует ваш сайт повторно. Затем он заметит перенаправления со старых URL-адресов на новые и соответствующим образом исправит себя.
Это не быстрый процесс. Может занять месяцы.