Как оптимизировать файл WordPress Robots.txt для лучшего SEO

  1. Что такое файл WordPress robots.txt и нужно ли о нем беспокоиться?
  2. Как оптимизировать файл WordPress robots.txt для улучшения SEO
  3. Как выглядит идеальный файл robots.txt?
  4. Что я должен запретить или noindex?
  5. Как отправить файл WordPress robots.txt в Google?
  6. Заключение

Если вам интересно, как оптимизировать файл WordPress robots.txt для лучшее SEO Вы пришли в нужное место.

В этом кратком руководстве я объясню, что такое файл robots.txt, почему важно улучшить ваши поисковые рейтинги и как внести в него изменения и отправить его в Google.

Давайте погрузимся в!

Что такое файл WordPress robots.txt и нужно ли о нем беспокоиться?

Файл robots.txt - это файл на вашем сайте, который позволяет запретить поисковым системам доступ к определенным файлам и папкам. Вы можете использовать его, чтобы заблокировать роботы Google (и другие поисковые системы) от сканирования определенных страниц на вашем сайте. Вот пример файла:

Так как же запрет доступа к поисковым системам на самом деле улучшает вашу SEO? Кажется нелогичным ...

Это работает так: чем больше страниц на вашем сайте, тем больше страниц нужно сканировать.

Например, если в вашем блоге много страниц категорий и тегов, эти страницы некачественные и не должны сканироваться поисковыми системами; они просто потребляют ваш сайт бюджет обхода (выделенное количество страниц, которые Google будет сканировать на вашем сайте в любое время).

Бюджет сканирования важен, поскольку он определяет, насколько быстро Google отслеживает изменения на вашем сайте и, следовательно, насколько быстро вы получаете рейтинг. Это может особенно помочь с Электронная коммерция SEO !

Просто будьте осторожны, чтобы сделать это правильно, так как это может нанести вред вашему SEO, если сделано плохо. Для получения дополнительной информации о том, как правильно не индексировать нужные страницы, проверьте это руководство от DeepCrawl ,

Итак, вам нужно возиться с файлом WordPress robots.txt?

Если вы находитесь в высококонкурентной нише с большим сайтом, вероятно. Если вы только начинаю свой первый блог , тем не мение, создание ссылок на ваш контент а также создавая много качественных статей большие приоритеты.

Как оптимизировать файл WordPress robots.txt для улучшения SEO

Теперь давайте обсудим, как на самом деле добраться (или создать) и оптимизировать файл WordPress robots.txt.

Robots.txt обычно находится в корневой папке вашего сайта. Вам нужно будет подключиться к вашему сайту, используя FTP-клиент или с помощью файлового менеджера вашей cPanel, чтобы просмотреть его. Это обычный текстовый файл, который вы можете открыть с помощью Блокнота.

Если у вас нет файла robots.txt в корневом каталоге вашего сайта, вы можете его создать. Все, что вам нужно сделать, это создать новый текстовый файл на вашем компьютере и сохранить его как robots.txt. Затем просто загрузите его в корневую папку вашего сайта.

Как выглядит идеальный файл robots.txt?

Формат файла robots.txt действительно прост. В первой строке обычно указывается пользовательский агент. Пользовательский агент - это имя поискового бота, с которым вы пытаетесь связаться. Например, Googlebot или Bingbot. Вы можете использовать звездочку *, чтобы проинструктировать всех ботов.

Следующая строка сопровождается инструкциями « Разрешить» или « Запретить» для поисковых систем, чтобы они знали, какие части вы хотите проиндексировать, а какие не хотите индексировать.

Вот пример:

User-Agent: * Разрешить: /? Display = wide Разрешить: / wp-content / uploads / Disallow: / wp-content / plugins / Disallow: /readme.html Disallow: / Refer / Карта сайта: http: //www.codeinwp .com / post-sitemap.xml Карта сайта: http://www.codeinwp.com/page-sitemap.xml Карта сайта: http://www.codeinwp.com/deals-sitemap.xml Карта сайта: http: // www. codeinwp.com/hosting-sitemap.xml

Обратите внимание, что если вы используете плагин, такой как Yoast или Все в одном SEO Вам может не понадобиться добавлять раздел карты сайта, поскольку они пытаются сделать это автоматически. Если это не удается, вы можете добавить его вручную, как в примере выше.

Что я должен запретить или noindex?

В правилах Google для веб-мастеров они советуют веб-мастерам не использовать свой файл robots.txt для сокрытия некачественного контента. Таким образом, использование файла robots.txt для предотвращения индексации Google вашей категории, даты и других архивных страниц может быть не самым разумным выбором.

Помните, что цель robots.txt - указать ботам, что делать с контентом, который они сканируют на вашем сайте. Это не мешает им сканировать ваш сайт.

Кроме того, вам не нужно добавлять свою страницу входа в WordPress, каталог администратора или страницу регистрации в robots.txt, потому что страницы входа и регистрации имеют тег noindex, автоматически добавляемый WordPress.

Однако я рекомендую вам запретить чтение файла readme.html в файле robots.txt. Этот файл readme может быть использован кем-то, кто пытается выяснить, какую версию WordPress вы используете. Если это человек, он может легко получить доступ к файлу, просто просматривая его. Кроме того, размещение тега disallow может блокировать злонамеренные атаки.

Говоря об этом, вы также можете запретить каталог плагинов WordPress, чтобы повысить безопасность вашего сайта против тех, кто ищет конкретный уязвимый плагин для использования.

Как отправить файл WordPress robots.txt в Google?

После того как вы обновили или создали свой файл robots.txt, вы можете отправить его в Google с помощью консоли поиска Google.

Тем не менее, я рекомендую сначала протестировать его Инструмент тестирования Google robots.txt ,

txt   ,

Если вы не видите версию, которую вы создали здесь, вам придется повторно загрузить файл robots.txt, который вы создали, на свой сайт WordPress. Вы можете сделать это с помощью Yoast SEO ,

Заключение

Теперь вы знаете, как оптимизировать файл WordPress robots.txt для улучшения SEO.

Не забывайте соблюдать осторожность при внесении каких-либо серьезных изменений в ваш сайт через robots.txt. Хотя эти изменения могут улучшить ваш поисковый трафик, они также могут принести больше вреда, чем пользы, если вы не будете осторожны.

И если вы хотите больше узнать, проверьте наши окончательный обзор учебных пособий по WordPress !

Дайте нам знать об этом в комментариях; Есть ли у вас какие-либо вопросы о том, как оптимизировать файл WordPress robots.txt? Какое влияние это оказало на ваш поисковый рейтинг?

Бесплатный путеводитель

5 основных советов для ускорения
Ваш WordPress Сайт

Сократите время загрузки даже на 50-80%
просто следуя простым советам.

Txt и нужно ли о нем беспокоиться?
Txt?
Что я должен запретить или noindex?
Txt в Google?
Txt и нужно ли о нем беспокоиться?
Txt?
Txt?
Что я должен запретить или noindex?
Txt в Google?
Txt?