Руководство для начинающих по вашему файлу WordPress Robots.txt

  1. Что такое файл WordPress Robots.txt?
  2. Вашему сайту нужен этот файл?
  3. Является ли файл Robots.txt надежным способом контроля того, какая страница должна быть проиндексирована?
  4. Как создать файл Robots.txt?
  5. Как создать файл Robots.txt без плагина SEO?
  6. Как использовать файл Robots.txt, чтобы заблокировать доступ к определенной странице?
  7. Что положить в ваш файл Robot.txt?
  8. Как создать разные правила для разных ботов?
  9. Чего следует избегать при создании файла Robots.txt
  10. Добавление ваших файлов Sitemap XML в файл Robots.txt
  11. Как узнать, что ваш файл Robots.txt не влияет на ваш контент?
  12. Заключительные слова
  13. Похожие сообщения

robots.txt Файл играет очень важную роль в общей SEO вашего сайта. Этот файл находится на вашем сервере и сообщает поисковым системам, какая часть сайта должна быть проиндексирована и сканирована поисковыми системами. По сути, он содержит набор правил для взаимодействия с поисковыми системами и указания, какая часть вашего сайта должна быть проиндексирована.

Хотя большинство веб-сайтов имеют файл robots.txt, не все веб-мастера знают, насколько важен этот файл и как он может повлиять на производительность своего веб-сайта.

txt, не все веб-мастера знают, насколько важен этот файл и как он может повлиять на производительность своего веб-сайта

исключающее Код купона WPEngine для посетителей AlienWP!
Получите 5 месяцев бесплатно и скидку 30% на все планы.
Нажмите на код купона, чтобы скопировать и открыть ссылку »

alienwp30

Нажмите, чтобы открыть / скопировать

В сегодняшнем уроке мы расскажем вам, что именно представляет собой файл robots.txt, и все, что вам нужно знать об этом файле.

Что такое файл WordPress Robots.txt?

Каждый веб-сайт в Интернете посещается определенным типом робота, который является своего рода ботом.

Если вы не знаете, что такое бот, поисковые системы, такие как Google и Bing, являются идеальным примером для вас, чтобы понять это.

Поэтому, когда эти боты ползают по Интернету, они помогают поисковым системам индексировать и ранжировать миллиарды веб-сайтов, существующих в Интернете.

Таким образом, эти боты на самом деле помогают вашему сайту быть обнаруженным поисковыми системами. Однако это не означает, что вы хотите, чтобы все ваши страницы были найдены.

Вы особенно хотели бы, чтобы ваша панель управления и область администратора оставались скрытыми, потому что это частная область, из которой вы управляете интерфейсом вашего сайта. Иногда вы можете захотеть, чтобы весь сайт был скрыт от поисковых систем по той причине, что он все еще находится в режиме разработки и просто не готов к работе.

Robots.txt Команды, изображение из Страница веб-роботов

Именно здесь появляется файл robots.txt. Этот файл помогает вам контролировать взаимодействие ботов с вашим сайтом. Таким образом, используя этот файл, вы можете либо ограничить, либо полностью заблокировать его доступ к определенной области вашего сайта.

Вашему сайту нужен этот файл?

Хотя поисковые системы не прекращают сканирование, при отсутствии этого файла всегда рекомендуется иметь его.

Поисковые системы придут к этому файлу, если вы захотите отправить свои карты сайта XML в поисковые системы, такие как Google. Очевидно, вы можете контролировать его, особенно указав его в Google Web Master Tools.

Создание файла robot.txt имеет два основных преимущества для вашего сайта. Во-первых, это помогает поисковым системам выяснить, какие страницы вы хотите сканировать, а какие - игнорировать. Делая это, вы убедитесь, что поисковые системы сфокусированы на страницах, которые вы хотите, чтобы они показывали вашей аудитории.

Во-вторых, это помогает вам оптимизировать использование исследований, блокируя ботов, которые излишне тратят ресурсы вашего сервера.

Если ваш сайт работает на WordPress, вам обычно не нужно прилагать дополнительных усилий для создания файла robots.txt для вашего сайта. Виртуальный robots.txt автоматически создается на вашем сайте WordPress. Но все же лучше иметь физический файл robots.txt.

Является ли файл Robots.txt надежным способом контроля того, какая страница должна быть проиндексирована?

Ну, как я уже упоминал, поисковые системы не прекратят сканировать ваши страницы при отсутствии этого файла. Создание этого файла не является надежным способом контроля того, какую страницу вы хотите индексировать поисковым системам.

Если вы хотите особенно прекратить поисковики сканировать определенную страницу, вы можете используйте мета-тэг noindex чтобы полностью заблокировать их.

Используя файл robots.txt, вы не говорите поисковым системам не индексировать их. Это только побуждает их не сканировать эти страницы. Хотя Google не сканирует эти области вашего сайта, он может сделать это, если какой-либо другой сайт ссылается на эту часть вашего сайта.

Вы можете просмотреть этот файл, подключившись к вашему сайту с помощью FTP-клиент , Вы также можете сделать это с помощью файлового менеджера cPanel. Этот файл обычно находится в корневой папке вашего сайта.

Вы можете открыть этот файл с помощью любого текстового редактора, такого как Блокнот. Это обычный файл, для открытия которого не требуется специальный редактор.

Вам не нужно беспокоиться о существовании этого файла на вашем сайте. WordPress автоматически создает файл robot.txt по умолчанию для вашего сайта.

Если вы все еще сомневаетесь в этом, есть способ показать, что этот файл существует на вашем сайте. Просто добавьте «/robots.txt» в конец вашего доменного имени. Он покажет вам файл robots.txt вашего сайта.

В нашем случае «www.alienwp.com/robots.txt» показывает файл robots.txt, который мы здесь используем.

Вы не можете изменить существующий файл, который будет у вас на сайте. Но если вы хотите манипулировать им, вам придется создать физический на вашем сервере. Существующий является виртуальным, который не принимает никаких изменений.

Как создать файл Robots.txt?

Если на вашем сайте нет файла robots.txt, создать его не очень сложно. Вы можете легко сделать это из вашей админ-панели через плагин Yoast. Yoast - один из самых удивительных плагинов SEO, который должен использовать каждый сайт WordPress. Если вы все еще не используете этот плагин, установите его сейчас, чтобы улучшить свой SEO.

После установки Yoast вам сначала необходимо включить расширенные функции Yoast. Вы можете сделать это, зайдя в SEO> Панель инструментов> Функции> Расширенные настройки.

Вы можете сделать это, зайдя в SEO> Панель инструментов> Функции> Расширенные настройки

Теперь перейдите в SEO> Инструменты >> Редактор файлов.

Теперь перейдите в SEO> Инструменты >> Редактор файлов

Здесь Yoast будет считать, что у вас нет физического файла Robots.txt, и, учитывая это, он даст вам возможность его создать.

txt, и, учитывая это, он даст вам возможность его создать

Нажмите на опцию создания файла Robots.txt. Как только вы это сделаете, вы сможете редактировать содержимое этого файла из того же интерфейса.

Как только вы это сделаете, вы сможете редактировать содержимое этого файла из того же интерфейса

Как создать файл Robots.txt без плагина SEO?

Вышеупомянутый процесс был способ создать этот файл с помощью плагина SEO. Но вы можете создать его, даже если вы не используете такой плагин. Это можно сделать через SFTP. Делать это очень легко.

Для этого вам сначала нужно будет создать пустой файл. Назовите его как Robots.txt и сохраните.

txt и сохраните

На следующем шаге вам нужно будет подключиться к вашему сайту через SFTP. Кинста имеет руководство по как подключиться к SFTP , Как только вы подключитесь, вам нужно будет загрузить файл в корневую папку вашего сайта. Если вы хотите внести какие-либо изменения в этот файл, вы можете сделать это, отредактировав его через SFTP и загрузив новую версию.

Как использовать файл Robots.txt, чтобы заблокировать доступ к определенной странице?

Вы можете заблокировать определенный файл или папку вашего сайта, используя файл robots.txt. Предположим, вы хотите запретить Google сканировать всю папку wp-admin и wp-login.php. Следующая команда поможет вам сделать это на вашем сайте.

Пользовательский агент: * Disallow: / wp-admin / Allow: /wp-login.php

Что положить в ваш файл Robot.txt?

Когда вы создаете файл robots.txt для своего сайта, вы обычно делаете это с помощью двух основных команд.

  • User-agent - используя user-agent, вы можете указать на конкретного бота или поисковую систему более простыми словами. Таким образом, ваш пользовательский агент отличается для разных поисковых систем. Так что пользовательский агент для Google не будет таким же для Bing.
  • Disallow - этой командой вы говорите поисковым системам, чтобы они не обращались к определенным областям вашего сайта. Таким образом, поисковые системы не достигают областей, для которых используется эта команда.

Иногда вы также можете увидеть использование команды Разрешить. Это обычно используется в нишевых ситуациях. Даже если вы не используете эту команду, большая часть вашего сайта попадает под эту команду. Это установлено по умолчанию на вашем сайте WordPress.

Вышеуказанные правила являются только основными. Есть еще правила, о которых вам нужно знать. Вот несколько из них.

  • Разрешить - эта команда явно позволяет поисковым системам сканировать сущность на вашем сервере
  • Карта сайта - эта команда сообщает сканерам, где находятся файлы сайта вашего сайта.
  • Хост - Хост определяет предпочитаемый вами домен для сайта с несколькими зеркалами.
  • Crawl-delay - с помощью этой команды вы можете установить временной интервал, по которому поисковые системы должны ждать между запросами к вашему серверу

Как создать разные правила для разных ботов?

Файл robots.txt имеет собственный синтаксис для определения правил, которые обычно называются директивами. Как мы уже упоминали ранее, разные боты имеют разные команды user-agent. Так что, если вы хотите установить свой файл Robots.txt для разных ботов?

Ну, в этом случае вам нужно будет добавить набор правил в декларации user-agent для каждого бота.

В следующей команде мы покажем вам, как создать одно правило для всех ботов, а другое - специально для Bing.

Пользовательский агент: * Disallow: / wp-admin / User-agent: Bingbot Disallow: /

Добавив вышеуказанную команду, вы сможете заблокировать доступ всех ботов к области wp-admin вашего сайта. Однако поисковой системе Bing будет закрыт доступ ко всему сайту.

Чего следует избегать при создании файла Robots.txt

Есть некоторые вещи, которые вы должны избегать при создании файла Robots.txt. Первая и самая важная ошибка, совершаемая многими неопытными веб-владельцами, заключается в предоставлении места в начале команды.

Второе, что вам нужно помнить, это то, что вы не можете и не должны изменять правила команд. Третье, на что многие люди не обращают внимания, это правильное использование прописных и строчных букв при написании команды.

Убедитесь, что вы дважды проверьте регистр ваших команд. Вы не можете написать user-Agent или user-agent, где он должен быть на самом деле User-agent. Я надеюсь, что вы поняли разницу в трех терминах.

Добавление ваших файлов Sitemap XML в файл Robots.txt

Если ваш сайт уже использует плагин SEO, такой как Yoast, он автоматически добавит команды, связанные с XML-картами сайта вашего сайта, в файл robots.txt.

Но если ваш плагин не может добавить эти команды, вам придется сделать это вручную самостоятельно. Ваш плагин покажет вам ссылку на ваши XML Sitemaps. Вам нужно будет добавить его в файл robots.txt самостоятельно.

Как узнать, что ваш файл Robots.txt не влияет на ваш контент?

Иногда вы можете проверить, не затрагивается ли ваш контент файлом robots.txt. Чтобы проверить и убедиться, что контент не затронут, вы можете использовать инструмент для веб-мастеров, который называется «Fetch As Bot Tool». Этот инструмент позволит вам увидеть, имеет ли ваш файл robots.txt доступ к вашему контенту.

Для этого сначала нужно войти в инструмент Google для веб-мастеров. Теперь перейдите в раздел «Диагностика» и «Получить как Google Bot». Там вы можете разместить контент своего сайта и посмотреть, есть ли у вас проблемы с доступом к нему.

Заключительные слова

Как уже упоминалось, большинство сайтов WordPress по умолчанию имеют файл robots.txt. Но, используя файл robots.txt, вы можете контролировать взаимодействие конкретного бота или поисковой системы с определенной частью вашего сайта.

Важно, что вы знаете, что команда disallow не совпадает с тегом noindex. Поисковые системы могут быть заблокированы с помощью robots.txt, но они не могут помешать им проиндексировать ваш сайт. Вы можете управлять взаимодействием поисковых систем с вашим сайтом, добавляя определенные правила.

Но хорошо, что вы знаете, какая часть вашего сайта должна быть просканирована, а какая часть должна быть запрещена. Потому что Google в целом смотрит на ваш сайт в целом. Поэтому, если вы используете эти файлы для блокировки важной части, о которой Google должен знать, вы можете просто столкнуться с некоторыми серьезными проблемами.

Например, если вы неосознанно используете файл robots.txt, чтобы заблокировать ваш стилевой компонент. В таком случае Google сочтет ваш сайт более низкого качества и может даже наказать вас.

В основном контент, который вы хотите поместить в файл robots.txt, зависит от вашего сайта. Это могут быть ваши партнерские ссылки, область панели инструментов или любая другая конкретная область, которая, по вашему мнению, не должна быть доступна ботам. Вы также можете сделать это для ваших плагинов и тем.

Мы надеемся, что это руководство было полезным для вас. Не стесняйтесь оставить нам комментарий ниже, если у вас есть какие-либо дополнительные вопросы. Мы хотели бы вернуться к вам.

Просмотры: 4 004

Похожие сообщения

Информация об авторе

Кавери - постоянный внештатный автор, который любит писать о WordPress и цифровом маркетинге.

txt?
Вашему сайту нужен этот файл?
txt надежным способом контроля того, какая страница должна быть проиндексирована?
txt?
txt без плагина SEO?
txt, чтобы заблокировать доступ к определенной странице?
txt?
Как создать разные правила для разных ботов?
txt не влияет на ваш контент?
txt?
Вашему сайту нужен этот файл?
txt надежным способом контроля того, какая страница должна быть проиндексирована?
txt?
txt без плагина SEO?
txt, чтобы заблокировать доступ к определенной странице?
txt?
txt для разных ботов?
txt не влияет на ваш контент?
Меню сайта
Новости
Реклама
Реклама
Реклама