Руководство для начинающих по вашему файлу WordPress Robots.txt

  1. Что такое файл WordPress Robots.txt?
  2. Вашему сайту нужен этот файл?
  3. Является ли файл Robots.txt надежным способом контроля того, какая страница должна быть проиндексирована?
  4. Как создать файл Robots.txt?
  5. Как создать файл Robots.txt без плагина SEO?
  6. Как использовать файл Robots.txt, чтобы заблокировать доступ к определенной странице?
  7. Что положить в ваш файл Robot.txt?
  8. Как создать разные правила для разных ботов?
  9. Чего следует избегать при создании файла Robots.txt
  10. Добавление ваших файлов Sitemap XML в файл Robots.txt
  11. Как узнать, что ваш файл Robots.txt не влияет на ваш контент?
  12. Заключительные слова
  13. Похожие сообщения

robots.txt Файл играет очень важную роль в общей SEO вашего сайта. Этот файл находится на вашем сервере и сообщает поисковым системам, какая часть сайта должна быть проиндексирована и сканирована поисковыми системами. По сути, он содержит набор правил для взаимодействия с поисковыми системами и указания, какая часть вашего сайта должна быть проиндексирована.

Хотя большинство веб-сайтов имеют файл robots.txt, не все веб-мастера знают, насколько важен этот файл и как он может повлиять на производительность своего веб-сайта.

txt, не все веб-мастера знают, насколько важен этот файл и как он может повлиять на производительность своего веб-сайта

исключающее Код купона WPEngine для посетителей AlienWP!
Получите 5 месяцев бесплатно и скидку 30% на все планы.
Нажмите на код купона, чтобы скопировать и открыть ссылку »

alienwp30

Нажмите, чтобы открыть / скопировать

В сегодняшнем уроке мы расскажем вам, что именно представляет собой файл robots.txt, и все, что вам нужно знать об этом файле.

Что такое файл WordPress Robots.txt?

Каждый веб-сайт в Интернете посещается определенным типом робота, который является своего рода ботом.

Если вы не знаете, что такое бот, поисковые системы, такие как Google и Bing, являются идеальным примером для вас, чтобы понять это.

Поэтому, когда эти боты ползают по Интернету, они помогают поисковым системам индексировать и ранжировать миллиарды веб-сайтов, существующих в Интернете.

Таким образом, эти боты на самом деле помогают вашему сайту быть обнаруженным поисковыми системами. Однако это не означает, что вы хотите, чтобы все ваши страницы были найдены.

Вы особенно хотели бы, чтобы ваша панель управления и область администратора оставались скрытыми, потому что это частная область, из которой вы управляете интерфейсом вашего сайта. Иногда вы можете захотеть, чтобы весь сайт был скрыт от поисковых систем по той причине, что он все еще находится в режиме разработки и просто не готов к работе.

Robots.txt Команды, изображение из Страница веб-роботов

Именно здесь появляется файл robots.txt. Этот файл помогает вам контролировать взаимодействие ботов с вашим сайтом. Таким образом, используя этот файл, вы можете либо ограничить, либо полностью заблокировать его доступ к определенной области вашего сайта.

Вашему сайту нужен этот файл?

Хотя поисковые системы не прекращают сканирование, при отсутствии этого файла всегда рекомендуется иметь его.

Поисковые системы придут к этому файлу, если вы захотите отправить свои карты сайта XML в поисковые системы, такие как Google. Очевидно, вы можете контролировать его, особенно указав его в Google Web Master Tools.

Создание файла robot.txt имеет два основных преимущества для вашего сайта. Во-первых, это помогает поисковым системам выяснить, какие страницы вы хотите сканировать, а какие - игнорировать. Делая это, вы убедитесь, что поисковые системы сфокусированы на страницах, которые вы хотите, чтобы они показывали вашей аудитории.

Во-вторых, это помогает вам оптимизировать использование исследований, блокируя ботов, которые излишне тратят ресурсы вашего сервера.

Если ваш сайт работает на WordPress, вам обычно не нужно прилагать дополнительных усилий для создания файла robots.txt для вашего сайта. Виртуальный robots.txt автоматически создается на вашем сайте WordPress. Но все же лучше иметь физический файл robots.txt.

Является ли файл Robots.txt надежным способом контроля того, какая страница должна быть проиндексирована?

Ну, как я уже упоминал, поисковые системы не прекратят сканировать ваши страницы при отсутствии этого файла. Создание этого файла не является надежным способом контроля того, какую страницу вы хотите индексировать поисковым системам.

Если вы хотите особенно прекратить поисковики сканировать определенную страницу, вы можете используйте мета-тэг noindex чтобы полностью заблокировать их.

Используя файл robots.txt, вы не говорите поисковым системам не индексировать их. Это только побуждает их не сканировать эти страницы. Хотя Google не сканирует эти области вашего сайта, он может сделать это, если какой-либо другой сайт ссылается на эту часть вашего сайта.

Вы можете просмотреть этот файл, подключившись к вашему сайту с помощью FTP-клиент , Вы также можете сделать это с помощью файлового менеджера cPanel. Этот файл обычно находится в корневой папке вашего сайта.

Вы можете открыть этот файл с помощью любого текстового редактора, такого как Блокнот. Это обычный файл, для открытия которого не требуется специальный редактор.

Вам не нужно беспокоиться о существовании этого файла на вашем сайте. WordPress автоматически создает файл robot.txt по умолчанию для вашего сайта.

Если вы все еще сомневаетесь в этом, есть способ показать, что этот файл существует на вашем сайте. Просто добавьте «/robots.txt» в конец вашего доменного имени. Он покажет вам файл robots.txt вашего сайта.

В нашем случае «www.alienwp.com/robots.txt» показывает файл robots.txt, который мы здесь используем.

Вы не можете изменить существующий файл, который будет у вас на сайте. Но если вы хотите манипулировать им, вам придется создать физический на вашем сервере. Существующий является виртуальным, который не принимает никаких изменений.

Как создать файл Robots.txt?

Если на вашем сайте нет файла robots.txt, создать его не очень сложно. Вы можете легко сделать это из вашей админ-панели через плагин Yoast. Yoast - один из самых удивительных плагинов SEO, который должен использовать каждый сайт WordPress. Если вы все еще не используете этот плагин, установите его сейчас, чтобы улучшить свой SEO.

После установки Yoast вам сначала необходимо включить расширенные функции Yoast. Вы можете сделать это, зайдя в SEO> Панель инструментов> Функции> Расширенные настройки.

Вы можете сделать это, зайдя в SEO> Панель инструментов> Функции> Расширенные настройки

Теперь перейдите в SEO> Инструменты >> Редактор файлов.

Теперь перейдите в SEO> Инструменты >> Редактор файлов

Здесь Yoast будет считать, что у вас нет физического файла Robots.txt, и, учитывая это, он даст вам возможность его создать.

txt, и, учитывая это, он даст вам возможность его создать

Нажмите на опцию создания файла Robots.txt. Как только вы это сделаете, вы сможете редактировать содержимое этого файла из того же интерфейса.

Как только вы это сделаете, вы сможете редактировать содержимое этого файла из того же интерфейса

Как создать файл Robots.txt без плагина SEO?

Вышеупомянутый процесс был способ создать этот файл с помощью плагина SEO. Но вы можете создать его, даже если вы не используете такой плагин. Это можно сделать через SFTP. Делать это очень легко.

Для этого вам сначала нужно будет создать пустой файл. Назовите его как Robots.txt и сохраните.

txt и сохраните

На следующем шаге вам нужно будет подключиться к вашему сайту через SFTP. Кинста имеет руководство по как подключиться к SFTP , Как только вы подключитесь, вам нужно будет загрузить файл в корневую папку вашего сайта. Если вы хотите внести какие-либо изменения в этот файл, вы можете сделать это, отредактировав его через SFTP и загрузив новую версию.

Как использовать файл Robots.txt, чтобы заблокировать доступ к определенной странице?

Вы можете заблокировать определенный файл или папку вашего сайта, используя файл robots.txt. Предположим, вы хотите запретить Google сканировать всю папку wp-admin и wp-login.php. Следующая команда поможет вам сделать это на вашем сайте.

Пользовательский агент: * Disallow: / wp-admin / Allow: /wp-login.php

Что положить в ваш файл Robot.txt?

Когда вы создаете файл robots.txt для своего сайта, вы обычно делаете это с помощью двух основных команд.

  • User-agent - используя user-agent, вы можете указать на конкретного бота или поисковую систему более простыми словами. Таким образом, ваш пользовательский агент отличается для разных поисковых систем. Так что пользовательский агент для Google не будет таким же для Bing.
  • Disallow - этой командой вы говорите поисковым системам, чтобы они не обращались к определенным областям вашего сайта. Таким образом, поисковые системы не достигают областей, для которых используется эта команда.

Иногда вы также можете увидеть использование команды Разрешить. Это обычно используется в нишевых ситуациях. Даже если вы не используете эту команду, большая часть вашего сайта попадает под эту команду. Это установлено по умолчанию на вашем сайте WordPress.

Вышеуказанные правила являются только основными. Есть еще правила, о которых вам нужно знать. Вот несколько из них.

  • Разрешить - эта команда явно позволяет поисковым системам сканировать сущность на вашем сервере
  • Карта сайта - эта команда сообщает сканерам, где находятся файлы сайта вашего сайта.
  • Хост - Хост определяет предпочитаемый вами домен для сайта с несколькими зеркалами.
  • Crawl-delay - с помощью этой команды вы можете установить временной интервал, по которому поисковые системы должны ждать между запросами к вашему серверу

Как создать разные правила для разных ботов?

Файл robots.txt имеет собственный синтаксис для определения правил, которые обычно называются директивами. Как мы уже упоминали ранее, разные боты имеют разные команды user-agent. Так что, если вы хотите установить свой файл Robots.txt для разных ботов?

Ну, в этом случае вам нужно будет добавить набор правил в декларации user-agent для каждого бота.

В следующей команде мы покажем вам, как создать одно правило для всех ботов, а другое - специально для Bing.

Пользовательский агент: * Disallow: / wp-admin / User-agent: Bingbot Disallow: /

Добавив вышеуказанную команду, вы сможете заблокировать доступ всех ботов к области wp-admin вашего сайта. Однако поисковой системе Bing будет закрыт доступ ко всему сайту.

Чего следует избегать при создании файла Robots.txt

Есть некоторые вещи, которые вы должны избегать при создании файла Robots.txt. Первая и самая важная ошибка, совершаемая многими неопытными веб-владельцами, заключается в предоставлении места в начале команды.

Второе, что вам нужно помнить, это то, что вы не можете и не должны изменять правила команд. Третье, на что многие люди не обращают внимания, это правильное использование прописных и строчных букв при написании команды.

Убедитесь, что вы дважды проверьте регистр ваших команд. Вы не можете написать user-Agent или user-agent, где он должен быть на самом деле User-agent. Я надеюсь, что вы поняли разницу в трех терминах.

Добавление ваших файлов Sitemap XML в файл Robots.txt

Если ваш сайт уже использует плагин SEO, такой как Yoast, он автоматически добавит команды, связанные с XML-картами сайта вашего сайта, в файл robots.txt.

Но если ваш плагин не может добавить эти команды, вам придется сделать это вручную самостоятельно. Ваш плагин покажет вам ссылку на ваши XML Sitemaps. Вам нужно будет добавить его в файл robots.txt самостоятельно.

Как узнать, что ваш файл Robots.txt не влияет на ваш контент?

Иногда вы можете проверить, не затрагивается ли ваш контент файлом robots.txt. Чтобы проверить и убедиться, что контент не затронут, вы можете использовать инструмент для веб-мастеров, который называется «Fetch As Bot Tool». Этот инструмент позволит вам увидеть, имеет ли ваш файл robots.txt доступ к вашему контенту.

Для этого сначала нужно войти в инструмент Google для веб-мастеров. Теперь перейдите в раздел «Диагностика» и «Получить как Google Bot». Там вы можете разместить контент своего сайта и посмотреть, есть ли у вас проблемы с доступом к нему.

Заключительные слова

Как уже упоминалось, большинство сайтов WordPress по умолчанию имеют файл robots.txt. Но, используя файл robots.txt, вы можете контролировать взаимодействие конкретного бота или поисковой системы с определенной частью вашего сайта.

Важно, что вы знаете, что команда disallow не совпадает с тегом noindex. Поисковые системы могут быть заблокированы с помощью robots.txt, но они не могут помешать им проиндексировать ваш сайт. Вы можете управлять взаимодействием поисковых систем с вашим сайтом, добавляя определенные правила.

Но хорошо, что вы знаете, какая часть вашего сайта должна быть просканирована, а какая часть должна быть запрещена. Потому что Google в целом смотрит на ваш сайт в целом. Поэтому, если вы используете эти файлы для блокировки важной части, о которой Google должен знать, вы можете просто столкнуться с некоторыми серьезными проблемами.

Например, если вы неосознанно используете файл robots.txt, чтобы заблокировать ваш стилевой компонент. В таком случае Google сочтет ваш сайт более низкого качества и может даже наказать вас.

В основном контент, который вы хотите поместить в файл robots.txt, зависит от вашего сайта. Это могут быть ваши партнерские ссылки, область панели инструментов или любая другая конкретная область, которая, по вашему мнению, не должна быть доступна ботам. Вы также можете сделать это для ваших плагинов и тем.

Мы надеемся, что это руководство было полезным для вас. Не стесняйтесь оставить нам комментарий ниже, если у вас есть какие-либо дополнительные вопросы. Мы хотели бы вернуться к вам.

Просмотры: 4 004

Похожие сообщения

Информация об авторе

Кавери - постоянный внештатный автор, который любит писать о WordPress и цифровом маркетинге.

Похожие

Что означает SEO
SEO, мы все это слышали и знаем, что это как-то связано с поиском в интернете, но что такое SEO? SEO означает много вещей, включая технологии, финансы, маркетинг, системы, мгновенные знания, бизнес и великие умы,
SEO советы для начинающих
... что дает реальным людям приятный опыт на странице - ясность, интуитивно понятная навигация, информативный контент, короткое время загрузки, мобильная оптимизация - также привлекает мощную поисковую систему. Несколько советов по SEO для начинающих: Чтобы определить подходящие ключевые слова, нужно спросить себя, какие ключевые слова вы хотели бы найти - и какие клиенты могли бы искать. Это может z. Например, он может сосредоточиться
SEO Сан-Луис-Потоси
... как для контента, предназначенного для компьютеров, так и для мобильного контента, но его формат меняется в зависимости от агента пользователя"> Изменить контент в соответствии с User-agent На некоторых сайтах один и тот же URL-адрес используется как для контента, предназначенного для компьютеров, так и для мобильного контента, но его формат меняется в зависимости от агента пользователя. Другими словами, мобильные и компьютерные пользователи
Обучение SEO
Динамика бизнеса так сильно изменилась за последние несколько лет. В современном мире бизнес представлен через веб-сайты для клиентов. Бизнес зависит от поисковых систем, таких как Google и другие онлайн-среды. Поскольку существует столько сайтов для одного и того же бизнеса, веб-сайты необходимо продвигать, чтобы достичь вершины в результатах поиска. Это также поможет привлечь
Что такое SEO, поисковая оптимизация?
SEO являются инициалами поисковой оптимизации , то есть Оптимизация для поисковых систем Это набор методов, используемых для улучшения видимости веб-сайта в обычных результатах поисковых систем, таких как Google и Bing, например. Ведение SEO является важной практикой создания и развития профессиональных веб-сайтов, а также стратегии цифрового маркетинга, поскольку это процедура, которая включает в себя
электронная книга: SEO для агентств - как использовать технику для получения результатов
SEO является одной из стратегических и фундаментальных частей цифрового маркетинга. Генерация результатов без SEO практически невозможна. Использование методов SEO приобретает все большую актуальность и становится критически важным для компаний, которые лучше позиционируются в поисковых системах и могут быть найдены потенциальными клиентами, что увеличивает деловые шансы. Это связано с тем, что такие методы способны максимизировать результаты, особенно в области
Влияет ли редирект на ваш SEO?
... что называется кодом состояния ответа HTTP и указывает ответ веб-сервера на запрошенный URL-адрес. Коды состояния ответа HTTP инструктируют и поисковые роботы, и браузер о том, как обрабатывать запрос. Коды состояния ответа HTTP также называются перенаправлениями и, что интересно, они может быть использован для лучшего SEO , Перенаправления используются, чтобы указать искателю
Если это не просто ключевые слова, как работает SEO?
... как работает SEO ? Просмотрите это руководство, чтобы найти ответы на эти и другие вопросы: Что такое SEO и что означает SEO? Нужен ли SEO? Что такое индексация с мобильных устройств и как она связана с SEO? Что такое черная шляпа и устаревший SEO? Каковы штрафы за использование черной шляпы SEO? Каковы основные факторы SEO? Что такое SEO аудит? Какая разница между SEO на странице
SEO для чайников: что такое SEO? Как это работает
Это слово длиной всего три буквы. Тем не менее, этот термин уже много лет удерживает мир онлайн-маркетинга. Мы, конечно, говорим о SEO, сокращении для поисковой оптимизации. С момента появления SEO многое изменилось. В то время как SEO изначально включало в себя использование поисковых алгоритмов для достижения быстрых успехов, сейчас оно превратилось в индустрию. С SEO, получение списка на первой
Переходные слова ключевой фактор для достижения SEO
Много раз, когда мы находимся в процессе оптимизации контента, мы сталкиваемся с проблемой, что мы не достигаем желанного одобрения от Google, чтобы квалифицировать наши текст по мере необходимости для поисковых систем, чтобы оценить должным образом. Это является фактором из-за отсутствия оптимизации SEO, где, где переходные слова играют важную роль. SEO факторы Мы должны учитывать два фактора, которые вы найдете в содержании,
Руководство по маркетингу: SEO как междисциплинарный или не только SEO
В настоящее время статей о SEO для 2018 года более чем достаточно, поэтому нет смысла писать то, что вы, вероятно, прочитали сотни раз. С другой стороны, я хотел бы представить вам нечто более постоянное, о чем вы, вероятно, еще не думали, о текущей позиции SEO и необходимом доступе к ней как к мультидисциплине . SEO является дочерней дисциплиной, сейчас это гигантская индустрия онлайн-маркетинга, и поэтому она стоит рядом с другими подсекторами, такими

Комментарии

Но что такое LSI и как вы можете использовать ключевые слова LSI, чтобы дать вашим веб-страницам преимущество?
Но что такое LSI и как вы можете использовать ключевые слова LSI, чтобы дать вашим веб-страницам преимущество? В этой статье будет дано определение LSI для неспециалистов, а также приведены примеры того, как использовать LSI для поддержания актуальности вашего сайта в обширной вселенной поисковых систем. Скрытое семантическое индексирование: краткое определение Скрытое семантическое индексирование - это концепция, которую поисковые системы, такие как Google, используют,
Вы действительно хотите отдать на аутсорсинг то, за что вам может обойтись один или два сотрудника, не зная точно, что именно / что должен делать провайдер?
Вы действительно хотите отдать на аутсорсинг то, за что вам может обойтись один или два сотрудника, не зная точно, что именно / что должен делать провайдер? Не платите в 17 раз больше, чем нужно! Таким образом, даже по моим оценкам, вы говорите о 60 тысячах долларов в год, и это, вероятно, не включает в себя дополнительные деньги, которые вам могут понадобиться для получения ссылок на ваш сайт через брендинг и тому подобное. Между тем, вы могли бы инвестировать
Что такое индексация с мобильных устройств и как она связана с SEO?
Что такое индексация с мобильных устройств и как она связана с SEO? Что такое черная шляпа и устаревший SEO? Каковы штрафы за использование черной шляпы SEO? Каковы основные факторы SEO? Что такое SEO аудит? Какая разница между SEO на странице и вне страницы? Что такое локальный SEO? Сколько времени до того, как SEO начнет работать? Что такое SEO и что такое SEO? Поисковая оптимизация - это фундаментальная
Поскольку многие веб-мастера и маркетологи SEO рекомендуют WordPress SEO от Yoast для начинающих и новичков, как установить и настроить этот плагин для своих конкретных веб-сайтов?
Поскольку многие веб-мастера и маркетологи SEO рекомендуют WordPress SEO от Yoast для начинающих и новичков, как установить и настроить этот плагин для своих конкретных веб-сайтов? В этом руководстве мы внимательно расскажем читателям, как настроить и настроить этот плагин, чтобы они могли легко использовать преимущества всех потрясающих встроенных функций для повышения эффективности WordPress SEO и повышения рейтинга страницы. Удивительные Особенности Многие пользователи
Мы НЕ рекомендуем вам копировать контент, просто чтобы посмотреть, не пропустили ли вы информацию или аргументы для своего собственного блога?
Поскольку многие веб-мастера и маркетологи SEO рекомендуют WordPress SEO от Yoast для начинающих и новичков, как установить и настроить этот плагин для своих конкретных веб-сайтов? В этом руководстве мы внимательно расскажем читателям, как настроить и настроить этот плагин, чтобы они могли легко использовать преимущества всех потрясающих встроенных функций для повышения эффективности WordPress SEO и повышения рейтинга страницы. Удивительные Особенности Многие пользователи
SEO для начинающих - что такое SEO?
SEO для начинающих - что такое SEO? SEO - это сокращение от « поисковая оптимизация ». На немецком языке это означает столько же, сколько « поисковая оптимизация ». В этом случае результат поисковой системы может быть сгенерирован двумя способами. С одной стороны, деньги могут быть выплачены напрямую, чтобы переключить поисковики на какую-то рекламу. Однако алгоритм поисковой системы, с помощью которого результаты отображаются
Тем не менее, как вы делаете так, чтобы люди, которые ищут компании и услуги, подобные вашей, попадали на ваш сайт, а не чужие?
Тем не менее, как вы делаете так, чтобы люди, которые ищут компании и услуги, подобные вашей, попадали на ваш сайт, а не чужие? В одном вы можете быть уверены, что вам нужно будет доказать ценность SEO, чтобы иметь возможность направлять любые ресурсы вашей компании - или ресурсы клиента - на аудит сайта, контент-маркетинг, техническую оптимизацию, локальную и стратегии обратных ссылок. В связи с постоянным обновлением алгоритма поисковой системы Google решение создать (выполнить) стратегию
Вы создаете файлы Sitemap для своих статей, тогда почему вы не можете также создавать файлы Sitemap для изображений и увеличивать вероятность того, что изображения будут проиндексированы?
Вы создаете файлы Sitemap для своих статей, тогда почему вы не можете также создавать файлы Sitemap для изображений и увеличивать вероятность того, что изображения будут проиндексированы? Создание картинок сайта очень легко, так как вы можете использовать Udinra Все изображения Карта сайта Плагин, чтобы создать один для изображений в вашем блоге и отправить его в свой аккаунт Инструментов для веб-мастеров.
Так что же такое CommentLuv, что он делает, и стоит ли его использовать на вашем сайте?
Так что же такое CommentLuv, что он делает, и стоит ли его использовать на вашем сайте? Что делает CommentLuv Прежде всего, вам нужно знать, что CommentLuv - это плагин, который работает только с WordPress. Он имеет две версии: бесплатную и платную, и обе они ограничены одной платформой. Обычно это не проблема - большинство блогов в любом
SEO, мы все это слышали и знаем, что это как-то связано с поиском в интернете, но что такое SEO?
SEO, мы все это слышали и знаем, что это как-то связано с поиском в интернете, но что такое SEO? SEO означает много вещей, включая технологии, финансы, маркетинг, системы, мгновенные знания, бизнес и великие умы, но само слово означает поисковую оптимизацию. Знаете, когда вы задаете вопрос Google, и он показывает страницу результатов с сотнями ответов на разных веб-сайтах? Рейтинг от лучшего к худшему, это ваш ответ на вопрос, что означает SEO! 1. Маркетинг
Как вы убедитесь, что ваш контент является всеобъемлющим?
Как вы убедитесь, что ваш контент является всеобъемлющим? Исследуя страницы с самым высоким рейтингом в своей нише и ища функции, которыми они делятся, точно так же, как и RankBrain. Очевидно, что вы не можете сделать это вручную для каждого термина, поэтому вот простая структура, которая использует WebSite Auditor

Txt?
Вашему сайту нужен этот файл?
Txt надежным способом контроля того, какая страница должна быть проиндексирована?
Txt?
Txt без плагина SEO?
Txt, чтобы заблокировать доступ к определенной странице?
Txt?
Как создать разные правила для разных ботов?
Txt не влияет на ваш контент?
Txt?