Критические ошибки в вашем Robots.txt нарушат ваш рейтинг, и вы даже не узнаете об этом

1. История Robots.txt
2. Насколько важен Robots.txt для вашего сайта?
3. Как проверить ваши Robots.txt
4. Убедитесь, что вы не исключаете важные страницы из индекса Google
5. Как отследить несанкционированные изменения в вашем Robots.txt
6. 1. Уведомления об обнаружении изменений - бесплатный инструмент
7. 2. Инструменты Google для веб-мастеров
8. 3. Уведомления об ошибках HTML - бесплатный и платный инструмент
11. Другие случаи использования для Robots.txt
12. 1. Нанимайте удивительных вундеркиндов
13. 2. Остановите сайт от того, чтобы его не стучали сканеры
14. 3. Запретить конфиденциальную информацию
15. Заключение

Использование файла robots.txt уже давно обсуждается среди веб-мастеров, так как он может оказаться сильным инструментом, когда он хорошо написан, или с ним можно выстрелить себе в ногу. В отличие от других концепций SEO, которые можно считать более абстрактными и для которых у нас нет четких рекомендаций, файл robots.txt полностью документированный от Google и других поисковых систем.

Файл robots.txt нужен вам только в том случае, если у вас есть определенные разделы вашего сайта, которые вы не хотите индексировать, и / или вам нужно блокировать или управлять различными сканерами.

* Спасибо Ричарду за исправление в тексте выше. (проверьте комментарии для получения дополнительной информации) Что важно понять в случае файла роботов, так это тот факт, что сканеры не подчиняются закону, это скорее указатель с несколькими указаниями. Соблюдение этих рекомендаций может привести к более быстрой и лучшей индексации поисковыми системами, а ошибки, скрывающие важный контент от сканеров, в конечном итоге приведут к потере трафика и проблемам с индексацией.

История Robots.txt

Мы уверены, что большинство из вас уже знакомо с robots.txt, но на тот случай, если вы слышали об этом некоторое время назад и, поскольку забыли об этом, Стандарты исключения роботов, как они формально известны, - это способ общения веб-сайта с веб-сканеры или другие веб-роботы. Это в основном текстовый файл, содержащий короткие инструкции, направляющие сканеры к определенным частям сайта или от них. Роботов обычно обучают искать этот документ, когда они попадают на веб-сайт и подчиняются его директивам. Некоторые роботы не соответствуют этому стандарту, например, харвестеры электронной почты, спам-боты или вредоносные роботы, которые не имеют лучших намерений при достижении вашего сайта.

Все началось в начале 1994 года, когда Мартейн Костер создал веб-сканер, который вызвал плохой случай DDOS на его серверах. В ответ на это был создан стандарт, направляющий сканеры веб-сайтов и блокирующий их доступ к определенным областям. С тех пор файл роботов эволюционировал, содержит дополнительную информацию и имеет еще несколько применений, но мы вернемся к этому позже.

Насколько важен Robots.txt для вашего сайта?

Чтобы лучше понять это, подумайте о robots.txt как о путеводителе для роботов и ботов. Он ведет посетителей, не являющихся людьми, в удивительные области сайта, где находится контент, и показывает им, что важно быть, а не что нужно индексировать. Все это делается с помощью нескольких строк в текстовом формате. Наличие опытного гида-робота может повысить скорость индексации веб-сайта, сокращая время, которое роботы проходят по строкам кода, чтобы найти контент, который ищут пользователи в поисковой выдаче.

За это время в файл роботов была включена дополнительная информация, которая помогает веб-мастерам ускорить сканирование и индексацию своего веб-сайта.

В настоящее время большинство файлов robots.txt содержат адрес sitemap.xml, который увеличивает скорость сканирования ботов. Нам удалось найти файлы роботов, содержащие объявления о найме на работу , причинить боль чувства людей и даже инструкции воспитывать роботов когда они становятся застенчивыми. Имейте в виду, что даже несмотря на то, что файл роботов предназначен исключительно для роботов, он по-прежнему доступен для всех, кто создает файл /robots.txt для вашего домена. При попытке скрыть от поисковых систем личную информацию, вы просто показываете URL любому, кто открывает файл роботов.

Как проверить ваши Robots.txt

Первое, что у вас есть, - это файл роботов, чтобы убедиться, что он хорошо написан, и проверить наличие ошибок. Одна ошибка здесь может причинить вам много вреда, поэтому после того, как вы заполнили файл robots.txt, обратите особое внимание на наличие ошибок в нем. Большинство поисковых систем предоставляют свои собственные инструменты для проверки файлов robots.txt и даже позволит вам увидеть, как сканеры видят ваш сайт.

Инструменты Google для веб-мастеров предлагают robots.txt Тестер инструмент, который сканирует и анализирует ваш файл. Как вы можете видеть на изображении ниже, вы можете использовать тестер роботов GWT, чтобы проверить каждую строку и увидеть каждый сканер и какой доступ он имеет на вашем веб-сайте. Инструмент отображает дату и время, когда робот Google получил файл роботов с вашего веб-сайта, встреченный HTML-код, а также области и URL-адреса, к которым у него не было доступа. Любые ошибки, обнаруженные тестером, должны быть исправлены, поскольку они могут привести к проблемам с индексацией для вашего веб-сайта, а ваш сайт не может появиться в поисковой выдаче.

Инструмент предоставлен Bing отображает вам данные, которые видит BingBot. Извлечение, поскольку Bingbot даже показывает ваши HTTP-заголовки и источники страниц, как они выглядят для Bingbot. Это отличный способ узнать, действительно ли ваш контент виден сканером и не скрыт по какой-либо ошибке в файле robots.txt. Более того, вы можете проверить каждую ссылку, добавив ее вручную, и если тестер обнаружит какие-либо проблемы с ней, он отобразит строку в вашем файле роботов, которая блокирует ее.

Не забудьте потратить время и тщательно проверить каждую строку вашего файла роботов. Это первый шаг в создании хорошо написанного файла роботов, и с инструментами в вашем распоряжении вы действительно должны стараться делать любые ошибки здесь. Большинство поисковых систем предоставляют опцию «извлекать как * бот», поэтому после того, как вы самостоятельно проверили файл robots.txt, обязательно запустите его через предоставленные автоматические тестеры.

Убедитесь, что вы не исключаете важные страницы из индекса Google

Наличие проверенного файла robot.txt недостаточно для того, чтобы у вас был отличный файл роботов. Мы не можем этого подчеркнуть, но наличие одной строчки в ваших роботах, которая блокирует важную часть контента вашего сайта от сканирования, может нанести вам вред. Поэтому, чтобы убедиться, что вы не исключаете важные страницы из индекса Google, вы можете использовать те же инструменты, которые вы использовали для проверки файла robots.txt.

Выберите сайт в качестве бота и просмотрите его, чтобы убедиться, что вы не исключили важный контент.

Прежде чем вставлять страницы, которые должны быть исключены из глаз ботов, убедитесь, что они находятся в следующем списке элементов, которые не имеют большого значения или не имеют значения для поисковых систем:

• Страницы кода и скрипта
• Личные страницы
• Временные страницы
• Любая страница, которую вы считаете, не имеет значения для пользователя.

Мы рекомендуем, чтобы у вас был четкий план и видение при создании архитектуры веб-сайта, чтобы было проще запретить папки, которые не имеют значения для поисковых роботов.

Как отследить несанкционированные изменения в вашем Robots.txt

Теперь все готово, файл robots.txt заполнен, проверен, и вы убедились, что у вас нет ошибок или важных страниц, исключенных из сканирования Google. Следующий шаг - убедиться, что никто не вносит никаких изменений в документ без вашего ведома. Речь идет не только об изменениях в файле, вы также должны знать о любых ошибках, которые появляются при использовании документа robots.txt.

1. Уведомления об обнаружении изменений - бесплатный инструмент

Первый инструмент, который мы хотим порекомендовать, changedetection.com , Этот полезный инструмент отслеживает любые изменения, внесенные на страницу, и автоматически отправляет электронное письмо при его обнаружении. Первое, что вам нужно сделать, это вставить адрес robots.txt и адрес электронной почты, на который вы хотите получать уведомления. Следующим шагом является то, где вы можете настроить свои уведомления. Вы можете изменять частоту уведомлений и устанавливать предупреждения только в том случае, если были изменены определенные ключевые слова из файла.

2. Инструменты Google для веб-мастеров

Инструменты Google для веб-мастеров инструмент оповещения , Разница в использовании этого инструмента заключается в том, что он работает, отправляя вам уведомления о любых ошибках в вашем коде каждый раз, когда сканер попадает на ваш сайт. Ошибки Robots.txt также отслеживаются, и вы будете получать электронные письма каждый раз, когда появляется проблема. Вот подробное руководство по настройке Оповещения Инструментов Google для веб-мастеров ,

3. Уведомления об ошибках HTML - бесплатный и платный инструмент

Чтобы не выстрелить себе в ногу при создании файла robots.txt, должны отображаться только эти html-коды ошибок.

• Код 200, в основном, означает, что страница была найдена и прочитана;

• Коды 403 и 404, которые означают, что страница не была найдена, и, следовательно, боты будут думать, что у вас нет файла robots.txt. Это заставит ботов сканировать весь ваш сайт и соответствующим образом проиндексировать его.

SiteUptime Инструмент периодически проверяет ваш robots.txt URL и может мгновенно уведомить вас, если он сталкивается с нежелательными ошибками. Критическая ошибка, которую вы хотите отслеживать, - это ошибка 503.

Ошибка 503 указывает на наличие ошибки на стороне сервера, и если робот обнаружит ее, ваш сайт не будет сканироваться вообще.

Инструменты Google для веб-мастеров также обеспечивают постоянный мониторинг и показывают временную шкалу при каждом получении файла роботов. На диаграмме Google отображает ошибки, обнаруженные при чтении файла; мы рекомендуем вам время от времени просматривать его, чтобы проверить, не отображаются ли другие ошибки, кроме перечисленных выше. Как мы можем видеть ниже, инструменты Google для веб-мастеров предоставляют диаграмму, детализирующую частоту, с которой робот Google загружал файл robots.txt, а также любые ошибки, с которыми он сталкивался при получении.

Критические, но распространенные ошибки

1. Блокировка CSS или файлов изображений из Google Crawling

В прошлом году в октябре Google заявил что запрещает CSS, Javascript и даже изображения (мы написали интересный статья об этом) учитывается в общем рейтинге вашего сайта. Алгоритм Google становится все лучше и лучше, и теперь он может читать CSS и JS-код вашего сайта и делать выводы о том, насколько полезен контент для пользователя. Блокировка этого содержимого в файле роботов может причинить вам некоторый вред и не позволит вам занять место так высоко, как вы, вероятно, должны.

2. Неправильное использование подстановочных знаков может деиндексировать ваш сайт

Подстановочные знаки, такие как «*» и «$», являются допустимым параметром для блокировки пакетов URL-адресов, которые, по вашему мнению, не имеют значения для поисковых систем. Большинство крупных поисковых роботов наблюдают и подчиняются, используя его в файле robots.txt. Также это хороший способ заблокировать доступ к некоторым глубоким URL-адресам без необходимости перечислять их все в файле роботов.

Поэтому, если вы хотите заблокировать, скажем, URL-адреса с расширением PDF, вы можете написать строку в файле роботов с помощью User-agent: googlebot

Disallow: /*.pdf$

Подстановочный знак * представляет все доступные ссылки, заканчивающиеся на .pdf, а $ закрывает расширение. Подстановочный знак $ в конце расширения сообщает ботам, что не следует сканировать только URL-адреса, оканчивающиеся на pdf, а другие URL-адреса, содержащие «pdf», следует сканировать (например, pdf.txt).

Скриншот взят с сайта developers.google.com

* Примечание. Как и любой другой URL-адрес, файл robots.txt чувствителен к регистру, поэтому учитывайте это при написании файла.

Другие случаи использования для Robots.txt

С момента своего первого появления файл robots.txt был найден некоторыми другими интересными пользователями для веб-мастеров. Давайте рассмотрим другие полезные способы использования файла.

1. Нанимайте удивительных вундеркиндов

Файл robotos.txt на TripAdvisor.com превратился в скрытый файл для набора персонала. Это интересный способ отфильтровать только самых «гиковых» из группы и найти точно подходящих людей для вашей компании. Посмотрим правде в глаза, в настоящее время ожидается, что люди, которые заинтересованы в вашей компании, потратят дополнительное время на изучение этого, но люди, которые даже ищут скрытые сообщения в вашем файле robots.txt, удивительны.

2. Остановите сайт от того, чтобы его не стучали сканеры

Другое использование файла robots - запретить этим надоедливым сканерам поглотить всю пропускную способность. Командная строка Crawl-delay может быть полезна, если на вашем сайте много страниц. Например, если на вашем веб-сайте около 1000 страниц, веб-сканер может сканировать весь ваш сайт за несколько минут. Размещение командной строки Crawl-delay: 30 скажет им, чтобы это было немного проще, используйте меньше ресурсов, и ваш сайт будет сканироваться в течение нескольких часов вместо нескольких минут.

Мы не рекомендуем это использование, так как Google не учитывает команду crawl-delay, поскольку в Инструменты Google для веб-мастеров встроены скорость гусеничного хода функция настройки. Использование функции Crawl-delay лучше всего работает для других ботов, таких как Ask, Yandex и Bing.

3. Запретить конфиденциальную информацию

Запрещать конфиденциальную информацию - это что-то вроде обоюдоострого меча. Замечательно не разрешать Google доступ к конфиденциальной информации и отображать ее в виде фрагментов людям, которым вы не хотите иметь доступ к ней. Но, главным образом потому, что не все роботы подчиняются командам robots.txt, некоторые сканеры могут иметь к ним доступ. Точно так же, если человек с неправильными намерениями ищет ваш файл robots.txt, он сможет быстро найти области сайта, на которых хранится ценная информация. Мы советуем использовать его с умом, проявлять особую осторожность с размещенной там информацией и помнить, что не только роботы имеют доступ к файлу robots.txt.

Заключение

Это отличный случай «с большой силой, приходит большая ответственность», способность вести робота Google с хорошо написанным файлом робота является заманчивой. Как указано ниже, преимущества хорошо написанного файла роботов - это большая скорость, лучшая скорость сканирования, отсутствие бесполезного контента для сканеров и даже посты о наборе персонала. Просто помните, что одна маленькая ошибка может причинить вам много вреда. При создании файла роботов четко указывайте путь, по которому роботы идут на ваш сайт, запрещайте их в определенных частях вашего сайта и не допускайте ошибок при блокировке важных областей контента. Также следует помнить тот факт, что файл robots.txt не является законным опекуном, роботы не обязаны ему подчиняться, а некоторые роботы и сканеры даже не удосуживаются найти файл и просто просканировать весь ваш сайт.

Похожие

Комментарии