Что такое файл и зачем он нужен

Зачем нужен robots.txt

Как правило в robots.txt прописываются запреты индексации служебной информации, дублирующего контента, административной части интерфейса и многое другое. Все это нужно для того, что бы с одной стороны помочь поисковику в индексации вашего сайта, а с другой — не попасть под некоторые фильтры ПС, которые, в случае применения негативно скажутся потоке посетителей с поисковых машин.

Что такое файл и зачем он нужен

Когда специалист по продвижению сайтов берет ваш сайт в работу, то он обязательно проводит анализ и, при необходимости, редактирование этого файла.

Как это работает

Давайте разберемся, как работает Robots Exclusion Protocol. Итак, поисковая машина попадает на ваш сайт и начинает проверять существование файла robots.txt. Проверка производится по адресу http://www.sait.xx/ robots.txt. Таким образом, вам необходимо поместить файл в корневую директорию сайта. Поисковый робот, найдя этот файл, начинает чтение и анализ инструкций в нем построчно и последовательно. Если инструкции написаны корректно, то начинается их выполнение.

Конкретные примеры инструкций в robots.txt

Существует ряд команд-инструкций и давайте рассмотрим наиболее используемые. Если вы хотите запретить индексацию отдельно всех страниц сайта для всех поисковых машин, то инструкция будет выглядеть следующим образом.

Для того чтобы запретить индексацию страниц только для Рамблера нужно прописать следующее:

Если вы хотите запретить определенный раздел своего сайта, то вместо «/» поставьте «/имя_раздела». В случае необходимости запрета индексации определенной страницы, то пишите полный путь к ней, например «/категория/раздел/страница.html».

Что такое файл htaccess и зачем он нужен?


Оставить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Adblock detector