Виртуальный бомж

Настройка robots txt

Настройка robots txt

Виртуальный бомж

О продвижении и заработке в интернете

Настройка robots txt для яндекса и google

Здравствуйте дорогие читатели блога, вас стало на пару десятков больше за неделю.

В статье я хочу рассмотреть настройку robots txt для wordpress. Зачем я это делаю? Для того чтобы ВЫ не делали ошибок в будущем и исправили их в настоящем.

Начну я с рассказа про один мой проект на WordPress. Есть значит у меня небольшой сайтик, заточенный под несколько СЧ(среде частотные запросы), куплено на страницы сайта пару тысяч ссылок, несколько десятков страниц с НЧ(низко частотные запросы). Красивое оформление, уникальные интересные статьи, перелинковка и т.д…

Вроде все хорошо, собираешь траф. стоп! траф?

А с трафом то и косяк.

Виртуальный бомж

Это мой не первый сайт , обычно такие сайты разгоняются в среднем до 1.5к посетителей в сутки. А тут 400-500. Причем ссылок было куплено на порядок больше, тексты действительно интересные в отличии от тех сайтов, которые уже разгонял. Начал искать отличия сайта от сайта и только тогда, когда сил искать уже не осталось, я прозрел.

Сайт стоял на WordPress, до этого я ставил сайты на SatelliteX (для действительно белых проектов не удобен, предназначен больше всего для гс). Оказалось, что у статей были дубли. Яндекс с Гуглом склеили дубли и сунули в поиск дублированные, а не статьи на которые были куплены ссылки. Вот те и настройка robots txt.

Вот так! Ну я и проглядел, вообще к сайту такого рода сильное значение не даю, поэтому про настройку robots txt , а тем более его создание (не был создан на проекте) я даже не помнил :))

И так robots.txt — Служебный файл для индексации/закрытия страниц используемый yandex and over search system. Гугл не пользуется таким файлом, а просто напросто выкидывает дубли страниц из поиска(люблю этот поисковик, не то что наш).

1. Настройка robots txt / Первая строка обозначает для какой поисковой системы предназначена(Yandex, Google,*) :

Причем * обозначает в robots.txt все остальные поисковые системы.

Далее идет строка Allow или Disallow(Включить/исключить). Причем Allow писать не обязательно.

2.Настройка robots txt / Исключаем системные файлы:

3. Настройка robots.txt / Закрываем дубли, обязательно:

Эту фишку я подсмотрел на одном из форумов(обычный путь архива sait.ru/2009/01/22 и чтобы закрыть архивы можно прописать /20 т.е. первые 2 цифры от 2009 года. Внимание не будет работать в 2100 году)))

4. Закрываем RSS ленту.

5. Закрываем комментарии. Это уже на ваше усмотрение.

6. Закрываем категории. Обычно закрываю, чтобы убить дубли.

7. Также у меня прописан путь к карте сайта. Работая только под yandex.

Как выглядит robots txt на сайте можно посмотреть введя :

Бедьте внимательнее, как говорится: «Семь раз отмерь, а один раз отрежь».

Виртуальный бомж

Переходите далее к уроку о парсинге сайтов.

Оставить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Adblock detector