Внимание: описаная ниже стратегия может быть рискованной!

В буржуйнете недавно один из блоггеров задал вопрос о лучшем методе удаления страниц с обменными ссылками (кнопки каталогов, ссылки на партнеров и т.д.). Патрик Альтофт (Patrick Altoft) описал лучший, но, возможно, не весьма этичный метод удаления старых страниц с подобной линкопомойкой.

Всем должно быть известно, что наличие тонны ссылок на вашем сайте не есть хорошо. Одна страница с 20 ссылками ещё нормально, 10 страниц с сотней ссылок на каждой, вероятно, более навредят, чем принесут пользы.

Если вы вдруг получили от Google пенальти, тогда удаление подобных линкопомоек — это первое, что необходимо сделать. Однако, что если ваш сайт пока ранжируется хорошо, но вы уже хотите избавиться от страниц, перед тем, как поисковая система даст вам пенальти? Если вы просто удалите страницы, тогда все, с кем вы менялись ссылками тоже прекратят на вас ссылаться и рейтинг вашего сайта упадет.

Загвоздка в том, чтобы найти такой способ тихого удаления линкопомоек, без предупреждения ссылочных парнеров об этом факте.

Решение в использовании X-Robots HTTP заголовков, которые поддерживаются гуглом. Это позволит добавить мета информацию noindex к странице со стороны сервера и, таким образом, посетители не заметят никаких следов в robots.txt или HTML коде страницы.

header(’X-Robots-Tag: noindex, nofollow’, true);

или с помощью .htaccess и mod_headers

<IfModule mod_headers.c>
  <Files links.html>
    Header set X-Robots-Tag “noindex”
  </Files>
</IfModule>

С помощью этого метода вы можете удалить свои страницы в Google и, вероятно, не уведомлять об этом партнеров.

Также, возможно, вы захотите сделать небольшой клоакинг, чтобы X-Robots видел только Googlebot, а другие люди не видели этого коварного плана, запуская чекеры заголовков. Это можно сделать как в самом коде, проверяя User-Agent запроса, либо с помощью .htaccess, если у вас установлен модуль mod_headers:

<IfModule mod_headers.c>
  <IfModule mod_setenvif.c>
      SetEnvIf User-Agent “Googlebot$” x_tag=yes
      <Files links.html>
        Header set X-Robots-Tag “noindex” env=x_tag
      </Files>
  </IfModule>
</IfModule>

P.S. X-Robots-Tag также поддерживается и в Yahoo!.

Если вам понравилась статья, вы можете подписаться на RSS или E-mail рассылку. Для получения обновлений по электронной почте, введите ваш e-mail адрес в эту форму (Доставка от FeedBurner):