12 февраля Google анонсировал новый тег canonical, который поможет вам избавиться на сайте от дублированного контента, указывая предпочитаемую версию URL адреса для страницы. Также в этот день ввод нового тега анонсировали компании Yahoo и Microsoft.
Если ваш сайт имеет идентичный или очень похожий контент, доступный по разным URL, тогда новый формат позволит указать тот URL, который должен возвращаться в поисковой системе. Также можно быть уверенным, что все характеристики, такие как ссылочный вес и т.д. передадутся на нужную версию адреса.
Теперь вы можете добавить этот тег, для указания вашей версии адреса, внутри тега <head> на страницах с дублированным контентом:
<link rel="canonical" href="http://www.example.com/product.php?item=swedish-fish" />
Таким образом, Google поймет, что все дубликаты ссылаются на канонический адрес, указанный в теге. Дополнительные свойства адреса, такие как PageRank и связанные сигналы также перенесутся с дублированных страниц на указанную.
Подобный тег будет полезным в основном при использовании различных движков (phpBB, IPB, WordPress, и т.д., напр. сайту ipbskins.ru – разработка дизайна сайта на IPB, приходится использовать длинный robots.txt в целях избежания дублированного контента), создающих множество похожих страниц, например, это могут быть страницы:
печатной версии статьи:
http://site.ru/article01.html?print=true
текстовой версии статей для моб. телефонов:
http://site.ru/lofiversion/article01.html
дублированные из-за недостатка движка:
http://site.ru/articles/?id=1&category=new
http://site.ru/articles/?id=1&tag=keyword
и ряд других…
Этот стандарт может быть адаптирован любой поисковой машиной при индексации сайта.
Для популярного блог-движка WordPress уже разработан плагин canonical, вставляющий тег на нужные страницы. Другие популярные движки для блогов, форумов, интернет-магазинов и т.д. также в ближайшем будущем расширят свою функциональность (следите за обновлениями).
Ответы на некоторые популярные вопросы по тегу:
Является ли rel=“canonical” подсказкой или директивой?
Это подсказка, которую мы берем во внимание и во взаимодействии с другими сигналами вычисляем наиболее релевантную страницу для отображения в поисковых результатах.
Могу ли я использовать относительный путь для указания canonical, например так: <link rel=“canonical” href=“product.php?item=swedish-fish” />?
Да, относительные пути распознаются также, как и в обычном теге <link>. Даже если вы введете тег <base> с ссылкой на документ, тогда относительные пути будут считаться в соответствии с базовым URL.
Это нормально, если канонические адреса содержат не полностью дублированный контент?
Мы позволяем небольшие различия, такие как порядок сортировки в таблице продуктов. Также мы понимаем, что канонические адреса могут парситься роботом в разное время, поэтому все это нормально.
Что если rel=“canonical” возвращает 404 ошибку?
Мы продолжим индексировать ваш контент и использовать эвристический подход, для определения канонического адреса, однако, мы рекомендуем, чтобы вы использовали существующие URL в качестве канонических.
Что если rel=“canonical” ещё не проиндексирован?
Мы стараемся достучаться до канонического URL быстро. Как только мы его проиндексируем, тогда сразу же перерассмотрим подсказку rel=“canonical”.
Может ли канонический урл содержать редирект?
Да, вы можете указать редирект, в этом случае поисковая машина обработает просесс перенаправления как обычно и попытается проиндексировать новый адрес.
Что если я имею противоречивые сигналы для rel=“canonical”?
Наши алгоритмы мягкие: мы можем следовать по каноническим цепям, однако, мы настоятельно рекомендуем, чтобы вы на страницах указывали единственный канонический адрес, чтобы быть уверенным в оптимальном результате канонизации.
Может ли этот тег для ссылки предложить канонический адрес на совершенно другом домене?
Нет. Чтобы мигрировать на другой домен, 301 редирект более подходящ. В настоящее время Google поддерживает канонизацию внутри поддоменов или внутри одного домена. Таким образом, владельцы сайтов могут указать www.example.com вместо example.com или help.example.com, однако, не могут указать example.com вместо example-widgets.com.
Звучит интересно, но могу ли я увидеть пример?
Да, wikia.com помогла нам, как трастовый тестер. Например, вы замтетите, что исходный код по адресу http://starwars.wikia.com/wiki/Nelvana_Limited содержит rel=canonical http://starwars.wikia.com/wiki/Nelvana.
Два адреса почти идентичны, исключая то, что Nelvana_Limited, первый URL, содержит короткое сообщение возле заголовка. Это хороший пример использования тега в будущем. С rel=canonical, свойства двух адресов обьединяются и поисковые результаты отображают нужную версию.
Если у вас есть какие-либо вопросы по использованию нового тега, вы можете их задать в комментариях на официальном блоге Google для вебмастеров.
От автора блога: Теперь мы имеем ряд преимуществ, умея немного управлять индексацией сайта, а именно:
1. Помимо избавления от естественного дублированного контента (из-за недостатка движка), мы также избавляемся от дублированного контента искусственного, когда конкуренты нам пытаются насолить, добавляя в адурилку страницы с произвольными параметрами в URL.
2. Теперь нет надобности использовать robots.txt для запрета индексации таких страниц, как “печатная версия” и других дубликатов (напр. в WordPress нужно было закрывать путь /teg/) и угождать каждому поисковику отдельно (есть общие стандарты для robots.txt, но есть также и ряд особенностей работы каждого поисковика с этим файлом, поэтому мы раньше не могли предусмотреть запрет индексации некоторых страниц сразу для всех ботов).
3. Мы теперь имеем хороший инструмент для ускорения индексации сайта :)
Найдите нужного исполнителя через каталог seo-компаний Рунета.
20 Ответов
февраля 16, 2009 at 07:33
1Если я правильно понял Yandex’у на этот тэг плоскопараллельно, так что полностью отказываться от редактирования robots.txt рановато.
февраля 16, 2009 at 08:51
2Для ВП легче All-in-SEO-Pack использовать, поставил пару галочек и вперёд.
февраля 17, 2009 at 09:01
3Ну чо, не стоят на месте – уже хорошо. Не воспользуются ли этим черные сеошнеги?
февраля 17, 2009 at 06:47
4Я так понимаю, что если в вордпрессе стоит плагин Platinum SEO (усовершенствованная версия All in One SEO pack), то этот тег нафик не нужен?
февраля 17, 2009 at 10:35
5Как раз раздолье для этих самых “чёрных сеошников”: пишем робот, который идёт по сети и грабит страницы без тега canonica и публикует их на сплогах. Пока авторы проснутся (а это будет ещё долго происходить) их материалы, с точки зрения поисковиков, будут уже далеко не их. Опять Черномырдин.
февраля 17, 2009 at 10:59
6Дмитрий, этот тег действителен только внутри одного домена и его поддоменов.
февраля 17, 2009 at 11:10
7Имено. И если какой-либо ресурс будет сграблен без, в выложен с этим тегом по другому адресу, то поисковики будут считать оригиналом тот вариант статьи, где они впервые этот тег нашли. Так?
А ведь граберы могут начать работать и анализировать “прямо сейчас”, а соответствующие апдейты к движкам появятся и будут установлены “сильно потом”.
февраля 17, 2009 at 11:29
8На сколько я понял, в случае идентичного контента на разных доменах, для определения первоисточника будут использоваться прежние алгоритмы без учёта canonical. Этот тег будет применяться только для определения какая страница с домена должна будет попасть в выдачу, чтобы избежать дублей с одного сайта.
Когда я впервые прочитал про него, у меня возникли абсолютно аналогичные Вашим мысли. Слишком очевидно, чтобы быть правдой.
февраля 17, 2009 at 11:39
9Надеюсь, что ошибаюсь. Сначала я понял тэг именно как средство борьбы с дублями, но потом где-то увидел пост, где он представлен, как средство борьбы с плагиатом. После этого моё восприятие начало меняться. Создатели тэга рассчитывают на людей с более другим менталитетом, чем у нас. Это ведь у нас а не у них можно выехать на встречку и получить удар в зад.
Не в тему – на сервере часы на 15 минут отстают.
февраля 17, 2009 at 11:59
10Не думаю я, что у них методы черного SEO менее развиты.
А для борьбы с плагиатом этот тег не подходит, именно по той причине, что любой его может поставить, сомневаюсь я, что ПС пойдут на принцип: “Кто первый – тот и папа” ;-)
февраля 18, 2009 at 06:22
11Вот статейка на Астере
Как раз цель борьбы с плагиатом ставится в голову угла, а лишь потом – определение основного адреса. Не могу представить, как все сетевые создатели контента смогут промаркировать существующий статический контент. Ну и второе: свежий не помеченный контент таки будет добычей пиратов. Если этот тег внедрят без соответствующей административной подготовки, то шума и судов будет более чем достаточно.
февраля 18, 2009 at 07:50
12И всё же меня одолевают сомнения… Как определить первоисточник? Что будет если ПС первым проиндексирует акцептора, а не донора? (а ведь такое часто бывает)
Честно говоря если бы я разрабатывал алгоритм однозначной идентификации первоисточника, я бы рассматривал вариант выдачи ПС электронной подписи, по следующей схеме:
1. Автор подаёт первоисточник в ПС
2. ПС возвращает уникальный ключ сгенерированный с использованием первоисточника, даты подачи и имени домена.
3. Автор публикует первоисточник подписывая его ключом.
4. При индексировании ПС расшифровывает ключ, получая домен первоисточник.
5. Если домены не совпали – расстрел
февраля 18, 2009 at 08:38
13Ян, я думаю All in One SEO pack нужно оставить, т.к. совсем разные функции выполняют эти оба плагина.
Дмитрий, TiamatInc, думаю, что самое черное, что можно сделать, это продавать ссылки на страницах, где указан другой rel=canonical. Все остальное про плагиат и т.д. вы понавыдумывали ))
На astera.ru не дается никаких ссылок на источники и автор лишь излагает свои мысли, неправильно поняв суть тега, либо желая внести смуту в сеошную массу :)
Когда Мэт Катс говорил про “выгребную яму” (см. видео интервью сверху), он имел ввиду кучу страниц дублированного контента на одном сайте (на блоге они приводят пример сайта). Проблему сплогов тег не решает, как и в общем не предназначен для этого. Читайте также комментарии у них на блоге (первая ссылка в посте).
февраля 18, 2009 at 10:01
14Devaka , я не выдумывал, а высказывал опасения, т.к. любая технология имеет двойное назначение. Изначально меня беспокоил вопрос интеграции тега в CMS. А разговоры про борьбу с плагиатом я уже потом увидел. И, как бы это не было маловероятно, подобное развитие ситуации следует учитывать.
Помню статью в каком-то умном журнале человека по фамилии Касперский о том, что в ОС нового поколения вирусы в принципе жить не будут. Вот выйдет в свет Windows 95 и наступит счастье…
февраля 18, 2009 at 10:16
15Devaka, собственно говоря, я как раз отстаивал Вашу точку зрения. И с Дмитрием у меня получилась очень интересная дискуссия.
мая 18, 2009 at 01:06
16Вы трекбеки отключили?
октября 24, 2009 at 04:00
17Коллеги, подскажите.
Раньше я раздел с метками закрывал от индексации. С одной стороны – дублированный контент, но с другой стороны на страницы меток вполне мог бы идти трафик по запросам совпадающим с названиями меток.
Я так понимаю что rel=canonical поможет решить эту дилемму: дать сигнал поисковикам не воспринимать контент меток как дублированный и в то же время – не закрывать метки от индексации!
декабря 21, 2009 at 06:47
18“…Может ли этот тег для ссылки предложить канонический адрес на совершенно другом домене?..” – уже может. А именно, при помощи новой директивы cross-domain rel=“canonical”
мая 12, 2010 at 01:18
19Как можно указать тэг для страницы меток? Например, для метки “seo” будет показан список из, скажем, 10 постов. По мере появления новых постов с метками “seo”, содержание архива по метке может меняться. Как указать тогда тэг для такой страниц? ИМХО, в robots.txt придется прописывать правила все равно.
августа 18, 2010 at 01:43
20толково написано. только что делал анализ кода страниц и увидел незнакомый тэг, думаю, проверю в гугле. но на своих страницах его использовать на сайтах не выйдет. да и не совсем понял, зачем использовать на вордпрессе? перенаправлять со страниц, где есть список нескольких постов? куда? ведь список – не с одного поста. как тогда указывать все это?
Ответить
Спасибо за ваш комментарий.