12 февраля Google анонсировал новый тег canonical, который поможет вам избавиться на сайте от дублированного контента, указывая предпочитаемую версию URL адреса для страницы. Также в этот день ввод нового тега анонсировали компании Yahoo и Microsoft.
Если ваш сайт имеет идентичный или очень похожий контент, доступный по разным URL, тогда новый формат позволит указать тот URL, который должен возвращаться в поисковой системе. Также можно быть уверенным, что все характеристики, такие как ссылочный вес и т.д. передадутся на нужную версию адреса.
Теперь вы можете добавить этот тег, для указания вашей версии адреса, внутри тега <head> на страницах с дублированным контентом:
<link rel="canonical" href="http://www.example.com/product.php?item=swedish-fish" />
Таким образом, Google поймет, что все дубликаты ссылаются на канонический адрес, указанный в теге. Дополнительные свойства адреса, такие как PageRank и связанные сигналы также перенесутся с дублированных страниц на указанную.
Подобный тег будет полезным в основном при использовании различных движков (phpBB, IPB, WordPress, и т.д., напр. сайту ipbskins.ru – разработка дизайна сайта на IPB, приходится использовать длинный robots.txt в целях избежания дублированного контента), создающих множество похожих страниц, например, это могут быть страницы:
печатной версии статьи:
http://site.ru/article01.html?print=true
текстовой версии статей для моб. телефонов:
http://site.ru/lofiversion/article01.html
дублированные из-за недостатка движка:
http://site.ru/articles/?id=1&category=new
http://site.ru/articles/?id=1&tag=keyword
и ряд других…
Этот стандарт может быть адаптирован любой поисковой машиной при индексации сайта.
Для популярного блог-движка WordPress уже разработан плагин canonical, вставляющий тег на нужные страницы. Другие популярные движки для блогов, форумов, интернет-магазинов и т.д. также в ближайшем будущем расширят свою функциональность (следите за обновлениями).
Ответы на некоторые популярные вопросы по тегу:
Является ли rel=“canonical” подсказкой или директивой?
Это подсказка, которую мы берем во внимание и во взаимодействии с другими сигналами вычисляем наиболее релевантную страницу для отображения в поисковых результатах.
Могу ли я использовать относительный путь для указания canonical, например так: <link rel=“canonical” href=“product.php?item=swedish-fish” />?
Да, относительные пути распознаются также, как и в обычном теге <link>. Даже если вы введете тег <base> с ссылкой на документ, тогда относительные пути будут считаться в соответствии с базовым URL.
Это нормально, если канонические адреса содержат не полностью дублированный контент?
Мы позволяем небольшие различия, такие как порядок сортировки в таблице продуктов. Также мы понимаем, что канонические адреса могут парситься роботом в разное время, поэтому все это нормально.
Что если rel=“canonical” возвращает 404 ошибку?
Мы продолжим индексировать ваш контент и использовать эвристический подход, для определения канонического адреса, однако, мы рекомендуем, чтобы вы использовали существующие URL в качестве канонических.
Что если rel=“canonical” ещё не проиндексирован?
Мы стараемся достучаться до канонического URL быстро. Как только мы его проиндексируем, тогда сразу же перерассмотрим подсказку rel=“canonical”.
Может ли канонический урл содержать редирект?
Да, вы можете указать редирект, в этом случае поисковая машина обработает просесс перенаправления как обычно и попытается проиндексировать новый адрес.
Что если я имею противоречивые сигналы для rel=“canonical”?
Наши алгоритмы мягкие: мы можем следовать по каноническим цепям, однако, мы настоятельно рекомендуем, чтобы вы на страницах указывали единственный канонический адрес, чтобы быть уверенным в оптимальном результате канонизации.
Может ли этот тег для ссылки предложить канонический адрес на совершенно другом домене?
Нет. Чтобы мигрировать на другой домен, 301 редирект более подходящ. В настоящее время Google поддерживает канонизацию внутри поддоменов или внутри одного домена. Таким образом, владельцы сайтов могут указать www.example.com вместо example.com или help.example.com, однако, не могут указать example.com вместо example-widgets.com.
Звучит интересно, но могу ли я увидеть пример?
Да, wikia.com помогла нам, как трастовый тестер. Например, вы замтетите, что исходный код по адресу http://starwars.wikia.com/wiki/Nelvana_Limited содержит rel=canonical http://starwars.wikia.com/wiki/Nelvana.
Два адреса почти идентичны, исключая то, что Nelvana_Limited, первый URL, содержит короткое сообщение возле заголовка. Это хороший пример использования тега в будущем. С rel=canonical, свойства двух адресов обьединяются и поисковые результаты отображают нужную версию.
Если у вас есть какие-либо вопросы по использованию нового тега, вы можете их задать в комментариях на официальном блоге Google для вебмастеров.
От автора блога: Теперь мы имеем ряд преимуществ, умея немного управлять индексацией сайта, а именно:
1. Помимо избавления от естественного дублированного контента (из-за недостатка движка), мы также избавляемся от дублированного контента искусственного, когда конкуренты нам пытаются насолить, добавляя в адурилку страницы с произвольными параметрами в URL.
2. Теперь нет надобности использовать robots.txt для запрета индексации таких страниц, как “печатная версия” и других дубликатов (напр. в WordPress нужно было закрывать путь /teg/) и угождать каждому поисковику отдельно (есть общие стандарты для robots.txt, но есть также и ряд особенностей работы каждого поисковика с этим файлом, поэтому мы раньше не могли предусмотреть запрет индексации некоторых страниц сразу для всех ботов).
3. Мы теперь имеем хороший инструмент для ускорения индексации сайта :)


26 Ответов
TiamatInc
Февраль 16, 2009 at 18:33
1Если я правильно понял Yandex’у на этот тэг плоскопараллельно, так что полностью отказываться от редактирования robots.txt рановато.
Жомарт
Февраль 16, 2009 at 19:51
2Для ВП легче All-in-SEO-Pack использовать, поставил пару галочек и вперёд.
Терехов
Февраль 17, 2009 at 08:01
3Ну чо, не стоят на месте – уже хорошо. Не воспользуются ли этим черные сеошнеги?
Ян
Февраль 17, 2009 at 17:47
4Я так понимаю, что если в вордпрессе стоит плагин Platinum SEO (усовершенствованная версия All in One SEO pack), то этот тег нафик не нужен?
Дмитрий
Февраль 17, 2009 at 21:35
5Как раз раздолье для этих самых “чёрных сеошников”: пишем робот, который идёт по сети и грабит страницы без тега canonica и публикует их на сплогах. Пока авторы проснутся (а это будет ещё долго происходить) их материалы, с точки зрения поисковиков, будут уже далеко не их. Опять Черномырдин.
TiamatInc
Февраль 17, 2009 at 21:59
6Дмитрий, этот тег действителен только внутри одного домена и его поддоменов.
Дмитрий
Февраль 17, 2009 at 22:10
7Имено. И если какой-либо ресурс будет сграблен без, в выложен с этим тегом по другому адресу, то поисковики будут считать оригиналом тот вариант статьи, где они впервые этот тег нашли. Так?
А ведь граберы могут начать работать и анализировать “прямо сейчас”, а соответствующие апдейты к движкам появятся и будут установлены “сильно потом”.
TiamatInc
Февраль 17, 2009 at 22:29
8На сколько я понял, в случае идентичного контента на разных доменах, для определения первоисточника будут использоваться прежние алгоритмы без учёта canonical. Этот тег будет применяться только для определения какая страница с домена должна будет попасть в выдачу, чтобы избежать дублей с одного сайта.
Когда я впервые прочитал про него, у меня возникли абсолютно аналогичные Вашим мысли. Слишком очевидно, чтобы быть правдой.
Дмитрий
Февраль 17, 2009 at 22:39
9Надеюсь, что ошибаюсь. Сначала я понял тэг именно как средство борьбы с дублями, но потом где-то увидел пост, где он представлен, как средство борьбы с плагиатом. После этого моё восприятие начало меняться. Создатели тэга рассчитывают на людей с более другим менталитетом, чем у нас. Это ведь у нас а не у них можно выехать на встречку и получить удар в зад.
Не в тему – на сервере часы на 15 минут отстают.
TiamatInc
Февраль 17, 2009 at 22:59
10Не думаю я, что у них методы черного SEO менее развиты.
А для борьбы с плагиатом этот тег не подходит, именно по той причине, что любой его может поставить, сомневаюсь я, что ПС пойдут на принцип: “Кто первый – тот и папа” ;-)
Дмитрий
Февраль 18, 2009 at 17:22
11Вот статейка на Астере
Как раз цель борьбы с плагиатом ставится в голову угла, а лишь потом – определение основного адреса. Не могу представить, как все сетевые создатели контента смогут промаркировать существующий статический контент. Ну и второе: свежий не помеченный контент таки будет добычей пиратов. Если этот тег внедрят без соответствующей административной подготовки, то шума и судов будет более чем достаточно.
TiamatInc
Февраль 18, 2009 at 18:50
12И всё же меня одолевают сомнения… Как определить первоисточник? Что будет если ПС первым проиндексирует акцептора, а не донора? (а ведь такое часто бывает)
Честно говоря если бы я разрабатывал алгоритм однозначной идентификации первоисточника, я бы рассматривал вариант выдачи ПС электронной подписи, по следующей схеме:
1. Автор подаёт первоисточник в ПС
2. ПС возвращает уникальный ключ сгенерированный с использованием первоисточника, даты подачи и имени домена.
3. Автор публикует первоисточник подписывая его ключом.
4. При индексировании ПС расшифровывает ключ, получая домен первоисточник.
5. Если домены не совпали – расстрел
Devaka
Февраль 18, 2009 at 19:38
13Ян, я думаю All in One SEO pack нужно оставить, т.к. совсем разные функции выполняют эти оба плагина.
Дмитрий, TiamatInc, думаю, что самое черное, что можно сделать, это продавать ссылки на страницах, где указан другой rel=canonical. Все остальное про плагиат и т.д. вы понавыдумывали ))
На astera.ru не дается никаких ссылок на источники и автор лишь излагает свои мысли, неправильно поняв суть тега, либо желая внести смуту в сеошную массу :)
Когда Мэт Катс говорил про “выгребную яму” (см. видео интервью сверху), он имел ввиду кучу страниц дублированного контента на одном сайте (на блоге они приводят пример сайта). Проблему сплогов тег не решает, как и в общем не предназначен для этого. Читайте также комментарии у них на блоге (первая ссылка в посте).
Дмитрий
Февраль 18, 2009 at 21:01
14Devaka , я не выдумывал, а высказывал опасения, т.к. любая технология имеет двойное назначение. Изначально меня беспокоил вопрос интеграции тега в CMS. А разговоры про борьбу с плагиатом я уже потом увидел. И, как бы это не было маловероятно, подобное развитие ситуации следует учитывать.
Помню статью в каком-то умном журнале человека по фамилии Касперский о том, что в ОС нового поколения вирусы в принципе жить не будут. Вот выйдет в свет Windows 95 и наступит счастье…
TiamatInc
Февраль 18, 2009 at 21:16
15Devaka, собственно говоря, я как раз отстаивал Вашу точку зрения. И с Дмитрием у меня получилась очень интересная дискуссия.
blog.negotiant.org
Май 18, 2009 at 12:06
16Вы трекбеки отключили?
Жека
Октябрь 24, 2009 at 15:00
17Коллеги, подскажите.
Раньше я раздел с метками закрывал от индексации. С одной стороны – дублированный контент, но с другой стороны на страницы меток вполне мог бы идти трафик по запросам совпадающим с названиями меток.
Я так понимаю что rel=canonical поможет решить эту дилемму: дать сигнал поисковикам не воспринимать контент меток как дублированный и в то же время – не закрывать метки от индексации!
SeoWomen
Декабрь 21, 2009 at 17:47
18“…Может ли этот тег для ссылки предложить канонический адрес на совершенно другом домене?..” – уже может. А именно, при помощи новой директивы cross-domain rel=“canonical”
BuxFactor
Май 12, 2010 at 12:18
19Как можно указать тэг для страницы меток? Например, для метки “seo” будет показан список из, скажем, 10 постов. По мере появления новых постов с метками “seo”, содержание архива по метке может меняться. Как указать тогда тэг для такой страниц? ИМХО, в robots.txt придется прописывать правила все равно.
kovpack
Август 18, 2010 at 00:43
20толково написано. только что делал анализ кода страниц и увидел незнакомый тэг, думаю, проверю в гугле. но на своих страницах его использовать на сайтах не выйдет. да и не совсем понял, зачем использовать на вордпрессе? перенаправлять со страниц, где есть список нескольких постов? куда? ведь список – не с одного поста. как тогда указывать все это?
Sergo
Сентябрь 27, 2010 at 13:28
21Как Вы думаете, что ждет страницу если прописать каноникал “сам на себя”?
DeZenden
Март 7, 2011 at 04:53
22Если url-дубль не добавлен в sitemap.xml и нет ссылок на этот url-дубль, то canonical и не нужен вовсе?
Екатерина
Май 8, 2011 at 20:29
23Devaka, спасибо, что создали этот пост. Одно не совсем ясно: почему Google анонсировал этот тег так недавно, хотя я знаю о нем уже 2 года? Прятали туза в рукаве? Или просто сложилась ситуация, когда Google вынужден стал громко заявить о теге миру, чтобы продуктивнее бороться с web мусором…
Devaka
Май 9, 2011 at 15:04
24Екатерина, да, этому посту 2 года :)
Ava
Май 31, 2011 at 20:40
25Сергей, а вот подскажите.
У меня в краткой и полной новости текст на 99% похож. ЦМС дле. Могу ли я заключить ссылку “далее” в canonical, дабы указать ботам, что мол краткая новость это дубли полной, на полную всё внимание акцентируй!
Будет ли это приемлемо в моём случае?
Спасибо!
Алексей
Июль 15, 2011 at 13:40
26а если все страницы сайта имеют такой тег:
<link rel=“canonical” href=”/”>
что это значит для робота и как он это будет понимать
Ответить