Одна из популярных ошибок вебмастеров — ссылаться на неиндексируемые поисковой системой страницы. Это могут быть страницы, закрытые в robots.txt, имеющие мета-тег robots=noindex или просто несуществующие документы (отдают 404 код статуса). Например, на сайте может находиться система фильтрации или тегов, большинство или все из которых специально закрыты от индексации, чтобы не создавать дублей. В панели для вебмастеров вы заметите множество сообщений об ошибках, но это лишь половина проблемы.

Почему же плохо ссылаться на несуществующие страницы, или закрытые от индексации?

Закрывая документы/разделы от индексации, с одной стороны, мы избавляемся от малоинформативных страниц в индексе (хотя не всегда это происходит так, как бы мы хотели), но с другой, теряем часть статического веса, который мог бы концентрироваться лишь на полезных для поиска документах (образуется упущенная выгода).

Один из важных факторов в поисковой системе является PageRank (или статический вес). На основе него оптимизаторы планируют целые схемы перелинковки документов между собой, чтобы наиболее приоритетные получили больше статического веса. Получается, при наличии в перелинковке неиндексируемых документов нарушается один из принципов самого подхода линковки документов.

Наличие гиперссылки в html-коде страницы, для робота это сигнал к индексации

Запрет индексирования в robots.txt - какая же инструкция важнее?

Мусорный индекс несмотря на закрытие индексации раздела

Какие можно найти решения?

В зависимости от ситуации и функционала можно применить следующие решения:

— Разрешить индексировать закрытые документы (если каждая из страниц проработаны и имеют уникальный контент).

— Убрать сами страницы и ссылки на них (если они невосстребованны даже пользователями).

— Использовать ajax-решения, например /search/#tag=статистика вместо /tag/статистика.

Возможно, у вас есть какие-то другие решения этой проблемы? И закрываете ли вы вообще какие-то разделы своего сайта от поиска?