3,536 просмотров

Процесс индексации сайта все оптимизаторы анализируют по-разному: одни смотрят на количество страниц в индексе с помощью оператора “site:” и динамику этой цифры, другие наблюдают за графиками в панели вебмастеров, третьим же важно знать статус индексации каждой страницы или группы страниц на сайте. Первые два способа позволяют понимать картину в целом, однако, в случае возникновения проблем, одна цифра мало о чем говорит, необходимо получить более детальную информацию. О настройке процесса проверки индексации мы и поговорим в данной статье.

Отслеживать в динамике индексацию отдельных страниц – технически более сложно, но помогает решать важные аналитические задачи, а именно:

— Помогает организовать процесс ускорения индексации.
Для новых сайтов (или быстро обновляемых) можно отслеживать, какие страницы еще не проиндексировались и с помощью решений типа ловца ботов организовывать блоки перелинковки таким образом, чтобы нужные страницы поисковик находил быстрее.

— Помогает быстро реагировать при выпадении страниц.
Для уже существующих и наполненных контентом сайтов можно мониторить индекс и если вылетает что-то важное, то быстро на это реагировать, находить причины исходя из свойств выпавших страниц.

— Помогает оптимизировать структуру сайта или найти слабый контент
Понимая, какие из важных поисковых кластеров на сайте индексируются хуже, можно реорганизовывать их, правильно расставляя акценты. Также проблема может крыться в слабом контенте. Где именно находится слабый контент можно узнать, лишь имея полные данные об индексации страниц.

Всего этого мы лишаемся, если знаем только количество страниц в индексе. Необходимо запускать проверку индексации на поток.

Проверка индексации, запускаем на поток

Итак, мы разобрались, что индексация сайта важна не сама по себе, а в большей степени как источник данных для дальнейшего развития или оптимизации сайта. Но как настроить процесс проверки? Что для этого нужно? И можно ли максимально автоматизировать?

1. Продвигаемые страницы

Первое, что необходимо иметь — это список продвигаемых вами страниц на сайте. Это не так просто, как может показаться на первый взгляд, особенно, если вы никогда не сканировали свой сайт сторонними парсерами и не совсем понимаете, из чего он состоит. Разберитесь в текущей структуре, выделите продвигаемые страницы и добавьте их в отдельный список. Я рекомендую для этих страниц создавать отдельный sitemap.xml, либо в случае больших проектов создавать несколько сайтмапов, каждый для своей рубрики.

Обычно, продвигаемыми страницами на сайте являются:

  • Для интернет-магазинов: рубрикатор товаров
  • UGC-проекты: созданные пользователями страницы и разделы, группирующие их
  • Информационные сайты: страницы статей и рубрик
  • Сайты услуг: страницы услуг (так как они не меняются, то можно мониторить редко)
  • Доски объявлений: страницы тегов

2. Настройка мониторинга

Для настройки мониторинга индексации рекомендую использовать инструмент проверки индексации в Топвизоре.

Этот инструмент удобен тем, что позволяет:

  • Импортировать нужные страницы прямо из sitemap.xml или файла.
  • Настраивать частоту проверок; доступны Яндекс, Google, Bing и Yahoo.
  • Высылать уведомления на почту (сможем быстро реагировать в случае проблем).
  • В табличке использовать фильтры по статусу индексации, по изменениям или дате проверки.
  • Выгружать отчеты в CSV-формате для дальнейшего анализа.
  • Не нужны прокси и антикапчи.

Так выглядит отчет в Топвизоре после проверки индексации:

Отчет проверки индексации страниц через Топвизор

Частоту проверки идеально ставить раз в сутки, но для многих проектов достаточно проверять раз в неделю.

3. Анализ отчетов

Когда все данные собраны, нужно приступить к анализу. Здесь методы будут зависеть от решаемой задачи и объемов сайта.

Для примера, самая простая задача — это ускорение индексации. Для этого из отчета берете те страницы, которые еще не проиндексировались, разбиваете на блоки и ссылаетесь поочередно на каждый блок страниц с главной, чередуя их после каждого прихода бота (если известно) или раз в несколько дней.

Подробней, как решать различные задачи оптимизации с помощью данных об индексации страниц я опубликую в следующих статьях. Сейчас же вам нужно поставить мониторинг индексации на поток. Настроить автоматизированную систему легко с помощью модуля Топвизора. Данных из панелей для вебмастеров здесь недостаточно, необходимы точечные проверки.

А проверяете ли вы индексацию сайта? Как именно и как часто?

  • 0 Нет
  • 14 Да
  • Мне понравилось!

Если вам понравилась статья, вы можете подписаться на RSS или E-mail рассылку. Для получения обновлений по электронной почте, введите ваш e-mail адрес в эту форму (Доставка от FeedBurner):