Тема дня: Доходный СДЛ – Выбор тематики сайта.
Некоторые сайты охотно лезут в индекс поисковиков, другие же наоборот – загоняются туда пинками в виде хороших внешних ссылок. Пробуя разные методы, мне понравился такой малозатратный, как регистрация сайта в социальных закладках, либо же покупка постового на хорошем блоге, но здесь речь не об этом.
Замечено, что проблема индексации сайта возникает лишь при большом количестве страниц, которые появились не постепенно, в результате ежедневного обновления, а одновременно при добавлении сайта в адурилку. Представьте картину, когда ваш ресурс впервые посещает поисковый робот и, сканируя его, видит массу сгенерированного контента. К тому же картина может усугубиться наличием неграмотной перелинковки. Одностраничные сайты или сайты-визитки, как правило, в индекс попадают довольно быстро при наличии на них уникального контента.
Исходя из вышесказанного и собственных практических примеров, могу утверждать, что постоянное (или регулярное) обновление сайта прибавляет ему траста, что, в свою очередь, заставляет робота поисковой системы изменять своё расписание обхода сайта и ускоряет его индексацию. Попадание страниц в индекс происходит практически моментально, особенно, если добавить сюда дополнительный действенный способ ускорить индексацию сайта.
Вот, предложенный мною алгоритм для быстрого попадания в индекс:
1. Выделяем на сайте разделы, которые периодически обновляются.
Это могут быть новости, отзывы, статьи или что-либо ещё.
2. Устанавливаем RSS.
Для выбранных разделов устанавливаем rss канал. С помощью ленты RSS поисковик может узнать точную дату публикации материала и анализировать вашу активность на сайте.
3.Регистрируемся в FeedBurner
FeedBurner нужен для того, чтобы придать вашему каналу стандартный вид для разных юзер-агентов. Также этот сервис позволяет посылать пинги в различные поисковые и другие сервисы, уведомляя о добавлении нового контента.
4. Регистрируемся в Twitter
Если вы ещё не зарегистрированы в твиттере, советую это сделать сейчас. Эта социальная сеть дает много возможностей как в плане маркетинга, так и в плане помощи для индексации сайта (см. след. пункт).
5. Настраиваем кросспостинг RSS в Twitter
С помощью RSS2Twitter или Твиттерфида настраиваем кросспостинг в твиттер. Записи из RSS будут автоматически добавляться в ваш твиттер-аккаунт и фолловеры (подписчики) смогут быстро отслеживать обновления на вашем сайте.
Таким образом, как только вы публикуете новый контент на сайте, запись попадает сначала в rss канал, потом в feedburner с пингом крупных поисковых сервисов и далее в twitter. Поисковики обязательно заметят этот контент и не замедлят добавить его в свой индекс, конечно если он более-менее уникален.
Для подтверждения этих доводов проведен эксперимент. В seo-словаре, где настроены все вещи, описанные выше, был добавлен новый термин “портянка” и каждую минуту отслеживалось движение в индексе Google (индексация сайтов в Яндекс работает чуть по-другому).
Через 3 минуты после добавления определения в словарь запись появилась в твиттере.
Сразу же была проиндексирована главная страница словаря (повторю, прошло 3 минуты).

Еще через 7 минут добавленная страница появилась в индексе.
Тут баг гугла в том, что он написал для сайта 31 минута, хотя на самом деле страница появилась не позже 10 минут назад.
Итого, весь процесс занял максимум 10 минут и сайт встал один из первых по запросу что такое портянка. Подобный способ пойдет даже для сайтов, предлагающих ремонт окон. На больших сайтах, где контент добавляется буквально каждую миниту (новостники и т.д.), страницы в индексе появляются, соответственно, ещё быстрее. Например, попробуйте поэкспериментировать с блог-платформой LiveJournal.
А какие вы используете методы для ускорения индексации?
Найдите нужного исполнителя через каталог seo-компаний Рунета.
37 Ответов
марта 4, 2010 at 01:55
1Интересный материал. Примем к сведению. С портянкой – это круто! :)
марта 4, 2010 at 02:04
2Очень положительно влияет полуавтоматическая регистрация в каталогах прог-ой RSSAdder. Отличная вещь, только база заложена небольшая (около 50 каталогов и рейтингов).
марта 4, 2010 at 02:08
3Немного скомкано получилось в статье то, что в начале статьи говориться о первом посещении сайта роботом, а в алгоритм и пример дается для уже проиндексированного сайта. В целом все верно. Но в случае нового сайта есть некоторые нюансы.
марта 4, 2010 at 02:15
4Кросспостинг RSS в твиттер – зло! )
марта 4, 2010 at 02:16
5Думаю если юзать FeedBurner, гугл и без твиттера быстренько проиндексирует контент
марта 4, 2010 at 02:17
6Я для индексации гуглом устанавливаю на сайт поиск от самого гугла :)
марта 4, 2010 at 02:23
7И что, поиска от гугла установленный на сайте как то помогает индексации сайта?
марта 4, 2010 at 02:40
8Вот мне тоже очень интересен данный вопрос! Что правда поиск от google ускоряет индексацию или нет? Если да, то как?
марта 4, 2010 at 02:44
9Хорошая это вещь – кросспостинг, правда после последних нововведений Яндекса опасность только возрастает. Представим, что RSS блога транслируется в ЖЖ, Майл, Яндекс и Twitter. Одно дело когда только вступление, а другое когда полностью и самое ужасное, что некоторые блогоплатформы просто не имеют функции скрыть от ПС посты, получается куча копий, куча дублей, а соответсвенно и падение в выдаче, а быть может и какой-нибудь АГС :(
марта 4, 2010 at 03:38
10Когда устанавливаешь поиск от гугл адсенс, на сайт приходит робот адсенса, и, видимо, определяет, что сайт еще не в индексе, а затем зовет на сайт уже поискового робота. Как то так. Могу лишь предполагать, но лично мои наблюдения показали, что так сайты входят в индекс ГОРАЗДО быстрее, чем через аддурилку.
марта 4, 2010 at 04:35
11RSS2Twitter необязательно использовать, т.к. у FeedBurner есть своя опция кросспостинга в твиттер (раздел Публикуй, социальные). После обновления RSS канала, анонс тут же публикуется в Twitter, проверенно.
марта 4, 2010 at 06:16
12>> 5. Настраиваем кросспостинг RSS в Twitter
На самом деле это пункт 3.1 Потому что это есть в FeedBurner!
Кстати, у меня после добавления в него тоже через 3-5 минут блог индексируется, но ему уже больше года.
марта 4, 2010 at 06:44
13Как только мой блог попал в поиск яндекса по блогам, то он стал моментально индексироваться. А попал он сразу как только я добавил в него фид блога в FeedBurner
марта 4, 2010 at 07:12
14я почти все также делаю, а сайт не хочет залазить в индекс.
а зона .com влияет на скорость индексации?
марта 4, 2010 at 07:40
15Спс за статью. Попробую с новым сайтом так. А суда по последнем махинациям Яндекса скоро в яндекс тоже можно будет попасть за 10 минут
марта 4, 2010 at 08:24
16C помощью Твиттера загоняю все новые страницы своих сайтов в индекс Яндекса и Гугла за пару частов, так что всем советую Твиттер.
марта 4, 2010 at 09:19
17Спасибо! Пошла прожигать фид, а то как-то совсем расслабилась, завела новый бложок и сижу жду у моря погоды пока его проиндексируют… да, и перепост из FeedBurner в Twitter организую, а то Гугл проиндексировал только одну страничку… а Яндекс 4.
марта 5, 2010 at 12:36
18twitter отличная вещь для ускорения индексации
Гугл пока еще активно просматривает подобные соц. сети на новый контент
марта 5, 2010 at 12:54
19Статья понравилась, но на мыло пришло уведомление о ней тока сегодня ((.
марта 5, 2010 at 03:53
20Вопрос насчет твитера. Он же делает другие ссылки вместо тех что ставишь(не знаю как это правильно назвать) Как тогда индексируется сайт? И еще, очень интересная статья, но меня мучает вопрос а как часто гугл пересматривает роботом уже проиндексированное? Это в плане редактирования давно опубликованных страниц.
марта 5, 2010 at 04:43
212 Деньга – твитер ни при чем, все зависит от доп. сервисов по сокращению имени ссылки
а обход Гула зависит от того как часто ваш сайт обновляется в принципе …
марта 5, 2010 at 07:59
22>> Потому что это есть в FeedBurner!
Саша, спасибо! Видимо, эта функция недавно появилась, будем теперь знать.
марта 5, 2010 at 08:12
23Могу поделиться своим опытом: я особо не старался, но после написания пяти хороший обзоров меня гугл с яндексом сразу начали внимательно индексировать :)
Видимо, успех в “стандартном” “пишите интересно”.
марта 6, 2010 at 12:05
24Спасибо за статью. Очень полезная. Я еще использую прогон по соц. закладкам. И добавляю сайт в Yandex закладки.
марта 6, 2010 at 01:45
25У меня один раз сайт авто-тематики вошел в индекс с помощью быстро-робота яндекс, т. е. сегодня добавил в аддурилку, морда через пару часов в индекс вылезла, а после 1 апдейта залезли все несколько сот страниц качественного уникального контента ручной работы. Меня это навело на мысль, что может быть скорость индексации зависит от тематики ресурса, (только вот как он ее определил с 1 раза не понятно), т.е. чем востребованней тематика сайта, тем он быстрее в индекс заходит. В довод этой теории могу сказать, что этот сайт находился в момент на IP, на котором еще у меня есть несколько сайтов (схожи по внутренней перелинковки, количеству страниц, качеству контента, возрасту доменов (+- 1 месяц)), только тематика у них разная, ну и контент, естественно, тоже разный. Так вот, эти сайты входили в индекс уже не так быстро, хотя и не медленно, 2 недели и несколько сот страниц в индексе прочно сидят, по сей день. Хотя могу и ошибаться (сомнения здесь навеяны вопросом: как ПС мог определить тематику сайта), может просто повезло с одним сайтом, 2-3 дня и все странице в индексе.
Также скорость индексации зависит от IP сайта. На разных IP по разному скорость протекает. Не трудно догадаться, на каких хуже, а на каких лучше.
марта 6, 2010 at 03:46
26Заметил, что статья на блоге WP индексится в течение минут (очевидно пинг), а на строительном сайте с редко обновляемым контентом 1-3 недели.
марта 6, 2010 at 04:35
27С дуру, выбрал себе для пары сайтов домен инфо. Так больше месяца не мог попасть в индекс. Что я только не делал. Пришлось писать Платону, за одно и спросил, по поводу индексации этого домена, правда ли что он плохо индексируется. Ответ поразил гениальностью и лаконичностью – “Это не правда”
Что бы попасть быстро в индекс, нужно выбирать “нормальные” домены.
З.Ы но это я только про яшку.
марта 7, 2010 at 05:44
28Спасибо за “портянку” :)
марта 7, 2010 at 06:00
29Выводы вполне логичные, хотя бывает и наоборот :)
К примеру, у меня один сайт на 30 страниц в гугле проиндексировался за несколько дней (кстати, такое я видел впервые) а вот в яндексе его не было видно почти 3 месяца. Уж не знаю с чем это было связано, но пришлось писать платонам…
марта 9, 2010 at 12:33
30не буду юзать тегов )
очень познавательная статья, такой мне не хватало, когда я только начинал себя на сео-поприще. Спасибо, Сергей. а вот отписка – скорее бы. лучше уж от тебя новости получать, а не уведомления о новых комментариях
марта 9, 2010 at 06:41
31Поразила скорость Гугла
Плохо, Что он мои бесплатные домены так не индексит
марта 9, 2010 at 06:48
32Отлично индексируются бесплатные домены. Вот применение им найти все труднее.
марта 9, 2010 at 09:10
33А как заставить рамблер индексировать не подскажите?Он почему-то любит брать одну страницу и дальше не выкладывать.
марта 10, 2010 at 09:55
34Я так понимаю, что можно таким образом подтянуть в индекс те страницы сайта, которые бот обошел своим вниманием, регулярно добавляя коментарии на странице?
марта 10, 2010 at 12:43
35Лучше сделайте комментариям подписку РСС, а не почтой.
марта 11, 2010 at 10:48
36интересная статья
июня 26, 2010 at 11:11
37Ерунда. В вордпрессе есть же пингатор, в гугл залетают махом все посты. И фид с твиттером тут вовсе не нужны.Лучше напишите, как в яндекс загонять.
Ответить