9,678 просмотров

На днях в официальном блоге Яндекса для вебмастеров появилась новость об изменении правил использования сервиса Яндекс.XML. Если раньше при подтверждении телефона для аккаунта предоставлялся лимит в 1000 запросов в сутки, то теперь суточный лимит парсинга рассчитывается на основе популярности подтвержденных в Яндекс.Вебмастере сайтов. Аккаунты с отсутствующими подтвержденными сайтами не имеют теперь возможности использовать сервис.

С одной стороны понятно желание Яндекса снизить нагрузку на свой сервис и дать возможность использовать его больше по назначению. Однако, Яндекс.XML был единственным легальным способом снимать позиции в поиске, не затрагивая при этом поисковую выдачу, не нагружая её и не влияя на данные показателей Wordstat. На данный момент работают также старые лимиты, но через 3 месяца останутся лишь те, которые обозначены новыми правилами Яндекс.XML.

Взвесил ли Яндекс все плюсы и минусы данного нововведения или отделы Яндекс.XML работают, не согласуя изменения с отделом веб-поиска?

Видимые плюсы

Разгрузка нескольких веб-серверов
Как указал автор новости, лимиты вводились в целях более оптимального использования ресурсов сервиса вебмастерами.

Видимые минусы

Увеличение нагрузки на прямую выдачу Яндекса
Крупные компании и аналитические сервисы, использующие Яндекс.XML для съема позиций, переориентируются на парсинг основной выдачи Яндекса, таким образом, нагружая её вместо xml.yandex.ru.

Влияние на показатели Яндекс.Wordstat
В вордстате появится большее количество накрученных запросов, что исказит данные не только для оптимизаторов, но и для рекламодателей. Изменение правил Яндекс.XML косвенно повлияет на цены рекламы в Яндекс.Директе.

Влияние на поведенческий фактор
CTR выдачи по ряду коммерческих запросов значительно снизится, так как многие из них будут автоматическими. Это может затронуть и ранжирующую формулу, влияя на качество поисковой выдачи.

Рынок проксей и антикапч увеличится
Своим нововведением Яндекс порождает увеличение рынка проксей и антикапч, вместо создания легальных платных инструментов для съема важных аналитических данных.

Что думают аналитики и владельцы аналитических сервисов по поводу действий Яндекса?

Мнения экспертов

Станислав Ставский, аналитик Станислав Ставский, экс-менеджер антиробота в Яндексе

Я думаю, что главной целью Яндекса в данном случае является решение внутренней проблемы “снижение роботной нагрузки в часы пик”. То, что заодно со снижением нагрузки можно доставить неприятности сервисам парсинга – лишь один из плюсов принятого решения. Но, в принципе, не удивлюсь, если одновременно с анонсированным запуском ужесточится алгоритм фильтрования роботов на выдаче и капча станет показываться роботам чаще. Ведь задача “удорожания парсинга” напрямую связана с задачей “снижение нагрузки”.

Все равно, конечно, будут парсить – через прокси, антикапчу, добавлять в вебмастерские аккаунты “левые” сайты, но я допускаю, что в самое ближайшее время можно ожидать повышения цен на услуги сервисов, парсящих выдачу Яндекса.

Любопытно отметить, что за последние несколько месяцев Гугл также сильно усложнил жизнь подобным сервисам, усложнив парсинг своей выдачи. Вполне допускаю сотрудничество двух поисковиков по данному вопросу и обмен информацией о роботах. И на месте менеджеров поисковиков, отвечающих за роботов, стремился бы к этому.

Евгений Пошибалов, Sape Евгений Пошибалов, руководитель биржи ссылок Sape.ru

Очевидно, что к текущей схеме работы интернет-сервисы и seo-компании (как основные потребители) уже давно адаптировались и создали себе аккаунты по 1000 запросов. Новые правила “игры” практически повторяют эту достаточно “унылую” схему, только с другого ракурса. Лично я считаю как эту, так и предыдущую идею в корне неверной. О чем даже пару раз беседовал с А.Садовским 2-3 года назад.

Самый оптимальный для Яндекса путь решения этого вопроса или отключить вообще эту историю, так как части вебмастеров это просто не нужно, а второй части выделенного объема точно не хватит, или же сделать это в цивилизованной форме, причем с финансовой выгодой для Яндекса. Это очень просто, берется технологическая компания – например это может быть любой более менее крупный сервис с наработанной репутацией – как Sape.ru и заканчивая Драйвлинком и другими небольшими сервисами. Далее эта компания получает прямой канал к XML, обеспечивает создание удобных инструментов для работы с ним и предоставляет их в публичный доступ вебмастерам и сервисам – определенный объем – бесплатно, при превышении – платно (но очень недорого), с агрегированной передачей денег Яндексу за вычетом %.

В данном случае компании будет выгодно следить за тем, чтоб не было “халявщиков” с сотнями аккаунтов, а с Яндекса снимается головная боль по управлению этим бардаком и обеспечивается дополнительный доход, который я бы оценил в 1-3 млн. долл в год. Что-то типа ЦОП XML. Ну либо закрывать эту историю, так как ни к чему хорошему оно снова не приведет. К сожалению руководство Яндекса пока игнорирует эту возможность как заработать, так и снять с себя ворох определенных проблем, таких как парсинг естественной выдачи и так далее.

Михаил Сливинский, Wikimart Михаил Сливинский, руководитель отдела поисковой аналитики компании Wikimart

К сожалению, пока не видно расширения возможностей для веб-мастеров и оптимизаторов. Жаль. Довольно очевидно, что оптимизаторы очень разные и далеко не все стремятся заработать свой кусок хлеба, ухудшая экосистему спамными ссылками или бредотекстами.

При этом рынку крайне нужна маркетинговая информация и аналитика. В частности, это и результаты поиска, и статистика запросов, и позапросная конверсионность и многое другое. Понятно, какой-то фильтр в любом случае нужен. Но почему этот фильтр реализуется через попытки запрета парсинга, а не через коммерческую продажу доступа к сервисам – мне не вполне понятно.

Станислав Поломарь, webit Станислав Поломарь, руководитель направления поискового продвижения и аналитики компании webit

Если рассматривать данное изменение с точки зрения вебмастера, у которого один или несколько сайтов, то в среднем его это не сильно заденет. Исходя из статистики в несколько сотен сайтов – средний корпоративный сайт, который обладает определенной ссылочной массой и трафиком, получает лимит 490. Сайты с большим индексом при прочих равных могут получить 1000. А крупные проекты 2900. Таким образом при наличии 1-2 подобных сайтов тот же лимит в 1000 запросов сохранится.

А вот агентства или компании, работа которых связана с поисковой оптимизацией, – явно проиграют. Тут потребности значительно выше, так как компания банально сильно бОльше вебмастера занимается аналитикой (видимость своих проектов и их конкурентов, индексация и прочее).

К примеру, сейчас наша компания использует только XML для работы с выдачей Яндекса, но при данных изменениях мы вынуждены будем использовать парсинг выдачи напрямую. Зачем компании подталкивать к этому непонятно, так как (будь такая возможность) мы могли бы вполне пользоваться платным тарифом (с разумным ценообразованием конечно ;))

На подопечных проектах были замечены следующие значение лимитов: 10-34-150-490-1000-2900. Из приятных «плюшек» – поддомены крупных проектов дают вклад 2900 наравне с основным. Не известно правда насколько это долго не прикроют ;))

Александр Люстик, Key Collector Александр Люстик, руководитель проекта Key Collector (LegatoSoft). Ведущий блога SEOM.info

Новые лимиты явно очередная затяжка узла на удавке, примитивных методах съема данных. Все давным давно покупали активированные аккаунты, даже не утруждая себя покупкой сим-карт, как это было ранее. Увеличивали лимиты. Покупались десятки тысяч аккаунтов, с увеличенными лимитами в XML. Яндексу это надоело :) видимо. Новый виток. С одной стороны “законопослушным”, отчасти, лимитов хватит. Хотя для более или менее профессиональных задач их окажется маловато. Для “домохозяек” пойдет.

“Дрочево” пойдет в выдачу. Больше банов проксей, больше затрат на массовые и промышленные объемы. Пока так, дальше опять все будет хорошо и будет очередной узелок на удавке :) Я думаю такие репрессии делают рынок более узким, те кто не могут адаптироваться будут “прогибаться” под больших игроков. В целом это хорошо, клиенты тоже будут платить чуть больше :)

Юрий Кушнеров, SeoLib Юрий Кушнеров, руководитель сервиса SeoLib.ru

Как нам кажется, на рынок в целом это никак не повлияет. Нововведения затронут лишь сегмент SEO-сервисов, которые активно используют XML для парсинга выдачи Яндекса. В этой нише, возможно, будет передел рынка, так как многим небольшим компаниям, действительно, «перекроют кислород».
Позиция Яндекса в данном случае ясна (и они ее не скрывают). Это не «еще один камень в оптимизаторов», а оптимизация собственных ресурсов (именно поэтому в разное время суток количество запросов будет меняться. Когда Яндекс свободен — парсите на здоровье. Когда нет — извините). Кстати, такая ситуация наблюдается уже давно. В пиковые часы, порой, отдаются пустые страницы.

Что же касается простых веб-мастеров, то для своих собственных нужд того количества запросов, что выдается, должно хватать. Но судя по тому, что мы наблюдаем в панели вебмастера xml.yandex.ru – система еще не доработана и тестируется, цифры не совсем адекватные. Пока будем ждать. Паниковать причин не видим.

Евгений Трофименко, tools.promosite.ru Евгений Трофименко, аналитик, владелец сервиса tools.promosite.ru

До этого, очевидно, довели покупатели симок для парсинга ХМЛ. Ну ничего – сейчас будут создавать сайты не только под продажу ссылок, но и под получение лимитов ХМЛ. Кстати, я на tools.promosite.ru попрошу людей делегировать не очень нужные им лимиты на меня (просто так или в обмен на какие-то сервисы, в противном случае придется ограничивать доступ – у меня ХМЛ используется часто). Например, можно взамен этого доступа давать аналитику по установленным ссылкам, я тут скачал все сайты-доноры и установленные ссылки.

А что вы думаете по поводу данной новости?

  • 0 Нет
  • 14 Да
  • Мне понравилось!

Если вам понравилась статья, вы можете подписаться на RSS или E-mail рассылку. Для получения обновлений по электронной почте, введите ваш e-mail адрес в эту форму (Доставка от FeedBurner):