5 способов удалить страницу из поиска Яндекса или Google
Сергей Кокшаров
28 июл 2011
Многие вебмастера рано или поздно сталкиваются с необходимостью удалить из поисковой системы страницы сайта, которые попали туда по ошибке, перестали быть актуальными, являются дублями или содержат конфиденциальную информацию клиентов (причины могут быть разные). Яркий пример тому уже нашумевшая ситуация с Мегафоном, смс-ки пользователей которого проиндексировал Яндекс, ситуация с интернет-магазинами, когда в поиске можно было найти личную информацию клиентов и подробности их заказов, ситуация с банками и транспортными компаниями и так далее…
Не будем касаться в этой статье причин описанных выше казусов, а рассмотрим, как удалить из Яндекса или Google ненужные страницы. Подразумевается, что они пренадлежат вашему сайту, в противном случае необходимо связываться с владельцем нужного ресурса с соответствующей просьбой.
5 способов удаления страниц из поисковых результатов
1. 404 ошибка
Один из простых способов удаления страницы из поиска это удаление её со своего сайта, с условием, что в дальнейшем, при обращении по старому адресу, сервер выдавал 404-ую ошибку, означающую, что страницы не существует.
HTTP/1.1 404 Not Found
В данном случае придётся подождать, пока робот ещё раз не зайдёт на страницу. Иногда это занимает значительное время, в зависимости от того, как она попала в индекс.
Если страница при удалении её из поиска должна существовать на сайте, то данный способ не подходит, лучше использовать другие, представленные ниже.
2. Файл robots.txt
Очень популярный метод закрыть от индексации целые разделы или отдельные страницы это использование корневого файла robots.txt. Существует множество мануалов, как правильно настроить этот файл. Здесь приведём лишь несколько примеров.
Закрыть раздел администраторской панели от попадания её в индекс поисковиков:
User-Agent: *
Disallow: /admin/
Закрыть определенную страницу от индексации:
User-Agent: *
Disallow: /my_emails.html # закрытие страницы my_emails.html
Disallow: /search.php?q=* # закрытие страниц поиска
В случае с robots.txt тоже придётся ждать переиндексации, пока робот не выкинет из индекса страницу или целый раздел. При этом, некоторые страницы могут остаться в индексе, если причиной их попадания туда было несколько внешних ссылок.
Данный метод неудобно использовать в случае необходимости удаления разных страниц из разных разделов, если невозможно составить общий шаблон для директивы Disallow в robots.txt.
3. Мета-тег robots
Это альтернатива предыдущего метода, только правило задаётся непосредственно в HTML-коде страницы, между тегами <head>.
<meta name="robots" content="noindex,nofollow" />
Удобство мета-тега в том, что его можно добавить на все нужные страницы (с помощью системы управления), попадание которых нежелательно в индекс поисковика, оставляя файл robots.txt при этом простым и понятным. Недостаток данного метода лишь в том, что его сложно внедрить для динамического сайта, использующего один шаблон header.tpl, если отсутствуют специальные навыки.
4. Заголовки X-Robots-Tag
Данный метод используют зарубежные поисковые системы, в том числе Google, как альтернативу предыдущему методу. У Яндекса пока нет официальной информации о поддержке этого http-заголовка, но возможно, в ближайшее время будет.
Суть его использования очень похожа на мета-тег robots, за исключением того, что запись должна находиться в http-заголовках, которые не видны в коде страницы.
X-Robots-Tag: noindex, nofollow
В некоторых, часто неэтичных, случаях его использование очень удобно (например, при обмене ссылками и скрытии страницы линкопомойки).
5. Ручное удаление из панели для вебмастеров
Наконец последний, и самый быстрый способ удаления страниц из индекса – это их ручное удаление.
Яндекс: http://webmaster.yandex.ru/delurl.xml
Google: https://www.google.com/webmasters/tools/
Единственное условие для ручного удаления страниц – они должны быть закрыты от робота предыдущими методами (в robots.txt, мета-теге или 404-ой ошибкой). Замечено, что Google обрабатывает запросы на удаление в течение нескольких часов, в Яндексе придётся подождать следующего апдейта. Используйте этот метод, если вам надо срочно удалить небольшое количество страниц из поиска.
Полезные ссылки по теме
5 советов по созданию практичной 404 страницы
Улучшение юзабилити 404-ых страниц уменьшает показатель отказов. В статье приведены несколько советов, которые помогут сделать 404-ую страницу более эффективной.
Всё о файле robots.txt
Для тех, кто ещё не сталкивался с настройкой файла robots.txt, данный ресурс будет полезной отправной точкой. Здесь собрано много примеров и другой полезной информации.
Яндекс: Использование robots.txt
Официальные примеры использования файла robots.txt от Яндекса. Также там представлены учитываемые Яндексом директивы и другие советы.
Использование HTTP заголовков X-Robots для скрытого удаления линкопомоек
Пример использования HTTP-заголовка X-Robots-Tag в Apache.
144 ответа (оставить свой)
Как всегда полезно и понятно. Спасибо за интересный пост
По поводу X-Robots-Tag: noindex, nofollow
А как его реализовать?
Makc, в конце статьи есть ссылка на другую, там как раз пример для Apache.
Кирилл, спасибо за отзыв!
В своё время столкнулся с кучей дублей на сайте и не знал как их быстро удалить из выдачи… Пораньше бы ваш пост Сергей =)
В любом случае, спасибо за информацию.
уменя таже проблема спосибо.
Для меня это как раз в тему, спасибо автору!
Если не ошибаюсь, поисковики с большой неохотой что-то удаляют. Если ему стало известно о странице, даже теперь уже запрещенной или несуществующей, он будет еще долго и упорно сообщать о ее отсутствии.
Вот вот скушал, а выплюнуть не может, фиг заставишь его из индекса убрать =(
Автор пробовал пользоваться своими советами?
Запрет в robots.txt не является прямой директивой для роботов. Если они найдут хотя бы одну случайную ссылку на эту страницу (не важно внешнюю, или внутреннюю), то обязательно проиндексируют (“файл robots.txt не является обязательным к исполнению” – http://www.google.com/support/webmasters/bin/answer.py?hl=ru&answer=156449)
Мета-тег Гугл уважает, а Яндекс, похоже, в упор не видит. Буквально вчера заметила, что Яндекс добавил в поиск в два раза больше страниц, чем существует на сайте. Оказалось, он проигнорировал <meta name=“robots” content=“noindex,nofollow” />, и все мое облако тегов попало в индекс.
Гугл заявляет (и мой небольшой опыт подтверждает), что он точно не индексирует в двух случаях:
1) Мета-тег
2) robots.txt + занесение url в список удаления в webmasters.google (Конфигурация -> Доступ для сканера -> Удалить URL)
А удаляют они очень даже охотно. Гугл через несколько часов, но навсегда сохраняет историю этих url. Яндекс… только после этой статьи поняла, почему не получалось удалять – нужно подождать пару лет, когда он сообразит, что от него хотят.
А насколько эффективно закрытие страницы от индексации мета-тэгом robots, при этом не прописывая подобной запрещающей директивы в файле robots.txt? Ведь, если имеет место обратная ситуация: в файле robots.txt страница закрыта, то мета-тэг robots будет ПС проигнорирован.
natkalin, да, robots это всего-лишь рекомендация поисковику, но не инструкция к действию, как когда-то говорил Мэтт Каттс. Однако, роботы тщательно их придерживаются, если на обратное нет веских причин. По поводу мета-тега, у меня получается удалять таким образом страницы в Яндексе. Их было порядка 400, через 5-7 апдейтов стало 58, очень долго, так как на те страницы робот приходит не часто, но мета-тег всё же работает…
yelena, мета-тег будет прочитан в любом случае, если страницу поисковик как-то проиндексирует (например, по ссылке или через Я.Бар). По поводу эффективности странный вопрос, ведь поисковики официально предлагают использовать в том числе и подобный метод, если нет (к примеру) доступа к файлу robots.txt. Мета-тег это альтернатива robots.txt в плане управления индексацией (доступом).
wmas, если удалить ссылки на страницу, то поисковики уже не сообщают об ошибке. Хотя да, какое-то время будут надоедать 🙂
Использовал метатеги, через 2-3 апдейта ненужные страницы выпали из индекса, как в яндексе, так и в гугле.
Спасибо! Все знал, кроме как удалять из яндекса. Как то не приходилось.
Как всегда в точку…
Для Гугла самый надёжный способ: Инструменты для веб-мастера-Конфигурация-Параметры URL
Satir, лучше rel=“canonical” а не удалять дубли.
Спасибо за статью. С мегафоном не соглашусь, не думаю что это случайность или оплошность. Здесь какой-то скрытый вирусный маркетинг. Что и как он продвигает – хз, но это точно не случайность.
Когда сменил url на ЧПУ, то старые url сами удалились.
интересные способы
По-моему, лучше сразу при создании сайта ограничивать поисковики, если уж планируется размещать конфиденциальную инфу
Конечно при конфеденциальной инфе можно и под суд попасть,хотя недавние примеры с индексацией смс Яндексом да и ж/д билетов говорят о том,что роботс.тхт не всегда спасает от удаления.Интересно а как решали проблему тот же Мегафон?
то что искала, у меня сайт на WP получил + 125 страниц с непонятными картинками, я в шоке была
А как быть с сохраненными копиями страниц?Ведь в недрах гугла они хранятся чуть ли не годами.На них запрет распространяется?
Спасибо за труд!
albinka, вордпресс в этом смысле вообще практически “впереди планеты всей” с невозможным количеством дублированных страниц. На одном блоге (делал другой человек) не было robots.txt вообще, так в индексе яндекса и гугла страниц получилось в четыре раза больше, чем там реально статей. Всякие теги, архивы, авторы, рубрики… Сейчас сайт перешел ко мне, сделал нормальный роботс, жду, когда поисковики отреагируют. А ждать, похоже, придется долго, по опыту других сайтов.
Вот ручное удаление из гугла через инструменты вебмастера рулит, там быстро и достаточно аккуратно всё, но в данном случае не проходит, страниц много и они разные.
А в панели гугл веб-мастера страницы удаляются по одной?) Если, скажем, есть сайт, в котором при проектировании были запланированы языковые версии, которые не переводились, и позже для них не делался перевод. Получается куча дубляжей страниц)) Можно, конечно, закрыть их от индексации позже, но эти страницы все равно будут в индексе еще пару месяцев и как бы такой дубляж страниц не желателен. Вопрос заключается в том, а есть ли возможность в панельке удалить все страницы определенной языковой версии или все же нужно потихоньку ковырять по одной страничке?) Спасибо)
Спасибо за совет
интересные способы, возьму на заметку
Спасибо – коротко и ясно. Первый раз услышал про 4 способ (X-Robots-Tag). Я пользуюсь ручным удалением, не подводит
Странно я удалил страничку из гугла 3 дня назад до сих пор нет результата, о каких 3 часах речь не знаю.. и спасибо за X-Robots-Tag не знал о таком=)
Спасибо, пригодилось, прямо сейчас подчистил десяток страниц! А я думал нельзя удалять…
Особенно, помогает удаление страничек, когда домен куплен с историей. Чтобы не засорять сайт в ПС старыми страницами.
А я уже устал пытаться удалить 404 через вебмастера… Мне там пишут,что типа эта страница не проиндексирована,а значит ничего удалено не будет… И тут же они все висят списком,аж 177 шт (спасибо за это старому хостеру,который 2 раза убивал мне бд)… Пытался так сделать с несколькими,но надоело бороться и отложил это на будущее… С кодами всякими я ещё не очень дружу… Вот бы плагин кто придумал такой )))
Пока с этим не сталкивался, но мне было интересно почитать, думаю, что в будущем эта информация пригодиться..
А если наоборот нужно обратно вернуть в индекс. У меня на одном из моих блогов яша выкинул практически все страницы из поиска, из почти 300 осталось 10, со мной таких казусов ещё не было, и не знаю ни причину не что делать. Платону писала, но пока не ответа не привета.
А можно ли закрыть целую таблицу на сайте? Например, понавтыкал пару банеров и ссылок с разных бирж, а на самом деле поисковик эти части сайта не сканирует?
Возможно я ошибаюсь, но как раз поисковик сканирует закрытые баннерами таблицы. Обычно так делают на серых сайтах. В принципе, когда поисковик поймет что это серый сайт, может и переставать выдавать его в результатах поиска.
Домен купила, а он клеенный. Даже страницы с фармой в поиске есть.. Незнаю как вывести страницы- блог, а в Гугле про лекарства результаты есть. На сайт.
Давно вынашивал идею удалить некоторые страницы из выдачи, но не знал с какой стороны подойти. Теперь все стало ясно, благодарю за информацию.
я хотел узнать как удалить обьевление от колесо
добрый день, а как удалить оч большое кол-во дублей??)
у меня на сайте стоит смс обработчик, в итоге на странице можно поменять язык и страну проживания….т.е для каждой пары дубль….
Пример: есть страница http://www.avtosity.com/alfa-romeo-156-rukovodstvo-po-remontu-i-ekspluatatsii
меняем язык получаем – http://www.avtosity.com/alfa-romeo-156-rukovodstvo-po-remontu-i-ekspluatatsii?s_language=french
меняем страну получаем – http://www.avtosity.com/alfa-romeo-156-rukovodstvo-po-remontu-i-ekspluatatsii?s_language=french&s_country=LV
как закрыть эти дубли?? ведь их так много, должна же быть какая-то систематизация, cms – textpattern
Яндекс никак не может удалить порядка 100 страниц уже 3 апдейта выдачи. Ботов на старые страницы натравливаю раз в неделю, ходят по страницам но никак не удаляют. На страницах Error 404. Гугл удаляет в течение пары дней, даже пишет о результате!
Может быть у кого есть софтина чтобы можно было списком страницы поудалять а то по одной уж очень долго?!
Я, как правило, использую ручное удаление через панель вебмастеров
Использую robots.txt, а про X-Robots-Tag, раньше ничего не слышал.
Я на яндексе много раз пытался однутолько ссылочку свою выбить из выдачи, так и весит там, но думаю скоро пропадет ибо поменял ссылочную структуру сайта.
для меня самый актуальный это оставление записки в роботс
После смены URL адресов, на моем новом блоге образовалось несколько таких страниц в индексации с ошибкой 404. После чего яндекс совсем перестал индексировать мой блог. Уже десять дней робот не заходит и не индексирует блог, хотя с гуглом все с порядке полном. У кого нибудь были еще проблеммы с этим?
Подскажите пожалуйста у меня раньше в robts.txt была запрещена индексация сайта теперь robts.txt у меня выглядит так
User-agent:
Allow: /
прошли месяцы но моей страницы так и нет в Яндексе в чем проблема и как ее исправить?
А мне Яндекс-вебмастер бог знает сколько времени показывает кучу страниц “ошибка 500” хотя она давным давно исправлена, и все нормально.
@Вадим:
Посмотрите логи сайта, как давно на него заходил Яндекс. Возможно, стоит разместить ссылку-две на авторитетных часто обновляемых ресурсах, чтобы привлечь бота. Если у вас все в порядке с отдачей страниц, то после захода бота через пару апдейтов можно ожидать появление сайта в индексе.
Спасибо как ни странно он с появился в поиске, и действительно я перед этим начал добавлять ссылки . Возможно это и помогло.
подчищаю отсутствующие страницы в Яндексе и Гугле. Приемлемым почему-то получается только один вариант для меня: через файл роботс.тхт делаю закрытие доступа к странице и “ручками” удаляю страницу из поисковиков.
внимание и контроль, я считаю самыми важными помошниками в данном случае. яндекс ну ооочень не любит 404….
Подскажите, запрет поставленный в файле robots.txt, является ли гарантией, что то, что стоит после Disallow: /….htm точно не попадет в индекс Яндекса или же воспользоваться всеми вышеперечисленными методами?
Поисковики мне напоминают упрямую рыбешку.Как ее прикормишь, так она себя и поведет.До сих пор помню что по глупости своей вначале добавил сайт в яндекс, а затем забыл что не запретил к индексации некоторые директории.В итоге около месяца потом ждал пока поисковик в прямом смысле выкинет необходимые данные из выдачи.Забавно было. Хорошо хоть вовремя успел все исправить.
Яндекс очень тугой. После смены ЧПУ старые страницы висели в индексе ещё несколько месяцев. А статистика в вебмастере до сих пор не обновилась. В гугле всё шито-крыто.
Полностью согласен с Bred!!! Когда возникла такая надобность, я, не зная, что делать – написал в Яндекс. Они дали совет № 5. Что я и сделал. Прошло уже 1.5 месяца, статьи на сайте нет, а в индексе висит. Правда при заходе на неё выдаёт 404. Гугл сработал оперативно, молодец. Так что и не знаю, как быстреё было бы это решить…..
а что это за прикол такой…мной не было замечено чтоб поисковики удаляли страницы с запретом в роботс на индексацию из поиска…они просто идут на сайт на 404 ошибку…почему бы просто не удалить такую страничку с выдачи..зачем грузить место в базе))
Подскажите, как удалить сайт не из поиска, а из Google Webmaster Tools.
Нечто новое для себя захавал,но для гугла нормалек побистрее будет,а пока дойдет до яндекса, с его долгой индексацией пройдет много времени,пока страничка удалится!!!
Ручное удаление строницы из веб мастера google помогает яндекс нет.
ой как замечательно! у меня на сайте 1100 страниц, а в поиске 2500. как бы только это все быстро сделать?
Ручное удаление из панели google достаточно быстро удаляет из индекса, но не стоит особо переусердствовать, как пишет google:
“ Использование этих инструментов не по назначению может привести к негативным последствиям для вашего сайта.”
Не могу найти данный пункт в новом виде инструментов Google
Моя фамилия и фото на сайтах знакомств;я понятия о них не имею.
Это некий Василий www.russianwoman.ca.
Звонили ему в агентство.
Удалять мою фамилию и фото отказывается.Что делать?
все методы действующие! Мы и удаляли в вебмастере и с ситемапа, вроде удалились все ненужные, правда не сразу!
Накосячил на сайте со скриптом и появились пустые страницы. Делал запрет мета-тегом и ещё вручную удалял через панель яндекс вебмастера. Но что самое удивительно, Яндекс иногда возвращает в индекс 1-2 запрещенные страницы. Так что использование мета-тега ИМХО не лучший способ.
Да, бывает, что некоторые странички не хочется выкладывать в Пс..
Сайт на движке joomla. После установки ЧПУ ссылок естественно ПС наиндексировали в 10 раз больше((( Ограничил индексирование роботсом, но вот беда Гугл не учитывает директиву Allow, а ссылка на карту сайта имеет такое написание, которое я ограничил, чтобы избавится от дублей. Яндекс директивы учел и все дубли удалил, но когда я экспериментировал с написанием названия сайта в выдаче (чтобы начальные слова были с большой буквы), Яша проиндексировал и те и другие (т.е. с маленькой и с большой буквы). Вопросик: насколько будет целесообразно в .htaccess поставить редирект с одних на другие? Это вообще будет работать или я бредом полным занимаюсь? Или вообще стоит подождать следующего АПа и Яша сам все склеит? А вот Гугл упорно не хочет удалять дубли(((
sposibo , nadeyusi pomojet 😉
Всё понятно. Новичок в этом деле, а написано как раз для меня )
Не наткнись я на эту статью мне бы и в голову не пришло, что бывает необходимость удаления страниц из поисковика.
Мне как новичку в СЕОделах столько всего изучать надо, аж жуть берет. Тем более, что столько разных мнений по одному и тому же вопросу. А садиста Яшку я ваще ненавижу – он мой сайт забанил, а Гугл даже все картинки проиндексировал.
<meta name=“robots” content=“noindex,nofollow” />
Недостаток данного метода лишь в том, что его сложно внедрить для динамического сайта, если отсутствуют специальные навыки.
————————
Вот вот… может кто поделится “специальными навыками” для Джумла!?
Спасибо, очень полезная инфа! А помимо удобства использования есть ли разница в использовании robots.txt или мета-тегов со стороны поисковика?
“Ручное удаление из панели для вебмастеров”- использую только этот способ.
Если бы гугловцы в своем “ручном удалении” сделали еще пакетную загрузку урлов, было бы совсем хорошо. Так как сейчас, даже чтобы удалить каких-нибудь пятьдесят страниц, нужно попыхтеть основательно.
Очень полезная статья для новичков SEO. Буду пробовать
Когда будет статья о том, как добавить УРЛ? Меня интересует как заставить проиндексировать Яндекс мой блог на гугловском блоггере.
Яндекс по своему желанию сам почти все ссылки с параметрами поудалял. За что – не знаю и как вернуть тоже
Та же проблема… Так и не решил.
А если поставил дополнение на вордпрессе , robots.txt , то больше ни чего не нужно настраивать ? А то что то посетителей все нет и нет
Разрешите уточнить. Возможно кому-то поможет сэкономить время. Если у вас в robots.txt есть 2 директивы ‘User-agent: Yandex’ и ‘User-Agent: ‘, Яндекс смотрит только свой раздел, игнорируя общий. Поэтому все свои Disallow: вставляйте в раздел для Яндекса или удалите этот раздел и используйте директиву ‘’ для всех роботов. Я пока до этого сам дошел, убил пол-часа 🙂
здравствуйте …народ пожалуйста помогите кто сможет я оплачу …мне надо так же удалить с яндекса информацию …только я не разбераюсь …кто сможет напишите мне ..boevoe.sambo.1993@mail.ru
Полезная статья, много бывает дубликатов страниц – а это нехорошо.
Спасибо за содержательный пост. Много полезного и нового узнал. Только у меня к Вам один вопрос: почему Ваш robots.txt запрещает всего 2 пункта? Вас все устраивает?
Намучался я в свое время с роботс. При чем на разных сайтах по разному советуют.
не знал даже!!!)))
Впервые узнал из поста о существовании мета-тега robots и заголовке X-Robots-Tag.
А как насчет этого?
“Внимание! Инструмент удаления URL предназначен для срочного удаления страниц, например в тех случаях, если на них случайно оказались конфиденциальные данные. Использование этого инструмента не по назначению может привести к негативным последствиям для вашего сайта.”
Здравствуйте, владелец сайта удалил по моему запросу страницу. В поиске гугл до сих пор есть ссылка, в которой указывается мое имя. При нажатие на ссылку открывается главная страница сайта, то есть информацию касающей меня они удалили. Я уже запрос гуглу отправила и они одобрили удаление. Но при поиске ссылка все равно появляется. Что делать? посоветуйте пожалуйста?
@Жанна:
Тут только ждать. Если гугл еще не переиндексировал страницу (которую удалили), можно попробовать на нее разместить ссылку.
Спасибо Девака. Я не много не поняла как можно разместить ссылку на страницу? и зачем? мне нужно чтобы гугл совсем убрал в поисковике ссылку. как это делается с 404 (dead) страницами. в моем случае ссылка есть; выходит текст в синем цвете, в низу как обычно зеленая ссылка и серым текст (только дата) каким то образам они отредактировали серый текст (после моего запроса) но мне надо чтобы все ушло. URL считается лайф, так как ссылка выкидывает на главную страницу сайта.
Лично для меня это все новое. Для меня не стоял вопрос – убрать страницу их поиска. Но, буду знать, вдруг в будущем пригодится.
Воспользовался данными советами и удалил страницу, премного благодарен. Правда не сразу нашел пункт в webmaster tools
спасибо за ваш полезный блог. все мне было страшно удалять страницы из индекса (прямо святотатство какое-то :). теперь прочитала статью и начала удалять странные ссылки, вот жду последствий 🙂
Хотел уточнить один момент. У меня на одном сайте, 400 исключенных страниц в яндексе. Причина: “Неверный формат документа”
вид исключенных ссылок такой: …index.php/component/search/?format=opensearch.
Вероятно проблема индексирования страниц в поиске.
Я попытался закрыть поиск директивой Disallow: /search/. Достаточно ли моего варианта для закрытия поииска или нужно использовать рекомендацию из вашей статьи: Disallow: /search.php?q=*. Спасибо
что интересно, когда пользуешься ручным удалением страницы и в панели Яндекса и Гугла, потом затолкать страницу обратно в индекс довольно проблематично )
Купил просроченный домен, куча URL почему то осталась в поиске, видимо на эти страницы ссылаются другие домены, воспользовался вашими советами, часть ушла, а несколько так и не удалились.
Это всё очень хорошо! Но как долго страницы из индекса пропадают? Я уже месяц жду…
Это все понятно, но вот как удалить станицу, что бы она в самой панели вебмастера не светилась со статусом 404. Ато заходишь в панель яндекса, а там тебе 20 страниц не найденных, которых уже пол года как не существует и никакие ссылки на них не ведут.
Все надо уметь и добавлять и удалять. Иногда не нужные страницы или удаленные страницы мозолит глаза в поисковых сервисах
Спасибо за статью, благодаря ей нашел в яндексе страницы которых уже нет, теперь хоть удалю.
я воспользовался методом с robots.txt но ятдекс бот все равно заходит в исключенный раздел сайта
Совсем недавно сделал сайт и уже есть дубли, как их избежать вот в чем вопрос.
А если я удалил все страницы сайта с индекса вручную с запретом в роботсе. Когда страницы удалились, я роботс вернул в прежнее состояние, но страницы в индекс не попадают, как мне их вернуть обратно?)
Придется подождать. Повторная индексация займет больше времени. У меня на это месяца полтора ушло.
Теперь буду знать как убрать эти страницы из поиска!
Лучше подскажите 5 способов 100% добавления страницы в поиск Яндекса!)
Автору спасибо за статью! Только у Вас нашел внятно и доступное объяснение, как правильно осуществить удаление страницы. Воспользовался методом через robots.txt, подожду пару обновлений, надеюсь удалит. До этого пробовал простое ручное удаление, но по не опытности не знал, что они должны быть для этого предварительно уже закрыты от индексирования. В общем, спасибо Вам! Успехов.
Подскажите, еще не доделав сайт, который уже был залит на хостинг, чудом попал в индекс, 145 страниц, все эти страницы либо пустые, либо кривой текст, либо плагиат но был залит с целью переделать.
Как быть в такой ситуации? Стоит ли удалять все страницы с индекса? Или можно быстро главные страницы подправить? Много страниц переименовываю, что будет со старыми страницами которые проиндексировались? И как весь этот мусор в индексе, скажется на рейтинге при будущей оптимизации?
Буду очень признателен за внятный ответ!
Serg, если по тем адресам (url) документов будет новый контент, то можете не волноваться, просто при переиндексации сайта гугл/яндекс увидит новый, уже уникальный контент. Если контент будет размещаться на других адресах, а те, которые попали в индекс вообще не нужны и никогда не обновятся, то стоит их убрать из индекса вручную.
Я бы на вашем месте закрыл индексацию сайта в robots.txt и полностью удалил бы его из индекса через панель для вебмастеров. После релиза уже можно все открыть и индексация пойдет заново.
Санкций никаких не должно быть в любом из выбранных вами случаев. А когда мы говорим о рейтинге, то подразумеваем рейтинг полезных документов, просто мусор не будет показываться.
сталкивался с похожей проблемой, мало приятная ситуация
Есть два сайта, у первого домен продлевать не хочу, так как есть второй сайт схожей тематики и с более подходящим доменом.
Пытаюсь удалить страницу 1-го сайта из индекса через webmaster.yandex.ua/delurl.xml, а оно мне пишет “Немає підстав для видалення. Сервер не повертає код 404, індексування не заборонене ні в robots.txt, ні метатегом noindex.”
При этом домен в HOLD-е и уже не резолвится, контент с него перенёс на второй сайт (стоит задача ускорить индексацию перенесённых страниц, но при этом не попасть под раздачу за плагиат).
Есть идеи как достучаться до Яндекса в такой ситуации и заставить его побыстрее удалить страницы с непродлённого домена?
а у моего сайта panfpro.com наоборот добавить не получается)
Спасибо,помогло,было несколько страниц (старые копии страниц)Воспользовался советом помогло.Вообще на вашем сайте по ходу имеется ответ на любой вопрос,и довольно таки он старый и проверенный временем.
Сколько я по мучался с дублями в cms джумла, но все таки смог избавиться с помощью одного расширения.
Здравствуйте, пришлось менять структуру сайта, так как изначально сделал не правильно, в итоге куча несуществующих страниц, так яша как на зло, проиндексировал их только после того как их не стало, как он это сделал?
У меня тоже такое было, но потом само и исправилось
Скажите, дубль site.ru/index.php можно убрать при помощи noindex и rel=canonical?
Подскажите пожалуйста, что мне делать, если попало много страниц и картинок к поисковикам, пока сайт еще не готов и структура изменится, и это интернет магазин. Простое удаление и получение 404 ошибки для таких страниц норм будут?
Спасибо за информацию. Применил к своей ситуации.
А ситуация следующая: По простоте душевной оставил открытой для индексации папку UPLOADS в WP. Думал лишний трафик с картинок не помешает. И пришлось мне раз написать статью, которая сопровождалась документом на 370 страниц в формате PDF (файл был загружен в папку и на него была прямая ссылка). Так вот, гугл нашел этот документ, просканировал и накушался ключевиков оттуда, которые моей тематике сайта совершенно не подходят.
Поэтому будьте осторожны с загружаемыми документами.
Теперь по рецепту автора буду пробовать чистить. Еще раз спасибо за статью. Надеюсь поможет.
Всё лишнее в robots.txt и всё!
Как ни странно, не всегда помогает.
Есть вопрос, У меня есть сайт проиндексированная страница на нем висит уже месяца 3 отдайт 404 но из индекса не выходет, в чем проблема?
Я конечно же профессионал, сам не так давно этим занимаюсь. А ты удалял страницу через панель вебмастера в Яндексе. Там же можно страницы удалять. Просто вводишь адрес и создаешь запрос на удаление. Сама то она не исчезнет из индекса.
Да, действительно, такая система работает, помогло.
Доброго дня)
Вопрос – можно ли сделать так, чтобы не индексировались партнерские ссылки ведущие на сайт? Был сайт, аналогичный этому http://www.vsl-india.ru/ , то есть структура и все практически один в один (сейчас тот домен удален) и был соединен с партнерским интерфейсом. Была проблема в индексации партнерских ссылок – партнеры спамили, оставляли везде где только можно ссылки, а они индексировались, в основном гуглом, но некоторые и яндексом.
Можно ли сделать запрет на индексацию адресов сайта, где в адресе есть партнерский хвост ?
Я удалила свой профиль с сайта, но моя личная информация, такая как: Фамилия, имя, дата рождения, фотографии по-прежнему видны в поиске Google. Возможно ли в данном случае создать ошибку 404, если я не являюсь владельцем сайта? Мне нужно удалить эту информацию каким-то образом, но не знаю каким. Я уже обращалась за помощью в службу Google, описала мою проблему. Они ответили, что надо обратиться к владельцу сайта/ администратору. Я уже отправила много писем, но тишина.
Екатерина, информация имеет такое свойство клонирования, что чистить потом не всегда удается. Если вы не имеете доступа к тем сайтам, где хотите удалить информацию, навряд ли у вас что-то получится, нужно договариваться с владельцами. Или если это как-то нарушает законодательство, то писать жалобу хостеру. 404 ошибку на чужом сайте вы не сможете сделать, только их админ.
добрый день, Сергей. через сервис яндекса https://www.webmaster.yandex.ru/delurl.xml удалял дубли страниц (вбивал адрес вроде https://www.site.com.ua/?p=4). примерно через неделю сайт полностью выпал из индекса яндекса. подскажите, не было ли у вас подобного опыта? не выпадал ли сайт неожиданно из индекса? может это какие-то временные санкции от вышеуказанной поисковой системы? чисто теоретически, я же не мог удалить из индекса весь сайт, вбивая в сервисе “delurl” подобный url “https://www.site.com.ua/?p=4”
Петя, скорей всего это совпадение. Где-то в другом месте напортачили. Проверьте robots.txt, meta-robots и http headers.
meta-robots проверил – всё хорошо, http headers – тоже хорошо.
действительно, когда взяли сайт, в файле robots.txt не было директивы Яндекса. я её добавил, проверил доступность страниц, всё оформлено корректно.
Возможно ли такое: Яндекс увидел обновленный роботс и решил, так сказать, начать всё с нуля?
индексация вернулась, позиции вернулись. Сергей, спасибо за помощь)
Спасибо за интересную статью. Нужна ваша помощь, не нашел про Таргетинг по странам. Дело в том что я купил домен в зоне UZ и Google стоит следующее “Домен вашего сайта в настоящее время связан со следующей целью: Узбекистан” Как убрать таргет?
“Использование этих инструментов не по назначению может привести к негативным последствиям для вашего сайта.”
У кого-то были негативные последствия после удаления URL-ов в гугл вебмастер?
*Единственное условие для ручного удаления страниц – они должны быть закрыты от робота предыдущими методами (в robots.txt, мета-теге или 404-ой ошибкой). *
Ни в коем случае не нужно закрывать удаляемые вручную url в robots.txt или мета-тегом – ТОлько кодом 410 gone !
Из-за Вашей, Сергей, неточности, промучался на пару месяцев дольше.
Спасибо…
Почему при ручном удалении страниц – они должны быть закрыты от робота предыдущими методами (в robots.txt, мета-теге или 404-ой ошибкой). Поисковики же не хранят копии страниц. Как только страница сайта физически удалена, то к её контенту доступа нет.
Полтора года (повторяю 1.5 года назад) назад удалил все страницы и закрыл в роботсе полностью весь сайт. (они удалились через некоторое время и сайт пустой висел все это время)
Вот совсем недавно решил на этом домене новый сайт сделать, открыл роботс, добавил новые странички и смотрю в гугле всплыли все странички удаленные 1.5 года назад. Вот пакость какая случилась.
Привет всем!
С удалением страниц и прочее понятно!
Но у меня Немного другая проблема!
С Поисковиком google. Страницы Блога то Появляются то Пропадают из Поиска google, Но главная Страница Всегда в Поиске остаётся! Может Кто Сталкивался с Таким?
Как с этим Бороться?
Заранее Спасибо За Ответ!
Здравствуйте. Такой вопрос. Менял ссылки на латиницу. Соответственно осталось куча старых ссылок в индеке. Сделал перенаправления, но прошел месяц а старые страницы пока не выпали из поисковиков. Вопрос. Нужно ли мне удалять все вручную, либо по прошествии времени старые страницы сами пропадут? Спасибо.
Станислав, сами пропадут. Но можно и вручную помочь.
Приветствую! Имею примерно такой результат в Яндекс (периодически менял структуру сайта) в Вебмастре, страниц: загружено 2 970 (уйма 404 и 301) страниц, исключено 723 и в поиске 462. Стоит ли руками или Яша, со временем подчистит, есть просто древние редирект и не найденные. Посоветуй, буду благодарен.
Сергей, спасибо за статью, актуальная проблема сейчас для меня)
Скажите, страница( дубля) сама из соплей пропадет или ее нужно как то удалять из дополнительного индекса?
Скажите, а какой есть вариант удаления из поиска несуществующей страницы, с чужого сайта? Убираю копипастеров из поиска, то есть они у себя удаляют, но их страницы по 2 месяца все равно выдаются в поиске гугла. Нажимаю, отправить отзыв, внизу страницы, ничего не происходит…
Добрый день, Сергей! С ноября 2016 года веду масштабную работу по замене на все сайте всех url на ЧПУ. Суть вопроса – яндекс считает новые ЧПУ дублями и выбрасывает их их поиска. Страниц много – больше 10 000. Как выбросить старые страницы из поиска?
Спасибо!