20 май
Автор: Сергей Кокшаров в Инструментарий
Xenu Link Sleuth это один из наиболее полезных инструментов в поисковой оптимизации. Хотя эта программа изначально предназначалась для поиска битых ссылок на сайте, с помощью неё можно решать ряд других задач, проводя аудит внутренней структуры сайта и находя в нем слабые места:
– Искать битые (неработающие) ссылки на заданном ресурсе.
Вы написали сотню статей, во многих были ссылки на другие ресурсы или какие-нибудь документы, изображения, но уследить за работоспособностью всех этих ссылок вручную невозможно. В данном случае очень удобно использовать Xenu Link Sleuth, как свободный софт, простой в настройке и использовании.
– Составлять карту сайта.
Для динамических сайтов составить карту не составляет проблемы, однако, для статических HTML ресурсов создавать карту сайта вручную весьма долго и трудоемко. Xenu решает эту задачу за несколько минут в зависимости от размера сайта и скорости Интернет-соединения.
– Искать страницы с большим временем отдачи.
Зная, какие страницы на вашем сайте отдаются с большой задержкой, можно проанализировать причину подобного поведения и оптимизировать время отдачи, что положительно скажется как на посетителях, так и на поисковых системах.
– Найти неуникальные тайтлы.
Каждый тайтл на странице должен быть уникален, тогда ни одна из них не будет находиться в дополнительных результатах поиска и фильтроваться, как дублированный контент. Поэтому важно знать, на каких страницах сайта тайтлы повторяются.
– Найти страницы с большим уровнем вложенности.
Все страницы на сайте по возможности должны находиться не далее, чем в двух-трех кликах от главной. Чем дальше находится страница, тем сложнее до неё добраться как пользователям, так и поисковым системам. Если у вас нашлись подобные страницы, являющиеся важными, но находящиеся далее, чем в 3-х кликах от главной, стоить принять какие-либо меры для улучшения навигации. Возможно, некоторые из дальних страниц вам уже не нужны, xenu легко позволяет их найти.
– Искать страницы с максимальным количеством исходящих ссылок.
Как упоминалось раннее, все исходящие ссылки на сайте должны тщательно модерироваться, так как от них зависит заслуженное доверие от поисковых систем (по принципу: “Скажи мне кто твой друг и я скажу кто ты!”) а также присвоение сайту различного рода фильтров. Если вы заметили резкое падение позиций в поисковике, тогда первым делом необходимо проверить все исходящие ссылки, так как возможно, если виноваты не вы, то хакеры, разместившие на вашем ресурсе свои спам-ссылки.
– Посмотреть какие из страниц имеют наибольшее и наименьшее количество внутренних ссылок на себя.
Проверьте вашу внутреннюю перелинковку в численном виде. Какие из страниц заслужили больше внимания, а какие меньше (исходя из внутренних ссылок)?
– Найти картинки с отсутствующим атрибутом alt.
Атрибут alt является важным при оптимизации сайта или отдельных страниц под определенные запросы. Проверьте, возможно, вы упустили описание для важных на вашем сайте изображений, добавив которое, вы улучшите позиции в поиске, либо вас будут находить по поиску по изображениям.
Результаты решения этих задач, как видно, могут быть использованы для оптимизации, поэтому, сделаем небольшой обзор программы Xenu Link Sleuth, чтобы её пользователей не пугал английский интерфейс.
Ксену является свободным продуктом и эту программу можно скачать по этой ссылке. При запуске перед вами откроется очень простое окно, важная часть которого изображена на скриншоте.

Чтобы начать аудит какого-либо сайта, выберите пункт меню “File » Check URL”. В появившемся окне необходимо ввести адрес сайта и выделить чекбокс “Check external links” (проверять внешние ссылки).

В программе предусмотрено множество настроек, доступных в пункте меню “Options » Preferences”.

Parallel threads устанавливает количество синхронных (параллельных) запросов.
Apply to all jobs позволяет сохранять настройки для всех проектов.
Далее, отчет позволяет включать в себя:
Broken links, ordered by link — Битые ссылки, отсортированные по адресу;
Broken links, ordered by page — Список битых ссылок, отсортированных по страницам;
Broken local links — Битые внутренние ссылки;
Redirected URLs — Адреса с 301/302 редиректом;
Ftp and gopher URLs — ФТП и другие не HTTP адреса;
Valid text URLs — Список рабочих текстовых ссылок;
Site Map — Карта сайта;
Statistics — Статистика;
Файл отчета работы Xenu очень большой и содержит в себе всю необходимую информацию. К примеру, статистика мониторинга моего блога показала следующие результаты:

В результате аудита, на сайте найдены ряд моментов, на которые стоит обратить внимание для оптимизации. Единственный недостаток программы — отображение русских заголовков страниц в неправильной кодировке.
Сразу же после окончания проверки ссылок сайта, в главном окне появится детальная таблица, где данные можно отсортировать по каждому из столбцов: адрес ссылки, возвращаемый статус, mime-тип, размер, заголовок, уровень вложенности, кол-во внешних и внутренних ссылок, время отдачи страницы. Вот эту таблицу вам и надо использовать. Если что-то будет не понятно по работе или использованию программы, можете спрашивать в комментариях, постараюсь ответить.
Найдите нужного исполнителя через каталог seo-компаний Рунета.
Комментарии
мая 21, 2009 at 08:57
1О! Юзал ее для поиска broken links, а про использование в качестве генератора карты сайта даже не думал. Спасибо.
мая 21, 2009 at 09:09
2Классная программа. Для меня важно, что бесплатная, буду на работе использовать.
Спасибо!
мая 21, 2009 at 10:14
3Вот Серега молодца!
мая 21, 2009 at 01:33
4А у меня нормальные тайтлы показывает, между прочим.
мая 21, 2009 at 04:28
5Давно хотел найти подобню прогу, руки не доходили спасибо
Качнул щас буду разбираться
мая 21, 2009 at 06:58
6Светоч, Diffio, rew, рено, пожалуйста!
PeterQ, а страница с какой кодировкой была? Я парсил с utf-8.
мая 21, 2009 at 07:43
7он что просит пароль от ftp ?
или можно без этого ?
мая 21, 2009 at 08:11
8wlad2, вводить данные FTP не обязательно. При этом отчет сохранится локально в темповой папке.
мая 22, 2009 at 09:33
9Спасибо за подробную статью! Надо обязательно воспользоваться этой программой. Хорошо, что она бесплатная :)
мая 22, 2009 at 09:04
10Хорошая программка. Благодаря ей пачку битых линков отыскал.
К Вам топает болшьшое спасибо. =)
мая 24, 2009 at 01:04
11Отличная прога, спасибо. И титлы нормально показывает.
мая 28, 2009 at 01:54
12Потоков лучше все-таки не десять как по-умолчанию, а 2-3 – Зина настолько быстрая, что забивает даже дедик. У Вас, например, в отчете 2 УРЛа были не отданы из-за перегрузки.
Галку с ФТП и файлов-“сирот” можно смело снимать – это для голого html
июня 26, 2009 at 07:39
13спасиб за знакомство
июля 1, 2009 at 09:43
14Отличная статья, полезная программа. Подписалась на рассылку. Спасибо!
июля 2, 2009 at 04:56
15Сенкс, давно хотел поюзать Xenu.
июля 4, 2009 at 09:39
16Скачал,установил и сразу увидел пользу
Спасибо!
июля 13, 2009 at 05:29
17Интресеная софтинка. Надо поюзать :) Спасибо
июля 17, 2009 at 12:59
18По вашей наводке скачал – теперь использую. Спасибо большое за подсказку! :)
А еще с вашего блога невозможно уйти – потому что куча интересного грамотного материала и не все еще прочитано.. Спасибо вам за работу! :)
июля 24, 2009 at 12:44
19Прога на 5+ спасибо вам огромное, подписался на рассылку, буду заходить к вам! Еще раз спасибо!
июля 28, 2009 at 02:43
20Попробывал программу в действии, иногда глючит и показыает неверные данные… я думаю она ещё сыроватая…, но спасибо – всё таки есть альтернатива!
июля 30, 2009 at 02:55
21Какое лучше ставить значение Parallel threads?
августа 3, 2009 at 01:20
22А русскоязычной версии у программки нет, никто не знает?
августа 5, 2009 at 10:40
23Отличная прога + инструкция составлена на русском на блоге.
Севастопаль респект :)
августа 23, 2009 at 12:32
24Оказалось куча ссылок
no connectionподскажите дальнейшие действия…сентября 10, 2009 at 03:34
25Если кодировка 1251 – распознаёт нормально (если она указана в коде)!
сентября 25, 2009 at 09:44
26Отличный инструмент, сам пользовался не однократно этой прогой, особенно полезна для анализа новых сайтов перед оптимизацией.
сентября 30, 2009 at 04:36
27>Найти неуникальные тайтлы
Вот этого пункта я в программе не нашел. И в отчетах нет. Поясните, может я что-то проглядел?
Прога полезна, но для старых сайтов хватает инструментов Гугла.
октября 11, 2009 at 11:31
28сразу не втыкнул, спустя месяц дошло :), был (web)
октября 13, 2009 at 12:13
29После как проверил и нашёл битые ссылки на сайте http://faty007.ucoz.ru/ как удалять в ручную.
октября 20, 2009 at 05:09
30Море слов и все нецензурные. В свой адрес. КАК я пропустил это раньше? Неоценимый, великолепный инструмент анализа сайта! Учитывая, что на одном из моих сайтов больше миллиона страниц – ручками там делать нечего. Первый же прогон дал результаты, от которых я схватился за волосы и даже список TODO составлять не пришлось – есть же логи, бери и правь!
Единственное, конечно – надо бы уменьшить программно число потоков обработки, потому как положить любой сервер даже на 30-40 потоках – как 2 пальца. Некоторые могут использовать в злонамеренных целях. У меня, например, на двухьядерном не особо загруженном сервере лоады поднялись до 3, что о многом говорит.
Но это – мелкие технические детали.
ПРЕВОСХОДНО!
октября 25, 2009 at 11:04
31большое человеческое спасибо :)
ноября 7, 2009 at 01:41
32Спасибо нужная вещь
ноября 8, 2009 at 12:37
33Как раз искал чем проверить новый движок на предмет битых линков и пр. ошибок. Спасибо большое за подробное описание :)
ноября 8, 2009 at 01:38
34Спасибо:) Каждый раз нахожу в вашем блоге что-то очень полезное!
ноября 14, 2009 at 09:01
35Да программа просто супер, очистил сайт от битых ссылок, создал sitemap, и Вообще считаю что ресурс очень полезен, часто захожу и каждый раз нахожу много интересного, спасибо )))
ноября 17, 2009 at 03:03
36Сергей, спасибо за программу и огромное спасибо за статью на Серче по теме как продвигать сайты и как составлять семантическое ядро.
ноября 19, 2009 at 04:17
37Программа на 5+, большой функционал. Спасибо Сергею. Но у меня почему-то она не докачивается до конца, возможно что-то с источником. Большая просьба, у кого есть архив, киньте мне на почту playarik@gmail.com
Заранее спасибо.
ноября 19, 2009 at 04:35
38Скажите как часто надо проверять этой программой и что если она говорит ошибку 404 а в ручную там нормально
декабря 3, 2009 at 09:48
39Здрасте
прогу потестил, понравилась
отыскала битые ссылки
но подскажите плз как из нее сайт мап изъять
пока не дотумкал сам
спасибо заранее
декабря 18, 2009 at 11:08
40Скачал Xenu от 5-го декабря, все русские заголовки нормально отображаются, как в программе, так и в отчете. Наверно уже исправили проблему. :)
декабря 18, 2009 at 08:27
41С Abilon и сюда за прогой, да подробнее почитать:)
Спасибо большое и за пост, и за прогу!
Присоединяюсь к № 38.
декабря 19, 2009 at 06:33
42Спс полезная программа, давно искал что-то подобное.
декабря 28, 2009 at 09:24
43Николай, Kirsanov, возможно проблема с вашим скриптом, проверьте заголовки вручную, вот здесь например: http://delphiblog.ru/scripts/get-headers/ и если ответ будет “HTTP/1.1 404 Not Found “, то ваш скрипт именно таким его и отдает. Может где-то то лишний “header(“HTTP/1.0 404 Not Found”)” указали в коде или проверка не правильная на отсутствующий материал.
января 5, 2010 at 09:52
44Что-то не пойму как с её помощью карту сделать, при сохранении не вижу xml формата. Не моглибы немного подробнее рассказать про создание карты.
января 5, 2010 at 02:03
45После проверки сайта нажимаете File – Create Google Sitemap File и вводите имя, после сохранения появится файл .xml
января 5, 2010 at 11:42
46Aion-Top, вам респект наравне с автором!
за подсказку для детского сада! :)
января 8, 2010 at 11:54
47благодарю, программу уже качаю :)
февраля 2, 2010 at 05:50
48Отпишите меня от уведомлений о новых комментах. Надоело этот спам принимать
февраля 2, 2010 at 06:04
49cоглашусь с MAzZY….
Комментирование этой статьи закрыто.