Xenu Link Sleuth это один из наиболее полезных инструментов в поисковой оптимизации. Хотя эта программа изначально предназначалась для поиска битых ссылок на сайте, с помощью неё можно решать ряд других задач, проводя аудит внутренней структуры сайта и находя в нем слабые места:
– Искать битые (неработающие) ссылки на заданном ресурсе.
Вы написали сотню статей, во многих были ссылки на другие ресурсы или какие-нибудь документы, изображения, но уследить за работоспособностью всех этих ссылок вручную невозможно. В данном случае очень удобно использовать Xenu Link Sleuth, как свободный софт, простой в настройке и использовании.
– Составлять карту сайта.
Для динамических сайтов составить карту не составляет проблемы, однако, для статических HTML ресурсов создавать карту сайта вручную весьма долго и трудоемко. Xenu решает эту задачу за несколько минут в зависимости от размера сайта и скорости Интернет-соединения.
– Искать страницы с большим временем отдачи.
Зная, какие страницы на вашем сайте отдаются с большой задержкой, можно проанализировать причину подобного поведения и оптимизировать время отдачи, что положительно скажется как на посетителях, так и на поисковых системах.
– Найти неуникальные тайтлы.
Каждый тайтл на странице должен быть уникален, тогда ни одна из них не будет находиться в дополнительных результатах поиска и фильтроваться, как дублированный контент. Поэтому важно знать, на каких страницах сайта тайтлы повторяются.
– Найти страницы с большим уровнем вложенности.
Все страницы на сайте по возможности должны находиться не далее, чем в двух-трех кликах от главной. Чем дальше находится страница, тем сложнее до неё добраться как пользователям, так и поисковым системам. Если у вас нашлись подобные страницы, являющиеся важными, но находящиеся далее, чем в 3-х кликах от главной, стоить принять какие-либо меры для улучшения навигации. Возможно, некоторые из дальних страниц вам уже не нужны, xenu легко позволяет их найти.
– Искать страницы с максимальным количеством исходящих ссылок.
Как упоминалось раннее, все исходящие ссылки на сайте должны тщательно модерироваться, так как от них зависит заслуженное доверие от поисковых систем (по принципу: “Скажи мне кто твой друг и я скажу кто ты!”) а также присвоение сайту различного рода фильтров. Если вы заметили резкое падение позиций в поисковике, тогда первым делом необходимо проверить все исходящие ссылки, так как возможно, если виноваты не вы, то хакеры, разместившие на вашем ресурсе свои спам-ссылки.
– Посмотреть какие из страниц имеют наибольшее и наименьшее количество внутренних ссылок на себя.
Проверьте вашу внутреннюю перелинковку в численном виде. Какие из страниц заслужили больше внимания, а какие меньше (исходя из внутренних ссылок)?
– Найти картинки с отсутствующим атрибутом alt.
Атрибут alt является важным при оптимизации сайта или отдельных страниц под определенные запросы. Проверьте, возможно, вы упустили описание для важных на вашем сайте изображений, добавив которое, вы улучшите позиции в поиске, либо вас будут находить по поиску по изображениям.
Результаты решения этих задач, как видно, могут быть использованы для оптимизации, поэтому, сделаем небольшой обзор программы Xenu Link Sleuth, чтобы её пользователей не пугал английский интерфейс.
Ксену является свободным продуктом и эту программу можно скачать по этой ссылке. При запуске перед вами откроется очень простое окно, важная часть которого изображена на скриншоте.

Чтобы начать аудит какого-либо сайта, выберите пункт меню “File » Check URL”. В появившемся окне необходимо ввести адрес сайта и выделить чекбокс “Check external links” (проверять внешние ссылки).

В программе предусмотрено множество настроек, доступных в пункте меню “Options » Preferences”.

Parallel threads устанавливает количество синхронных (параллельных) запросов.
Apply to all jobs позволяет сохранять настройки для всех проектов.
Далее, отчет позволяет включать в себя:
Broken links, ordered by link — Битые ссылки, отсортированные по адресу;
Broken links, ordered by page — Список битых ссылок, отсортированных по страницам;
Broken local links — Битые внутренние ссылки;
Redirected URLs — Адреса с 301/302 редиректом;
Ftp and gopher URLs — ФТП и другие не HTTP адреса;
Valid text URLs — Список рабочих текстовых ссылок;
Site Map — Карта сайта;
Statistics — Статистика;
Файл отчета работы Xenu очень большой и содержит в себе всю необходимую информацию. К примеру, статистика мониторинга моего блога показала следующие результаты:

В результате аудита, на сайте найдены ряд моментов, на которые стоит обратить внимание для оптимизации. Единственный недостаток программы — отображение русских заголовков страниц в неправильной кодировке.
Сразу же после окончания проверки ссылок сайта, в главном окне появится детальная таблица, где данные можно отсортировать по каждому из столбцов: адрес ссылки, возвращаемый статус, mime-тип, размер, заголовок, уровень вложенности, кол-во внешних и внутренних ссылок, время отдачи страницы. Вот эту таблицу вам и надо использовать. Если что-то будет не понятно по работе или использованию программы, можете спрашивать в комментариях, постараюсь ответить.


Светоч
Май 21, 2009 at 07:57
1О! Юзал ее для поиска broken links, а про использование в качестве генератора карты сайта даже не думал. Спасибо.
Diffio
Май 21, 2009 at 08:09
2Классная программа. Для меня важно, что бесплатная, буду на работе использовать.
Спасибо!
rew
Май 21, 2009 at 09:14
3Вот Серега молодца!
PeterQ
Май 21, 2009 at 12:33
4А у меня нормальные тайтлы показывает, между прочим.
рено
Май 21, 2009 at 15:28
5Давно хотел найти подобню прогу, руки не доходили спасибо
Качнул щас буду разбираться
Devaka
Май 21, 2009 at 17:58
6Светоч, Diffio, rew, рено, пожалуйста!
PeterQ, а страница с какой кодировкой была? Я парсил с utf-8.
wlad2
Май 21, 2009 at 18:43
7он что просит пароль от ftp ?
или можно без этого ?
Devaka
Май 21, 2009 at 19:11
8wlad2, вводить данные FTP не обязательно. При этом отчет сохранится локально в темповой папке.
Татьяна
Май 22, 2009 at 08:33
9Спасибо за подробную статью! Надо обязательно воспользоваться этой программой. Хорошо, что она бесплатная :)
Sevanich
Май 22, 2009 at 20:04
10Хорошая программка. Благодаря ей пачку битых линков отыскал.
К Вам топает болшьшое спасибо. =)
Arowana
Май 24, 2009 at 00:04
11Отличная прога, спасибо. И титлы нормально показывает.
Вакцинатор
Май 28, 2009 at 12:54
12Потоков лучше все-таки не десять как по-умолчанию, а 2-3 – Зина настолько быстрая, что забивает даже дедик. У Вас, например, в отчете 2 УРЛа были не отданы из-за перегрузки.
Галку с ФТП и файлов-“сирот” можно смело снимать – это для голого html
InFanT
Июнь 26, 2009 at 06:39
13спасиб за знакомство
Nataly
Июль 1, 2009 at 20:43
14Отличная статья, полезная программа. Подписалась на рассылку. Спасибо!
Интернет-маркетолог
Июль 2, 2009 at 15:56
15Сенкс, давно хотел поюзать Xenu.
Николай
Июль 4, 2009 at 08:39
16Скачал,установил и сразу увидел пользу
Спасибо!
SharePoint Developer
Июль 13, 2009 at 16:29
17Интресеная софтинка. Надо поюзать :) Спасибо
neonick
Июль 17, 2009 at 11:59
18По вашей наводке скачал – теперь использую. Спасибо большое за подсказку! :)
А еще с вашего блога невозможно уйти – потому что куча интересного грамотного материала и не все еще прочитано.. Спасибо вам за работу! :)
mar4an
Июль 23, 2009 at 23:44
19Прога на 5+ спасибо вам огромное, подписался на рассылку, буду заходить к вам! Еще раз спасибо!
205fm
Июль 28, 2009 at 01:43
20Попробывал программу в действии, иногда глючит и показыает неверные данные… я думаю она ещё сыроватая…, но спасибо – всё таки есть альтернатива!
Роман
Июль 30, 2009 at 13:55
21Какое лучше ставить значение Parallel threads?
Карина
Август 3, 2009 at 00:20
22А русскоязычной версии у программки нет, никто не знает?
egos
Август 5, 2009 at 09:40
23Отличная прога + инструкция составлена на русском на блоге.
Севастопаль респект :)
web
Август 23, 2009 at 11:32
24Оказалось куча ссылок
no connectionподскажите дальнейшие действия…mhz
Сентябрь 10, 2009 at 14:34
25Если кодировка 1251 – распознаёт нормально (если она указана в коде)!
Alexsi
Сентябрь 25, 2009 at 08:44
26Отличный инструмент, сам пользовался не однократно этой прогой, особенно полезна для анализа новых сайтов перед оптимизацией.
MAzZY
Сентябрь 30, 2009 at 15:36
27>Найти неуникальные тайтлы
Вот этого пункта я в программе не нашел. И в отчетах нет. Поясните, может я что-то проглядел?
Прога полезна, но для старых сайтов хватает инструментов Гугла.
webb
Октябрь 11, 2009 at 22:31
28сразу не втыкнул, спустя месяц дошло :), был (web)
Faty
Октябрь 13, 2009 at 11:13
29После как проверил и нашёл битые ссылки на сайте http://faty007.ucoz.ru/ как удалять в ручную.
Gostemilov
Октябрь 20, 2009 at 04:09
30Море слов и все нецензурные. В свой адрес. КАК я пропустил это раньше? Неоценимый, великолепный инструмент анализа сайта! Учитывая, что на одном из моих сайтов больше миллиона страниц – ручками там делать нечего. Первый же прогон дал результаты, от которых я схватился за волосы и даже список TODO составлять не пришлось – есть же логи, бери и правь!
Единственное, конечно – надо бы уменьшить программно число потоков обработки, потому как положить любой сервер даже на 30-40 потоках – как 2 пальца. Некоторые могут использовать в злонамеренных целях. У меня, например, на двухьядерном не особо загруженном сервере лоады поднялись до 3, что о многом говорит.
Но это – мелкие технические детали.
ПРЕВОСХОДНО!
roma
Октябрь 25, 2009 at 22:04
31большое человеческое спасибо :)
Ben
Ноябрь 7, 2009 at 12:41
32Спасибо нужная вещь
Тауруз
Ноябрь 8, 2009 at 11:37
33Как раз искал чем проверить новый движок на предмет битых линков и пр. ошибок. Спасибо большое за подробное описание :)
Татьяна
Ноябрь 8, 2009 at 12:38
34Спасибо:) Каждый раз нахожу в вашем блоге что-то очень полезное!
Компьютерный
Ноябрь 14, 2009 at 20:01
35Да программа просто супер, очистил сайт от битых ссылок, создал sitemap, и Вообще считаю что ресурс очень полезен, часто захожу и каждый раз нахожу много интересного, спасибо )))
SLiDER
Ноябрь 17, 2009 at 14:03
36Сергей, спасибо за программу и огромное спасибо за статью на Серче по теме как продвигать сайты и как составлять семантическое ядро.
playarik
Ноябрь 19, 2009 at 15:17
37Программа на 5+, большой функционал. Спасибо Сергею. Но у меня почему-то она не докачивается до конца, возможно что-то с источником. Большая просьба, у кого есть архив, киньте мне на почту playarik@gmail.com
Заранее спасибо.
Николай
Ноябрь 19, 2009 at 15:35
38Скажите как часто надо проверять этой программой и что если она говорит ошибку 404 а в ручную там нормально
Андрей
Декабрь 3, 2009 at 08:48
39Здрасте
прогу потестил, понравилась
отыскала битые ссылки
но подскажите плз как из нее сайт мап изъять
пока не дотумкал сам
спасибо заранее
Aion-Top
Декабрь 18, 2009 at 10:08
40Скачал Xenu от 5-го декабря, все русские заголовки нормально отображаются, как в программе, так и в отчете. Наверно уже исправили проблему. :)
Kirsanov
Декабрь 18, 2009 at 19:27
41С Abilon и сюда за прогой, да подробнее почитать:)
Спасибо большое и за пост, и за прогу!
Присоединяюсь к № 38.
Anton
Декабрь 19, 2009 at 17:33
42Спс полезная программа, давно искал что-то подобное.
Aion-Top
Декабрь 28, 2009 at 20:24
43Николай, Kirsanov, возможно проблема с вашим скриптом, проверьте заголовки вручную, вот здесь например: http://delphiblog.ru/scripts/get-headers/ и если ответ будет “HTTP/1.1 404 Not Found “, то ваш скрипт именно таким его и отдает. Может где-то то лишний “header(“HTTP/1.0 404 Not Found”)” указали в коде или проверка не правильная на отсутствующий материал.
Max
Январь 5, 2010 at 08:52
44Что-то не пойму как с её помощью карту сделать, при сохранении не вижу xml формата. Не моглибы немного подробнее рассказать про создание карты.
Aion-Top
Январь 5, 2010 at 13:03
45После проверки сайта нажимаете File – Create Google Sitemap File и вводите имя, после сохранения появится файл .xml
Живой
Январь 5, 2010 at 22:42
46Aion-Top, вам респект наравне с автором!
за подсказку для детского сада! :)
Жека
Январь 8, 2010 at 10:54
47благодарю, программу уже качаю :)
MAzZY
Февраль 2, 2010 at 16:50
48Отпишите меня от уведомлений о новых комментах. Надоело этот спам принимать
webb
Февраль 2, 2010 at 17:04
49cоглашусь с MAzZY….
medv
Май 20, 2010 at 16:14
50После проверки Xenu получил такой результат:
Broken links, ordered by link:
http://www.site.ru/about/news/106/
error code: 12002 (timeout), linked from page(s):
http://www.site.ru/about/news/page-2/
Т.е. со списка новостей идет ссылка на новость, broken link’ов не нашел. Что значит этот таймаут?
omwoors
Июнь 8, 2010 at 13:47
51Спасибо, Сергей! Вы как всегда, меня выручаете полезным и фри софтом =)
Севастополь
Июнь 11, 2010 at 22:20
52Прога классная, давно искал.. Спасибо за информацию использования.
Illidan
Июнь 18, 2010 at 18:56
53Сеачал прогу проверил сайт, нашёл очень много битых ссылок, считаю что очень нужная программа для оптимизации сайта.
lola
Сентябрь 4, 2010 at 15:50
54Программа очень понравилась. Спасибо. Пригодилась. Интересно под какого робота больше подходит карта сайта.
Егор
Октябрь 2, 2010 at 05:06
55Эта прога имеет экспорт в gv-файл. Не пробовали строить графу в GraphViz ?
Deymos1986
Октябрь 9, 2010 at 19:14
56Классная программа спасибо никогда не слышал раньше о такой. Очень полезная!
Kiril
Октябрь 16, 2010 at 11:23
57А как сделать так, чтоб отображались только вешние ссылки?
D.K.
Октябрь 20, 2010 at 17:09
58Эту прогу Гугль сам рекомендует!
Георгий
Октябрь 26, 2010 at 13:01
59В который раз убеждаюсь в полезности Вашего сайта. Спасибо.
Николай
Ноябрь 2, 2010 at 12:52
60спасибо дружище за море ценной инфы ;)
aurara
Ноябрь 15, 2010 at 13:12
61Подскажите, поможет ли эта программа, если нужно проверять сайт на котором нужна авторизация. и если да, то как ей пользоваться?
Спасибо.
Devaka
Ноябрь 15, 2010 at 13:34
62aurara, нужно отключить авторизацию на время проверки.
Kiril, в итоговой таблице можно делать сортировку, например, по ссылке. Либо уже в итоговом отчете смотреть.
Егор даже не в курсе такого. Скорей всего такого функционала нет.
medv, это значит, что через длительное время (таймаут) скрипт так и не получил доступ к странице по ссылке.
BlogmenART
Ноябрь 27, 2010 at 02:41
63Отличная программа!! Сразу пробелы вылезли по сайту у меня…..
olga
Ноябрь 27, 2010 at 12:54
64Спасибо за программу. Ну для начинающего 89% нормальных URL наверное нормально
nic
Декабрь 4, 2010 at 06:50
65Спасибо, скачал сейчас проверю. Проверил: просто здорово, ошибок немного, но это говорит о том что я бы их обнаружил случайно и когда нибудь, большое спасибо за ресурс !!!!!
Павел
Январь 3, 2011 at 02:35
66После проверки 104 штуки написала temporarily overloaded (временно перегружен) только картинки и mp3, что это и как это понимать? Error – пишет 0. Подскажите пожалуйста.
ИгорьСаныч
Январь 14, 2011 at 14:41
67Поклон Вам за прогу, всё гениальное как всегда просто.
fobos
Февраль 1, 2011 at 22:02
68Спасибо за прогу и инструкцию, но она не доделана.
Выдала 50 не найденных страниц, проверил их вручную, работают.
Сергей
Февраль 16, 2011 at 19:07
69Есть ли в настройках программы возможность исключения разделов, не подлежащих проверке?
Дело в том что при сканировании сайта Xenu “нажимает” на баннеры, значительно меняя их CTR.
Методы, применяемые для защиты баннеров от ботов на эту прогу не действуют.
Александр
Февраль 22, 2011 at 20:10
70Программа нашла кучу битых ссылок.
Мне выдало только список со страницами где указано, битые они или нет, соответственно подсвечены красным и зеленым.
Но я что-то не понял, а как смотреть на каких страницах расположены эти битые ссылки, чтобы исправить?
Александр
Февраль 22, 2011 at 21:20
71Разобрался, я рано закрывал окно с предложением сохранить на ftp
Когда подождал, то автоматом должен был запуститься отчет в Мозиле, но почему-то Мозила (стоит по умолчанию) не хочет открывать, пишет, что не найден документ.
По указанному пути открыл в Хроме, причем он мне сразу все и перевел. Работать стало веселее :))
Xopoc
Март 22, 2011 at 15:38
72Было б совсем супер если распил как делать карту на не более подробно для таких как я )
Виктор
Март 24, 2011 at 19:24
73Очень долго проверяет сайт. Сервер канадский, но все равно нету терпения дождаться окончания
Антон
Апрель 15, 2011 at 13:06
74Спасибо за программу и инструкцию. Посмотрю что покажет после проверки.
Денис
Апрель 17, 2011 at 22:11
75Сергей, спасибо.
программу также можно использовать для проверки наличия на страницах мета-тега description и поиска страниц без кода счетчика (может быть актуальным для статических сайтов).
Bergov
Май 19, 2011 at 10:47
76качаю, спс!
Maxi
Май 22, 2011 at 13:36
77Скачал, посмотрел, понравилась программа. Спасибо!!!
Gyorgy
Май 24, 2011 at 15:03
78плохие результаты на магазине с компонентом sh404SEF, преобразующим урлы в кириллические, с названий категорий и товаров – ещё один минус в использовании сторонних компонентов, ну по крайней мере этого
Ukraine
Июнь 7, 2011 at 10:49
79Хорошая программа. В свое время меня с ней познакомил журнал “Хакер”. Только там она использовалась немного для других целей :)
Fallenus
Июнь 15, 2011 at 10:43
80спасибо, полезная статья! наокнец-то разобрался как пользоваться xenu :o программка старая, но очень полезная – использую ее, в первую очередь, для проверки битых ссылок на странице.
Санчо
Июль 28, 2011 at 19:51
81Спасибо за программу! Очень полезная и наилучшая среди аналогов!
Shurup
Август 30, 2011 at 13:58
82Симпатичная штука, проверил сайт, убедился что все норм, спасибо)))
Егор
Сентябрь 1, 2011 at 09:06
83Devaka, File—>Export to GraphViz file
Лелик
Сентябрь 15, 2011 at 23:39
84не проверяет домены в зоне рф
SoulCry
Сентябрь 22, 2011 at 09:35
85Как бы не пытался понять что к чему, а не могу… Как-то слишком уж сложно что-ли, проще найти обходные пути)
Andrei
Сентябрь 28, 2011 at 13:10
86Я вам скажу что много я не знал о своем сайте до того как начал пользоваться этой прогой, спасибо автору за пинок.
Александр
Октябрь 17, 2011 at 20:36
87Прочитал статью : “План раскрутки” и увидел про программку которая делает внутренний аудит. Проверился и нашел несколько битых ссылок, устранил их, а вот ссылок такого типа не нашел : www_.ваш_сайт/категория/feed и статус такой ссылки not found. ( как я понимаю этот “feed” вшит в сам шаблон? как то можно от этого избавиться?)
Павел
Ноябрь 13, 2011 at 08:11
88Странно, пишет что изображений нет, но на самом деле они присутствуют. Непонятненько.
Anderstender
Декабрь 1, 2011 at 14:55
89Отличная программа, быстро нашла несколько нерабочих ссылок со страниц. А главное поймала на горячем глючный плагин по добавлению в соц.закладки. Слышал за Xenu Link раньше, даже отложил в избранное, и чего я тогда её не установил…?
Сергей, огромная благодарность. С уважением, Олег.
petr8
Декабрь 12, 2011 at 19:25
90Прога интересная, но на одном из моих сайтов (вложил урл в ячейку сайт) она постоянно выдает или тайм аут или конектинг абортед, почему не понятно, сервер не загружен, защиты от хотлинкинга нет, все сервисы показывают нормальную загрузку и отдачу сайта, не подскажете в чём может быть причина?
Ribalych
Декабрь 15, 2011 at 08:41
91Толково как всегда и самое главное что актуально.
С ув. Артур.
kstnews
Декабрь 16, 2011 at 07:45
92Удобная программа. Использую для просмотра Title страниц и ошибок.
“но на одном из моих сайтов (вложил урл в ячейку сайт) она постоянно выдает или тайм аут или конектинг абортед, почему не понятно, сервер не загружен, защиты от хотлинкинга нет, все сервисы показывают нормальную загрузку и отдачу сайта”
У меня он открывается.
Сергей Грек
Декабрь 16, 2011 at 13:17
93Здравствуйте! Спасибо за отличные рекомендации к открытию программы. Нам её на курсах по оптимизации сайтов рекомендовали. Вот только у меня либо что-то не получается, либо ошибок нет, что вряд ли. Мне вот такую табличку как у вас совсем не выдает. Сможете помочь – посмотреть мой сайт у себя? (www.sergey-grek.ru) И если после процедуры проверки появятся ошибки, то их не сложно будет мне, лузеру в этом деле, понять? Спасибо.
antinari
Январь 18, 2012 at 03:30
94Как раз искал способ, чтобы автоматически найти страницы с уровнем вложенности более чем ув3. Это работает, а вот большая часть функций не хотят работать. Прошелся по оф. сайту – программка похоже умерла. За два года никаких обновлений.
Alexandr
Январь 24, 2012 at 17:22
95Спасибо. узнал о своем сайте много нового :-)
Особенно про подписи к картинкам и внешние ссылки. Если пользовать copy/past то внешние ссылки проявляются в тексте практически ниоткуда.
Полезная прожка!
Вангер
Февраль 5, 2012 at 14:50
96А есть где-нибудь алгоритм проги?
Просто многие ссылки, на которые успешно набигаю браузером (без рефа, жабы или редиректа), отмечаются ксеном как битые, и хоть убей не пойму в чем дело.
Проверял в один поток, эдакое чудо для ддосеров)
Lobzikov
Февраль 11, 2012 at 00:27
97А почему много выдало “timeout”? Перейди по ссылке, нормально всё.
Anderstender
Февраль 11, 2012 at 09:09
98“timeout” выдаёт если за отведённый диапазон времени ссылка не была открыта. Нужно уменьшить в настройках Xenu количество одновременных потоков или проверить скорость сайта.
Циклевщик
Февраль 25, 2012 at 00:08
99Скажите пожалуйста – а русификатора для программы нет?
mark
Март 2, 2012 at 17:47
100прога не сканирует весь сайт, только главную страницу и все, если используются относительные пути во внутренней перелинковке
использование тега <base href=“http://мойсайт.com/” id=“base_link” /> не помогает, кто нибудь сталкивался с подобным? как решить проблему? ковырялся в настройках не помогло
Anton
Март 14, 2012 at 19:01
101Прога показывает что, ссылки на эл. адреса воспринимаются ею как ошибка mailto: эл. адрес
Насколько такая ошибка критична и как от нее избавиться? Разработчики сайта отмахиваются, типа работает сайт, ну и не приставай с глупостями, но ведь прога то показывает ошибку! нужно ваше авторитетное мнение, поможете советом что делать?
Deniskahard
Март 16, 2012 at 12:50
102Что-то я не увидел ссылки на саму программу? Где её скачать?
johnny
Апрель 24, 2012 at 11:23
103Отличнейшая програмулька, много времени экономит!
danunahren
Май 7, 2012 at 21:59
104поподробнее бы о том что делать с отчётом и как исправлять ошибки.