Проводим аудит внутренней структуры сайта программой Xenu Link Sleuth — Devaka SEO Блог

Xenu Link Sleuth это один из наиболее полезных инструментов в поисковой оптимизации. Хотя эта программа изначально предназначалась для поиска битых ссылок на сайте, с помощью неё можно решать ряд других задач, проводя аудит внутренней структуры сайта и находя в нем слабые места:

– Искать битые (неработающие) ссылки на заданном ресурсе.
Вы написали сотню статей, во многих были ссылки на другие ресурсы или какие-нибудь документы, изображения, но уследить за работоспособностью всех этих ссылок вручную невозможно. В данном случае очень удобно использовать Xenu Link Sleuth, как свободный софт, простой в настройке и использовании.

– Составлять карту сайта.
Для динамических сайтов составить карту не составляет проблемы, однако, для статических HTML ресурсов создавать карту сайта вручную весьма долго и трудоемко. Xenu решает эту задачу за несколько минут в зависимости от размера сайта и скорости Интернет-соединения.

– Искать страницы с большим временем отдачи.
Зная, какие страницы на вашем сайте отдаются с большой задержкой, можно проанализировать причину подобного поведения и оптимизировать время отдачи, что положительно скажется как на посетителях, так и на поисковых системах.

– Найти неуникальные тайтлы.
Каждый тайтл на странице должен быть уникален, тогда ни одна из них не будет находиться в дополнительных результатах поиска и фильтроваться, как дублированный контент. Поэтому важно знать, на каких страницах сайта тайтлы повторяются.

– Найти страницы с большим уровнем вложенности.
Все страницы на сайте по возможности должны находиться не далее, чем в двух-трех кликах от главной. Чем дальше находится страница, тем сложнее до неё добраться как пользователям, так и поисковым системам. Если у вас нашлись подобные страницы, являющиеся важными, но находящиеся далее, чем в 3-х кликах от главной, стоить принять какие-либо меры для улучшения навигации. Возможно, некоторые из дальних страниц вам уже не нужны, xenu легко позволяет их найти.

– Искать страницы с максимальным количеством исходящих ссылок.
Как упоминалось раннее, все исходящие ссылки на сайте должны тщательно модерироваться, так как от них зависит заслуженное доверие от поисковых систем (по принципу: “Скажи мне кто твой друг и я скажу кто ты!”) а также присвоение сайту различного рода фильтров. Если вы заметили резкое падение позиций в поисковике, тогда первым делом необходимо проверить все исходящие ссылки, так как возможно, если виноваты не вы, то хакеры, разместившие на вашем ресурсе свои спам-ссылки.

– Посмотреть какие из страниц имеют наибольшее и наименьшее количество внутренних ссылок на себя.
Проверьте вашу внутреннюю перелинковку в численном виде. Какие из страниц заслужили больше внимания, а какие меньше (исходя из внутренних ссылок)?

– Найти картинки с отсутствующим атрибутом alt.

Атрибут alt является важным при оптимизации сайта или отдельных страниц под определенные запросы. Проверьте, возможно, вы упустили описание для важных на вашем сайте изображений, добавив которое, вы улучшите позиции в поиске, либо вас будут находить по поиску по изображениям.

Результаты решения этих задач, как видно, могут быть использованы для оптимизации, поэтому, сделаем небольшой обзор программы Xenu Link Sleuth, чтобы её пользователей не пугал английский интерфейс.

Ксену является свободным продуктом и эту программу можно скачать по этой ссылке. При запуске перед вами откроется очень простое окно, важная часть которого изображена на скриншоте.

Чтобы начать аудит какого-либо сайта, выберите пункт меню “File » Check URL”. В появившемся окне необходимо ввести адрес сайта и выделить чекбокс “Check external links” (проверять внешние ссылки).

В программе предусмотрено множество настроек, доступных в пункте меню “Options » Preferences”.

Parallel threads устанавливает количество синхронных (параллельных) запросов.
Apply to all jobs позволяет сохранять настройки для всех проектов.

Далее, отчет позволяет включать в себя:
Broken links, ordered by link — Битые ссылки, отсортированные по адресу;
Broken links, ordered by page — Список битых ссылок, отсортированных по страницам;
Broken local links — Битые внутренние ссылки;

Redirected URLs — Адреса с 301/302 редиректом;
Ftp and gopher URLs — ФТП и другие не HTTP адреса;
Valid text URLs — Список рабочих текстовых ссылок;
Site Map — Карта сайта;
Statistics — Статистика;

Файл отчета работы Xenu очень большой и содержит в себе всю необходимую информацию. К примеру, статистика мониторинга моего блога показала следующие результаты:

В результате аудита, на сайте найдены ряд моментов, на которые стоит обратить внимание для оптимизации. Единственный недостаток программы — отображение русских заголовков страниц в неправильной кодировке.

Сразу же после окончания проверки ссылок сайта, в главном окне появится детальная таблица, где данные можно отсортировать по каждому из столбцов: адрес ссылки, возвращаемый статус, mime-тип, размер, заголовок, уровень вложенности, кол-во внешних и внутренних ссылок, время отдачи страницы. Вот эту таблицу вам и надо использовать. Если что-то будет не понятно по работе или использованию программы, можете спрашивать в комментариях, постараюсь ответить.

devaka.ru

Xenu Link Sleuth – что это такое за программа

Москва г. Москва, ул. Нобеля 7, п. 56 +7 (800) 700-59-30

Xenu – это сокращенное название программы Xenu’s Link Sleuth, предназначенной для внутреннего аудита сайта и поиска битых ссылок.

При изменении структуры сайта или URL-адресов на других страницах могут оставаться неактуальные ссылки, ведущие на старые несуществующие адреса. Именно поиск таких ссылок и является основной задачей Xenu. Программа является бесплатной, потому она очень популярна во всем мире. Это простой софт, позволяющий в короткие сроки проанализировать сайт на наличие битых ссылок и не только.

Возможности Xenu

Помимо поиска неработающих и битых ссылок, программа умеет:

• искать изображения, фреймы, скрипты, плагины, стили и др.;
• искать страницы с большим временем отклика;
• искать страницы с большим весом;
• искать страницы с большим уровнем вложенности;
• проводить анализ внутренней перелинковки;
• искать одинаковые заголовки Title;
• искать изображения без атрибута alt;
• составлять карту сайта;
• проверять защищенные сайты по протоколу SSL (https://).

Xenu способна анализировать как весь сайт, так и его отдельные страницы. Также есть возможность проанализировать локальные документы на ПК.

В процессе анализа в основном окне будут отображаться результаты. В дальнейшем их можно будет экспортировать, допустим, в Excel.

Как работает программа

Чтобы начать анализ сайта в Xenu, необходимо запустить софт и нажать на вкладку File. Далее выбрать первый пункт Check URL.

Указываем адрес сайта, отдельных страниц или путь к документу на ПК.

После запуска в основном окне программы будут отображаться результаты анализа. Анализироваться будут как URL-адреса страниц, так и ссылки на различные файлы.

Красным цветом будут выделены битые ссылки.

С помощью различных табуляторов вы сможете отсортировать ссылки по разным параметрам: Status (битая или нет), Type (формат файла), Size (размер страницы), Title (заголовок) и Level (уровень вложенности).

wiki.rookee.ru

Xenu’s Link Sleuth — поиск битых ссылок и ошибок на сайте

При проверке сайта важно найти и исправить все ошибки, битые ссылки и неправильные редиректы, так как их отсутствие является положительным факторов в ранжировании сайта.

Хочу посоветовать отличный софт: Xenu’s Link Sleuth — старый надежный crawler, который быстро просканирует сайт и найдет буквально все: битые ссылки, редиректы, ошибки, зашированные url, размер документа, дату и многое другое. Последняя версия от 2010 года, но это не мешает Xenu находит больше ошибок за меньшее количество времени, чем многие современные аналоги.

Идем на оффициальный сайт http://home.snafu.de/tilman/xenulink.html и скачиваем софт:

Установка быстрая и ничем не отличается от установки любого другого софта. Для того, чтобы просканировать сайт, необходимо перейти в «File» – «Cheсk Url» и ввести домен:

После проверки, вам предложат составить отчет в формате .htm:

Будет выглядеть он так (как видим, у меня все в порядке):

Но это не все, у программы есть множество дополнительных настроек, например:

• Мы можем регулировать скорость анализа и количество потоков
• Выводить более детальную статистику о каждой странице сайта. Например, чтобы показывать все редиректы, нужно зайти в «Options» — «Preferences» и поставить галочку «Treat redirections as errors» — тогда все редиректы будут отображаться как ошибка и отдавать ответы 301 или 302:

• В Xenu мы можем создавать статичную html и xml карту сайта
• Конвертировать отчет в формат Excel и сортировать полученные данные

На последнем пункте остановимся поподробнее. Чтобы открыть отчет в Excel нужно экспортировать отчет «File» — «Export to TAB Separated File»:

Получим отчет в обычном .txt файле — его нужно открыть Notepad++ (или аналогом) и сменить кодировку на ANSI:

После этого можно спокойно открывать файл в Excel:

Где мы уже можем сортировать данные как нужно: по дате появления документа, по количеству внешних ссылок, по уровню вложенности страницы и т.д.

Думаю дальше расписывать полностью весь функционал не имеет смысла, так как все интуитивно понятно, хотя и на английском языке. Если будут вопросы — спрашивайте в комментариях.

lucky-seo.com

Xenu — настройка и описание

В Интернете все происходит стремительно, ежедневно рождаются, умирают и переводятся на новые технологии отдельные страницы, целые сайты и даже огромные порталы. Соответственно, множество гиперссылок ежедневно становятся неактуальными. Это доставляет серьезное неудобство сайтостроителям: создал неделю назад страничку, а уже сегодня половина ссылок с нее ведет «в никуда». Естественно, посетители такой странички раздражены и начинают поминать недобрым словом ее создателя, который, в общем-то, не сильно виноват. Ведь не проверять же ему вручную работоспособность сотен ссылок на всех страницах своего сайта!

Впрочем, некоторая доля его вины есть: владелец сайта не озаботился установкой одной из множества программ, которая бы автоматически проверяла гиперссылки на живучесть. В качестве примера такой программы я приведу бесплатную утилиту Xenu’s Link Sleuth. Работать с Xenu на удивление просто, а в результате получается очень подробный и обстоятельный отчет обо всех имеющихся на сайте ссылках. Делается это так.

Первым делом укажем страницу, с которой Xenu начнет исследование гиперссылок.
Это может быть адрес (URL) стартовой страницы нашего сайта, например, https://bazila.net

Точно так же можно указать отдельную страницу сайта, например,
https://bazila.net/saytostroenie/deshevyj-platnyj-khosting-dlya-sajta-na-joomla.html

Наконец, это может быть HTML-документ, сохраненный на жестком диске домашнего компьютера, например, file:///D:\probe. html.
Обратите внимание: адрес в Интернете (URL) должен заканчиваться символом «слеша» /.

Теперь зададим область исследования. Должен ли Xenu проверять работоспособность ссылок, которые уводят за пределы нашего сайта? Если должен, то поставим отметку в поле Check External Links. Затем перечислим адреса, которые имеют прямое отношение к нашему сайту, хотя и не соответствуют URL главной страницы. Например, к «внутренним» страницам отнесем все те, адреса которых начинаются с https://bazila.net
Кроме того, перечислим начала адресов, которые совсем не нужно проверять, например, адреса счетчиков (http:// top100.rambler. ru) или баннерных сетей (http:// www. linkexchange. ru).

Все готово, можно начинать анализ гиперссылок. Скорость выполнения этой операции сильно зависит от заданных условий: по Сети исследование проводится гораздо медленнее, чем на локальном диске, и так далее. Но рано или поздно мы получим в главном окне программы список всех встреченных в указанной области поиска гиперссылок, подробную информацию о каждой из них и результирующий отчет в виде отдельного HTML-документа.

В главном окне программы по каждой гиперссылке будет представлена следующая информация:

• Адрес ссылки (URL). Кстати, можно настроить программу таким образом, что она будет показывать только неработающие ссылки из числа проверенных.
• Статус, то есть, результат проверки. Статусов несколько:
  • ok – обозначает, что все в порядке, такие строчки окрашены в зеленый цвет.
  • no such host – по указанному адресу больше ничего нет, ссылка не работает, строчка окрашена в красный цвет.
  • skip type – так отмечаются ссылки, не подлежащие проверке, например, адреса электронной почты. Такие строчки окрашены в коричневый цвет.
  • user skip – Xenu обнаружил данную ссылку, но она исключена пользователем из области поиска. Цвет – коричневый.
  • Тип страницы, ее размер (в байтах), заголовок (содержимое тега <TITLE> или отметка о переадресации, redir) и некоторую другую служебную информацию.

 

На иллюстрации к этой программе приведен результат анализа. Выделенная строчка как раз содержит адрес, не ответивший на запрос Xenu. Вообще говоря, это не означает, что адрес «умер» навсегда. Вполне вероятно, что во время анализа произошел какой-то технический сбой в Сети. Однако звоночек прозвенел – адрес нужно проверить более тщательно, уже вручную. Может быть, имеет смысл связаться с владельцами данного сайта и узнать у них подробности происходящего.

Кстати, Xenu предоставляет еще одну полезную возможность: отправки отчета об обнаруженных неработающих ссылках по электронной почте. Так что можно исследовать сайт своего друга и сообщить ему результаты исследования.

Кроме того, есть функция обнаружения файлов-сирот (orphan). Прежде чем запускать ее, Xenu спросит разрешения, затем зайдет на сервер и проверит, нет ли на нем файлов, на которые не ссылается ни одна страница вашего сайта. Такое часто бывает: владелец сайта удалил веб-страницу, а относящиеся к ней файлы – нет. Беда не слишком большая, но лишний мусор на сервере еще никому на пользу не пошел.

Отдельно отмечу, что с помощью программы можно проверять даже страницы, доступ к которым осуществляется по безопасному протоколу SSL (адреса таких страниц начинаются с префикса https://).

В заключение скажем об HTML-отчете, который выдает Xenu по результатам исследования. Он очень подробный и состоит из нескольких разделов:

• Неработающие ссылки, отсортированные по адресам (URL).
• Неработающие ссылки, отсортированные по страницам, на которых они встречаются.
• Ссылки, которые работают, но с помощью функции редиректа перенаправляют посетителей на другие страницы. Редирект замедляет загрузку страниц, поэтому в некоторых случаях имеет смысл поставить ссылку сразу на прямой адрес.
• Ссылки протоколов FTP и Gopher. Xenu, к сожалению, не проверяет такие ссылки на работоспособность. Однако, имея их полный список под рукой, пользователь может проверить их самостоятельно, вручную.
• Список страниц, которые можно сообщить поисковым интернет-системам для индексации.
• Карта (оглавление) сайта, в которой указаны не URL страниц, а их заголовки, то есть, содержимое тега <TITLE>.
• Неработающие внутренние ссылки, то есть ссылки, которые должны вести на какие-то страницы нашего же сайта, а ведут «в никуда».
• Список файлы-сирот (orphan).
• Обобщенная статистика исследования: сколько ссылок получили тот или иной статус в результате проверки.

В настройках программы пользователь указывает, какие данные должны быть включены в результирующий отчет. Кроме того, есть возможность указать, сколько ссылок одновременно Xenu будет испытывать «на прочность» (от одной до ста) и на какую «глубину» он будет заглядывать (вплоть до уровня 999).

Таким образом, после того как Xenu прошерстит указанную область поиска, в руках пользователя окажется вся информация, с помощью которой неработающие ссылки можно исправить или удалить с сайта. Эту операцию, конечно, придется выполнять вручную. Но так даже лучше, не правда ли?

Интуитивно понятно, что несуществующие ссылки выделены красным цветом, а существующие — зелёным.

В колонку “Address” заносятся адреса ссылок. Колонка “Status” показывается статус ссылок; в отчёте для сайта htmlbiz.ru мне попалось три варианта:
404 ошибка — такой страницы не существует,
500 ошибка — неправильно настроенный сервер,
“no such host” — домен не существует, или не делегирован.

В колонке “Type” показан тип содержимого таргетной страницы: это может быть html-документ, приложение, картинка, или ещё что-нибудь. Колонка “Size” в комментариях не нуждается. А колонка “Title” представляет собой список анкоров — достаточно полезная штука.

“Level” — уровень вложенности страницы-акцептора (относительно главной страницы сайта). “in Links” и “Out Links” — количество входящих и исходящих ссылок соответственно.

Колонка “Server” и все последующие колонки содержат техническую информацию.

У программы  Xenu есть отдельная кнопка «проверить все битые ссылки» — специально для случаев, когда отдельные сайты временно недоступны.

Кстати говоря, этим её возможности не ограничиваются: Xenu позволяет экспортировать результаты в текстовый файл (к сожалению, кириллица обрабатывается некорректно), а также — что гораздо приятнее — составить карту сайта в xml-формате. Создание карты сайта будет полезно для небольших статических сайтов, которые, тем не менее, хотят, чтобы все их страницы были проиндексированы Гуглом и Яндексом.

Системные требования:
OS Microsoft Windows 95/98/ME/NT/2000/XP/Vista/7 

bazila.net

Xenu’s Link Sleuth: программа проверки веб-сайта на «битые» ссылки

На каждом сайте могут появляться так называемые «битые ссылки» (англ. «broken links»), которые ведут на несуществующие веб-страницы как на этом сайте, так и на других сайтах в Интернете.

В каких случаях появляются такие ссылки?

«Битая» или «мертвая ссылка» может появиться после изменения структуры сайта (удаления или изменения адресов страниц или целых разделов), при этом на какой-то из страниц остается ссылка, указывающая на старый адрес страницы. Такие ссылки могут быть как «внутренними» (ведущими на несуществующие страницы этого же сайта), так и «внешними» (ведущими на несуществующие страницы другого сайта). И в том и в другом случае, задача вебмастера — найти и исправить такие ссылки, чтобы не вводить в заблуждение посетителей.

Как же можно найти «битые ссылки»?

Если на сайте немного страниц и на каждой находится не более 2-3 ссылок, их можно периодически проверять вручную. Но если на сайте сотни страниц, на каждой из которых имеются с десяток ссылок, такая проверка может превратиться в проблему. В этом случае ппоиск битых ссылок лучше это делать специальной программой. Об одной из таких программ с названием Xenu’s Link Sleuth я и хочу вам рассказать.

Программа Xenu’s Link Sleuth позволяет найти битые ссылки, изображения, фреймы, дополнительные модули (plug-ins), фоновые рисунки (backgrounds), графические карты сайта (local image maps), таблицы стилей (style sheets), скрипты и Java-апплеты. Программа выводит список проверенных ссылок с сортировкой по различным параметрам. Также она позволяет создавать отчет с результатами проверки.

Преимущества программы:

• Программа бесплатна (freeware)
• Простой и удобный пользовательский интерфейс
• Возможна повторная проверка битых ссылок (это удобно при временной недоступности проверяемого сайта)
• Простой формат отчета
• Размер исполняемого файла программы меньше 1Мб
• Возможность проверки защищенных сайтов по протоколу SSL («https://»)
• Определение и вывод редиректов (т.е. пересылок на другие страницы)
• Возможно формирование карты проверяемого сайта

Системные требования: Microsoft Windows 95/98/ME/NT/2000/XP/Vista/7, (для работы требуется библиотека WININET.DLL, входящая в состав Internet Explorer). Также программа работает под Red Hat 8 и Ubuntu с помощью wine, и под Mac с помощью Crossover.

Запуск программы

После клика на значке программы появляется ее главное меню.

Для проверки сайта нажимаем клавиши Ctrl+N или жмем на крайнюю слева кнопку «Check URL». Открывается окно, где мы указываем адрес сайта, который необходимо проверить на «битые ссылки». Если адрес сайта заканчивается названием каталога, не забудьте добавить в конце строки символ ‘/’ или будет проверен весь родительский каталог. Например:

Правильно: http://www.host.com/user/

Неправильно: http://www.host.com/user

Настройки программы:

• Local file — выбрать для проверки сохраненную веб-страницу.
• Check external links — дополнительно к «внутренним» будут проверяться все «внешние» ссылки.
• Consider URL’s beginning with this as «internal» — добавить список ссылок, которые программа будет считать «внутренними». Ввод каждой такой ссылки завершается нажатием на кнопку «Add».
• Do not check any URL’s beginning with this — добавить список ссылок или разделов, которые программа НЕ будет проверять. Ввод каждой такой ссылки завершается нажатием на кнопку «Add».
• More options — открыть окно с дополнительными настройками (см. ниже).

После зажатия на кнопку «OK» начнется поиск битых ссылок на сайте, который может занять, в зависимости от числа страниц сайта, скорости их загрузки и числа ссылок на каждой из них, от нескольких секунд до нескольких часов.

На экране появляется список найденных на сайте ссылок, каждая из которых выделяется определенным цветом:

• серая — ссылка находится в очереди на проверку или исключена из проверки в соответствии с заданными настройками
• зеленая — ссылка доступна
• красная — найдена «мертвая» ссылка или ссылка временно недоступна.

Перемещаться по списку можно с помощью клавиш управления курсором (Вверх, Вниз, PageUp, PageDown) или находящейся справа полосы прокрутки.

Внизу окна в строке статуса выводится общее количество найденных и обработанных ссылок и время, прошедшее с начала проверки.

По окончанию проверки выводится соответствующее сообщение и запрос на формирование отчета:

Дополнительные настройки программы:

• Parallel Threads — число параллельно запрашиваемых страниц (рекомендуется 1 — 3, слишком большое значение может привести к значительной нагрузке на сервер и замедлению скорости загрузки страниц)
• Ask for password or certificate when needed — при необходимости запрашивать пароли и сертификаты (используется для защищенных сайтов и разделов)
• Treat redirections as errors — считать редиректы ошибками
• Report — информация, которую необходимо выводить в отчет (можно указывать пункты согласно рисунку)
  • Broken links, ordered by links — показывать «битые» ссылки, отсортированные по адресу ссылки
  • Broken links, ordered by page — показывать «битые» ссылки, отсортированные по адресу страницы
  • Broken local links — показывать»битые» локальные ссылки
  • Redirected URLs — показыватьссылки с редиректами
  • Site Map — строить HTML-карту сайта (при большом количестве проверяемых страниц может привести к значительным задержкам времени при формировании отчета)
  • Statistics — выводить в отчет различную статистическую информацию

Полученный отчет открывается в вашем браузере и состоит из разделов, которые были заданы в настройках программы:

Если было задан вывод статистической информации, то добавляется соответствующий блок.

В статистике указано количество проверенных страниц с группировкой по их типам (HTML-страницы, изображения, скрипты, файлы и т.п.), суммарные размеры страниц. Также указывается количество найденных ссылок с группировкой по их типам:

• ok — страница найдена;
• skip external — страница пропущена как «внешняя»;
• forbidden request — доступ к странице запрещен;
• not found — страница не найдена.

Полученный отчет можно сохранить для дальнейшей обработки в Excel.

www.polezno.com