Find broken links on your site with Xenu’s Link Sleuth (TM)



Find broken links on web sites

Description

Additional features:

• Simple, no-frills user-interface
• Can re-check broken links (useful for temporary network errors)
• Simple report format, can also be e-mailed
• Executable file smaller than 1MB
• Supports SSL websites («https:// «)
• Partial testing of ftp, gopher and mail URLs
• Detects and reports redirected URLs
• Site Map

Download

To have peace of mind, I recommend that you are using an up-to-date anti-virus software on your computer (so do I!).

Ok, I have read all that, I want to download! (current version: 1.3.8 from September 4th, 2010) or try a beta version

 

Getting started: Unzip it and install it wherever you want. To check a site, click the toolbar icon on the left and enter a WWW address. If the address finishes with a directory name, don’t forget to put a / at the end or you will possibly get the whole parent directory spidered. Incorrect: http://www.host.com/user Correct: http://www.host.com/user/ You can also click the «browse» button to check a local HTML file. If you do not already use IE for browsing and are sitting behind a company firewall, don’t forget to configure your proxy before you start. If you are using a personal firewall (like ZoneAlarm or Outpost) you must enable Microsoft Internet Explorer by starting it, entering a URL and then «allowing» the application (you may also have to enable Xenu — see example for Norton Intenet Security). To find out what the software can do, simply try out the menu choices, the toolbar and the right mouse key. Or read this third-party manual, a bigger third-party manual with many pictures, a third-party report (How I check over 6,000 links every seven to ten days), a blog post by a SEO guy, or deutsche Beschreibung und noch eine, guide en français, nederlandse beschrijving, descripción en español, русское описание, Український опис, Beskrivelse på dansk, opis w języku polskim, opis na Srpsko-Hrvatskom jeziku. Good luck! If you find the software useful, please click here.   Test everything. Hold on to the good. (1 Thessalonians 5:21)

You can also join the user group by sending an e-mail to [email protected].
If you like to use a button for Xenu’s Link Sleuth on your web page, link to this page with these buttons: 

The address of this web page is http://home.snafu.de/tilman/xenulink.html

Frequently Asked Questions (FAQ)

1. Who is Xenu?

2. Is Xenu’s Link Sleuth (TM) better than Incontext WebAnalyzer?

The answer to the question: Yes and No. Xenu’s Link Sleuth (TM) does not have the graphic capabilities of Incontext WebAnalyzer 2.0 («Wavefront view»). But here are some of the advantages of Xenu’s Link Sleuth (TM):

• It is free
• Simple user-interface
• Better error reports (not just «network error»)
• «Save» works also while the software is busy
• The «broken links view» shows only broken links; In WebAnalyzer you’d have to press the button again and again as the window fills with crap.
• While Xenu does not offer an «update» facility (which doesn’t work anyway), it has a «recheck broken links» function that works fine.
• It is small, written by one person experienced in Windows software development since 1993 and who works as a professional software developer since 1983. This means that bugs will be corrected quickly. This is a matter of honour.
• The report can be viewed easily, even when you have long URLs.
• Uses much less disk space for intermediate files, executable file much smaller
• Loading of saved files much faster (WebAnalyzer loses time by displaying the extra graphics)
• Supports SSL websites («https:// «)
• Partial testing of ftp and gopher sites
• Search for local orphan files
• Special handling of redirected URLs
• Site Map
• Partial randomization of checking order, means less concurrent requests on a single server

3. Is Xenu better than a web-based service?

Audisto.com (as of June 2013 it was known as strucr.com) is also interesting (One of the founders invited me into a restaurant and we had a very nice talk). Audisto.com focuses on «the big picture» with websites. Not so much just finding broken links (it does not check external links), but find URLs that could be a problem for SEO, or find certain common HTML problems. Their target are big, really big websites (several millions of urls), where the web team has lost the understanding about what is going on. Sadly they no longer have free subscriptions (see pricing).

Server solution advantages:

• No need to install anything
• Independent of user OS
• No use of client bandwith
• Might be able to do more URLs, because servers will usually not keep all URLs in memory
• Features can be updated without the user having to update his own system

• Dependent of server bandwidth
• Cannot always be free, due to costs for hosting
• Passwords must be uploaded to server
• Cannot check intranets or local sites on HDD
• Security risk if server gets hacked
• Some server solutions insist on uploading an authorization file; might be difficult for companies with long decision delays
• Legal risk if service is used to analyse competition

• Can run a check at any time
• Passwords can be kept locally
• Can check intranets or local sites on http://localhost or HDD (before they get uploaded!)
• Tailored versions can be made
• Would still be usable if I suddenly get hit by a safe
• Check can be done without asking

• Security risk if software developer moves over to the dark side
• Client bandwith is used
• Dependent of having a computer that can run downloaded software
• Dependent of having the correct OS (unless the client is written in Java)
• Dependent of the RAM amount

4. Can I support the author?

• In Germany: please support Netzpolitik.org.
• in the UK: make a donation or subscribe to the Guardian.
• in France: please support La Quadrature du Net.
• elsewhere: please support wikileaks, independent press (good journalism is not free) or civil rights NGOs.
• or send me a T-Shirt of your city, university, employer in XL size. Take into consideration that I’ll be wearing your T-Shirt at work. USPS «airmail letter post» is fast, reliable and unexpensive.
• You can also send me objects that are cultural icons, i.e. a product that your country is famous for.
• You can also send me packaged food (no meat or fish, this is likely forbidden by customs). If you are in Belgium, send beer. If you’re not sure, ask.
• Mention the product and my name in your blog.
• Send me a «thank you» letter on company paper, if you work for a well-known company. Make sure that you are authorized to send such a letter. This is my street address:

  Tilman Hausherr
  Poschingerstrasse 14
  12157 Berlin
  Germany

If you are on facebook, you can also click «like» here and here to increase the statistic near my name or near the product 🙂

Other things I need help with: if you’re an english native speaking person who understands german and knows the lingo of recipes, please check the third-party translation of this recipe of a Xenu cake by Ilse Hruby (you might try it, too! It tastes great!)

5. Why does Xenu’s Link Sleuth (TM) report http://www.site.com/../page/index.html as broken?

6. How can I configure a proxy?

One user with Windows 2000 always had a timeout, he solved it by checking «Use HTTP 1.1» and also «Use HTTP 1.1 through proxy connections» in the «Advanced» tab of the Internet Options in the control panel. However, this may not work for everyone, because some web servers do not support HTTP 1.1.

7. Why does Xenu’s Link Sleuth(TM) report a URL with a space in it?

8. I use Mozilla 3.0 Gold and can’t get rid of file: URLs for images.

9. What is the maximum number of URLs that can be checked?

A 64 bit beta version is available which may or may not allow more URLs. Just unpack the ZIP file and move the XENU.EXE and ZLIBWAPI.DLL files at the place where you have the XENU.EXE file currently (rename the old XENU.EXE file first to save it). The new one is based on Microsoft Visual Studio 2010. The 64 bit EXE file is about 10 times as big as the 32 bit version that is based on the good old Visual Studio 1998. Microsoft has confirmed the problem.

10. Can the software check my site locally?

The results will not always be the same as a «remote» check:

• Sometimes you’ll get «error 3». It happens because the WININET.DLL is unable to handle directories, i.e. links that end with «/». You can avoid this by linking to the actual «main file», usually index.html or default.html. That your browser can handle local directories and display them nicely, is because he does additional work, which I do not.
• Mixups of higher/lower case characters in links won’t be found, since Windows does not make a difference. But UNIX does!
• The main reason that you still need to make occasional «remote» checks is because you might have forgotten to upload your files to your WWW server.

11. Does it work on Windows NT 3.51?

12. How is it so damn fast?

13. Can I have the source code?

14. Can I buy the source code?

15. Just for fun, I checked Tilman’s web site, and found many broken links. Why?

• Links that I know to be broken: I keep them like that to remind me to find these people some day. The web page itself has a notice that the link is broken.
• Temporary unreachable hosts: these are temporary routing errors.
• Really broken links: I will usually correct the link or remove it within the next few days.

16. How do I correct broken links?

• if you have the e-mail address of the site owner (because you know him), try an e-mail. Sometimes the address still works, even if the web site is gone.
• find the home page of the site you link to, to see if the site has a «sorry we moved» message. If you linked to http://www.host.com/user/page888.html and this is broken, look at http://www.host.com/user/ to see if there is a message, or to see if the site has been reorganized. Some sites reorganize their user pages differently, e.g. http://www.host.com/homepages/users/page888.html. Sometimes the web switches changes between the two methods. Other sites are owned by the user himself, e.g. www.user.com, so the home page is the root page. If the site exists but you cannot find your page, send an e-mail to the owner.
• use search engines to find the site or the name of the site owner (if you know). To find where the site is, use web search engines (like Google or the Internet Archive) and usenet search engines (like Google Groups).
• You find the site you searched for
• You find a site that links to the site you searched for
• You find the site in the Google Cache or the Internet Archive (simply enter the URL in the search box!), and can use the contents to search for the name of the owner
• You find a site that links to the site you searched for, but is also broken. E-mail the site owner, and tell him that the link is broken. Bookmark the site and revisit it in a week, to see if the other person has found it. If not, you have nevertheless succeeded in making the other person feel as bad as you, which brings some relief 🙂
• You find the new e-mail address of the user. Either e-mail him, or try to construct the URL yourself ([email protected] leads to http://www.host.com/user/)
• post a message in a newsgroup that deals with the topic. Hopefully the site owner or one of his friends reads the messages there.
• if you are still unsuccessful, either delete your link to the site or repeat your attempts after a month (some sites might reappear in a search engine after some time). Sometimes it happens that a host is reorganizing its hard disk, and all user pages get back within a few days.

17. What about ftp and gopher sites?

The method for checking gopher sites is still unreliable. When an ftp or gopher site is accessed through a proxy, this proxy builds up a web page. Sadly, it doesn’t always bring up the information whether the URL exists or not. When you access a gopher site without a proxy, it brings an error message, but not an error code. This seems to be a bug of the OpenURL() function of WININET.DLL.

The output lists ftp and gopher sites as links, which allows you to make a manual check of these sites.

18. Why can’t I launch URLs?

The cause is usually that you have not installed your browser properly (maybe you just transferred the files from another computer). Solution: update or reinstall your browser.

Starting with version 1.1b, I have stopped displaying an error message when the registry is incomplete, because there were too many complaints. Instead, the browser will simply be launched with the page. This has the disadvantage that the page won’t be displayed in an extra window of the current active browser application.

One user with Microsoft Vista 64 (UAC disabled) was unable to launch URLs (message box: «Unable to open browser for ‘URL’: error 5: Access is denied»). The cause was COMODO Firewall Pro 3.0.25.378. Without the firewall, it worked fine. Please remember that «Personal Firewalls» are mostly snake-oil. Set up an external firewall box instead — this is usually included in your router.

18a. Why does the browser not open a new window?

18b. Why does Link Sleuth freeze when launching the report?

Solution: disable the site map in the options dialog, or exclude the «deep» parts of your website (e.g. a forum) in the initial dialog box.

Version 1.3 has an abort dialog.

18c. Why does Link Sleuth freeze when launching the report or a URL?

19. What about cookies?

If you need cookies because

• you have used Internet Explorer to authenticate yourself before starting a run
• to prevent the server from delivering URLs with a session ID

Warning:
You should not use this option if you have links that delete data, e. g. a database or a shop — you are risking data loss!!!

20. Why are some links reported as «broken» by Xenu, that can be displayed within my browser?

21. Why can’t I connect to «secure» (https) sites ?

22. Any known problems with Windows 95?

A simpler solution is to go to http://windowsupdate.microsoft.com and install whatever they tell you (you need to have IE 4.0 or higher on your system)

23. Any known problems with Windows 2000?

Windows 2000 automatically sets a configuration option to use HTTP 1.1 for connecting to web sites. Many, many web sites do not use that version but continue to use HTTP 1.0, so the automatic setting may prevent connections. This is the reason why Xenu would not run for me. When I disabled that setting, Xenu performed properly.

To disable that setting: Control Panel -> Internet Options -> Advanced (tab) -> HTTP 1. 1 settings (list heading) -> Use HTTP 1.1 (checkbox: uncheck it)

24. Can I configure the timeout?

Alternatively, try this:

• Start the Registry Editor (REGEDIT.EXE)
• Go to HKEY_CURRENT_USER \ Software \ Microsoft \ Windows \ CurrentVersion \ InternetSettings
• Select New > DWORD from the Edit menu
• Call it ReceiveTimeout with a value of <number of seconds> * 1000
  (The «hidden» default is 300000, i.e. five minutes, which is too long)
• Restart your system

Some users have complained that if one URL hits a timeout or a failed connection, all URLs from that host also do. Starting with version 1.2h, this behaviour can be disabled by unchecking «fail all URLs with same failed host» in the advanced options dialog. (The default behaviour is «checked»)

25. What about JavaScript?

My solution, which was first announced in the user group, requires a change in the XENU.INI file. You need a basic understanding of regular expressions (regexp). You must put your regexp in the INI file, like this:

[Options]
Javascript=javascript:.*\([‘»](.*(/|s?html?|gif|jpe?g|png|jsp|cfm|zip|exe|aspx?|pl|pdf|xml|ra|asx|ram|swf|php)(\?.*)?)[‘»](.*)

In the example above, the substring within the first (….) must contain the valid URL.

Frank Visser suggested an improved regexp:

[Options]
Javascript=[j|J]avascript:[_a-zA-Z0-9]+ *\( *[‘»]([^'»]+)[‘»]

Frank Visser has also written a better description on his site.

Note: there may be no blank between within «javascript:function», because the regexp wouldn’t work.

26. What about passwords entered in a FORM?

• Log in with Internet Explorer, start Xenu, then enable cookies in the advanced options dialog (read the details), then start the check
• If the server accepts authentication with GET (might work with the Tomcat server), try sending such a URL. However, you might still have to activate cookies.

Submitting a FORM was never a technical problem for me; I have tested this years ago already, but without any user interface. My mistake was to look for a general way to catch FORMs in HTML pages, instead of just using the login FORM url as a start. I found a somewhat practicable solution at a competing site (WLV).

A test version of Xenu (this may not be the most current version) with login FORMs can be found here

The initial dialogbox has a new checkbox for POST and a POST query string. Note that the query string won’t be stored in the INI file.

Imagine you’d want to check the (imaginary) password protected website https://www.host.com. Look at the HTML for the FORM:

<FORM METHOD=»POST» ACTION=»https://www.host.com/scripts/login.php»>
<INPUT TYPE=»text» NAME=»User»>
<INPUT TYPE=»password» NAME=»Password»>
<INPUT TYPE=»submit» NAME=»Submit» VALUE=»Login»>
</FORM>

Thus, the start URL would be https://www.host.com/scripts/login.php

and if the username is «Xenu», and the password is «Secret», the POST query string would be

User=Xenu&Password=Secret&Submit=Login

(The POST query string gets tricky if there are spaces or special characters in the parameters. It must be URL-encoded)

Important:

1. You must add https://www.host.com to the inclusion list. If you don’t, only URLs beginning with https://www.host.com/scripts/ will be checked;
2. Don’t let Xenu hit the logout link! To avoid this, add the logout URL to the exclusion list:
   https://www.host.com/scripts/logout.php
3. If your server doesn’t do proper URL-rewriting when sessions are disabled, then you must enable cookies in the advanced options dialog;
4. Don’t let Xenu hit any URLs that delete or change something!

27. How about a WAP version?

28. What about these error codes?

More information:

29. Why do I get broken links with filelist.xml, editdata.mso and oledata.mso?

You can also get rid of the problem by excluding them in the advanced options dialog.
Xenu will exclude URLs that end with /filelist.xml, /editdata.mso and /oledata.mso. (This feature has been available since Version 1.2g)

30. Why do I get «file not found» on remote checks?

• Your Internet Explorer isn’t working properly, or is in offline mode, or is blocked by your firewall. Enter the URL you want to check into IE and see if it works.
• One user got it working by starting Internet Explorer first, and then starting Xenu. I believe that the cause is a broken setup of Windows, or of Internet Explorer.
• Your temporary directory is full: enter %TEMP% (not «c:\temp» !) into the Windows Explorer, check if there are many TGH*.* files, and delete them.

31. Can I make a foreign language version?

32. Why isn’t Xenu detecting missing URLs?

One user had the problem that his Microsoft IIS server didn’t return the 404 error. He found help on this page, and then sent me his solution, which only works in .ASP under IIS:

    <%@LANGUAGE="VBScript"%>
    <% Response.Status = "404 Not Found"
    On Error Resume Next 'important in an error page to prevent another error
    strTarget = Request.ServerVariables("QUERY_STRING")
    strReferer = Request.ServerVariables("HTTP_REFERER") %>
    <HTML><BODY>The page doesn't exist, sorry dude!<BR></BODY></HTML>

Another user with Apache attributed the unwanted redirection to this line in the .htaccess file:

ErrorDocument 404 http://www.host.com/404.html

ErrorDocument 404 /404.html

33. Running Xenu with Norton Internet Security

• added Xenu by opening Norton Internet Security by double clicking the Norton «Globe» Icon
• In right side panel, «Personal Firewall», Click CONFIGURE
• In the Personal Firewall pop-up, Click PROGRAMS
• In PROGRAM CONTROLS MENU
• Settings for — «Home (Active)»
• click «Turn on Automatic Program Control» box
• Under «Manual Program Controls»
• Scroll to «Xenu.exe»
• Click Xenu once to Highlight it
• Click MODIFY
• in the pop-up:
• Click PERMIT
• Click OK
• Click Ok again
• Run Xenu

34. Why timeouts?

35. Any Spyware, Adware, Malware?

Some debug output is stored in the file XENULOG.TXT which you will find in your %TEMP% directory. That file does not contain any passwords and it is used for support (I will sometimes ask you to attach it to an e-mail to me), primarly for problems with the launch of URLs in your browser (especially the report). The file is human-readable, so feel free to have a look. The file is not sent to me by Xenu, it just remains there and you can delete it if you wish.

Here’s a green review by McAfee Siteadvisor about Xenu’s Link Sleuth. Note that until before July 11 2008, Yahoo Search (which uses input from McAfee SiteAdvisor) was redflagging every URL of the whole snafu.de domain, including my user site (this seems to have been corrected now). McAfee SiteAdvisor has redflagged the snafu.de domain, but not the user pages. This was related to three downloads (CuteFTP, GoZilla and Nok2Phone) on the customer support ftp site of snafu.de, who has been my ISP for over a decade. These downloads have been removed since then and both Yahoo and McAfee have been notified. On July 30 2008, I noticed that the snafu.de domain has been greenflagged.

As of 22.8.2009, I was told by a user that Trend Micro Internet Security was redflagging this web page as «Dangerous», because Xenu is a «generic trojan». Such false positives are not an isolated problem, other people have had the same complaint. On August 27 I talked on the phone with a very friendly human from Trend Micro. He explained to me that his software wrongly considers mine to be «another antivirus software» because «it searches» (sure it does!), and that he installed the software on a test machine and understand it is harmless. He promised to «contact the lab». But after that, I was asked to make another support message on another web page, and nothing happened after that, but I haven’t had complaints from any more Trend Micro users since then.

As of 30.10.2009, a McAfee Antivirus product claimed that my product is a «Trojan — Artemis». (McAfee describes this problem: «Artemis» & Other Possibly False Detections) After several complaints, it seemed that the problem had been solved with version 5836 (tested 18.12.2009). As of 21.6.2010, McAfee did it again with the new version 1.3.7, and later with 1.3.8. Despite contacting them, there was no reaction. After finding a different contact page for false alarms, McAfee contacted me the next day (on 14.10.2010) and told me that the false Artemis detection had been removed.

On 21.11.2010, a user of Avira Webguard told me that my download URL was blocked. I found out that it was not blocked by the free antivurus product. After a complaint, it was unblocked two days later.

To put any such «alerts» into the correct perspective, upload any Xenu.exe file to www.virustotal.com, which will check the file against 30 antivirus products.

I’m not the only one «suffering» from this type of libel. Read this blog post by nirsoft.net Antivirus companies cause a big headache to small developers, or this blog by Bill Pytlovany McAfee Continues to Harm WinPatrol Users. This SARVAM blog entry shows that many AV products consider windows system files to be malware when packed.

If you have any more questions about security, don’t hesitate to contact me. If you want to report a bug, click here.

36. How about wildcards in the inclusion and exclusion lists?

37. What about CSS?

Attention: Similar to HTML URLs, the CSS URLs must be «internal» to the root URL, or be added to the inclusion list in the initial dialogbox. For example, if your root URL is http://www.host.com/stuff/ and your CSS URL is http://www.host.com/css/standard.css, then it won’t work — you should then add http://www.host.com/css to the inclusion list.

38. Running Xenu with Norton Security Scan

39. Why are there changing Session-IDs?

To prevent having a new session generated for each new URL, all internal links must be generated dynamically.

In Java servlets, this is done with HttpServletResponse.encodeURL(), which will either change the URL or leave it as it is, depending on wether cookies are enabled or not.

In JSP, you should use the JSP Standard Tag Library (JSTL):

<a href=»<c:url value=’fun.jsp’/>»>Click here for fun</a>

of course you can still do it the hard way, with a scriptlet:

<a href=»<%=response.encodeURL(«fun.jsp»)%>»>Click here for fun</a>

In JSF, you should use the HTML tag library:

<h:outputLink title=»fun title» value=»fun.jsf»>Click here for fun</h:outputLink>

<h:link value=»Click here for fun» title=»fun title» outcome=»fun.jsf» />

If you use .php, you should use the SID constant. The manual explains how.

40. Problems in Israel

A fix will be in version 1.3.9. If you can’t wait, use the current beta. Thanks, Yosi!

41. Using an external authentication server

Alternatively, use the authentication URL (e.g. http://auth.host.com/blah/blahRedirect_WL.jsp?goto=http%3A%2F%2Fwww.host.com%2F.wlforward) as the root URL, and include the «real» root URL (here: http://www.host.com) in the initial dialog box.

42. Running Xenu against the Tomcat server can cause it to hang

One cause were two JSF Beans that were not serializable. Another was an error message by tomcat about an aborted GET access on /Context/faces/javax.faces.resource/jsf.js?ln=javax.faces». The later cause has been removed in 1.3.9.

43. Why does my page not have any outgoing links?

• The URL is considered external. Note that http://www.host.com is external to http://host.com and vice-versa.
• A page contains javascript only. You can use the excellent software Fiddler to see what your server delivers to you.
• A page is delivered to Xenu differently than to a browser. That, too, can be investigated with Fiddler.
• A page is in 16 bit Unicode (utf-16, which has 2 bytes per character). Xenu does not support this. It is highly unusual, but not illegal. In firefox, you can click on a page with the right mouse key and choose «view page info». If it mentions utf-16, use NOTEPAD to save your page to a different charset (ansi or utf-8). Your page will also have about half the size than before.

Bug List

• the thread count is sometimes incorrect if the maximum is changed while active
• the thread count is sometimes incorrect at the end of the session
• The </A> closing tag must not have spaces or newlines inside
• leftover TGH*.* files in the %TEMP% directory
• weird effects when INI file >64K (happens on Windows XP, but works fine on Windows 7 64 bit)

Future feature List

• ROBOTS.TXT support
• Detect remote loading of images (geocities sabotages this)
• Solution for leftover TGH*.* files in temp directory
• Command-line parameters (actually, this has already been done, for a client who agreed to pay my development time to two people I support. If you need something similar, e-mail me, the price is a $300 donation to be sent to a person I support)
• Names of last checked URLs in also file menu
• Automatic saving every minute
• A correctly working «Update» feature that rechecks changed sites (tricky, so I will never do it)
• Ideas from Chris:
• What about identifying how many steps it takes to reach a particular page from the home page and how much kb had to be downloaded before one could reach there.

[TH: useful e.g. to which steps a user must take to reach the page of a particular product]
• Read RFCs
• Your suggestions: e-mail me also if there is something of the above you’d like to have, and persuade me to do it. If you want to report a bug, click here.

The Story of Xenu’s Link Sleuth(TM)

(for fellow software developers)

My philosophy on software development has always been «smaller, simpler, cheaper», long before the NASA realized this (in May 2002 I was told that the actual NASA philosophy was Faster, Better, Cheaper — oops!) Because of that, I need no fancy (but totally useless) graphics like in WebAnalyzer. Just results. And they’d better be 100% correct or I’d have to kill myself 🙂

The application is written in Visual C++, and uses the MFC classes as much as possible: CDocument, CView, CListView, CObArray, CMapStringToOb, CArchive, CInternetSession, CHttpFile, etc, etc. That saved me a lot of time! 

Credits

Links for further reading

Trademarks

Home | $cientology | Magic | Mozilla | Tilman | Deutsch | Bookstore

tilman at snafu dot de

Xenu (Xenu’s Link Sleuth) – что это за программа, для чего нужна

Xenu Link Sleuth– бесплатная англоязычная программа для быстрого SEO-аудита сайта.

Основной функционал сервиса

• Поиск битых ссылок на сайте,
• Составление карты сайта,
• Поиск страниц с медленной загрузкой,
• Поиск неуникальных заголовков страниц,
• Поиск страниц с большим уровнем вложенности (более 3-х кликов от главной страницы),
• Поиск страниц с большим количеством исходящих ссылок,
• Проверка внутренней перелинковки,
• Поиск картинок с незаполненным атрибутом alt.

Xenu формирует отчеты как в собственном файловом формате, так в текстовом для дальнейшего экспорта в Excel.

Как работать с Xenu

Программа является свободно распространяемой, и можно скачать Xenu с любого понравившегося сайта.

После установки программы на компьютер можно начинать проверку ресурса.

Для начала работы нужно выбрать в верхней панели слева значок «Check URL»:

В появившемся окне в самое первое поле вводим нужный URL либо выбираем файл с компьютера:

Галочка «Check external links» означает, что сервис также проверит внешние ссылки на сайт, поэтому ее лучше не снимать.

Блок «Include/Exclude» позволяет добавлять URL или наоборот исключать из проверки.

Если нужна не полная проверка сайта, можно выбрать, что включить в итоговый отчет, нажав на кнопку «More options»:

• Ползунок «Parallel threads» задает количество синхронных (параллельных) запросов.
• Галочка «Apply to all jobs» позволяет сохранять настройки для всех проектов.

Также после проверки можно отправить отчет на email:

Как только все нужные поля и опции заполнены, можно нажимать «ОК», запуская проверку сайта.

Данные в появившемся отчете можно сортировать с помощью табуляторов вверху, что позволяет быстро получать самую разную информацию:

• Сортировка по «Status» поможет найти битые ссылки.
• Сортировка по «Type» покажет изображения без атрибута alt.
• Сортировка по «Size» найдет самые тяжелые страницы.
• Сортировка по «Title» покажет страницы с дублированными заголовками.
• Сортировка по «Level» позволит просмотреть вложенность страниц сайта.
• Сортировка по «Out Links» покажет количество исходящих ссылок с той или иной страницы своего ресурса (узнать, на какие именно страницы проставлены ссылки, можно из контекстного меню).
• Сортировка по «In Links» покажет количество входящих ссылок на любой документ своего ресурса (узнать, откуда ссылки, можно из контекстного меню).

В результате проверки Xenu также формирует HTML-отчет, где представлена информация по битым ссылкам и карта сайта:

Битые ссылки. Программа Xenu Links технический аудит сайта

Всем привет! Сегодня я буду проверять свой блог SEO-Mayak.com на битые ссылки.

Многие веб-мастера для этих целей используют плагин WP Broken Link Checker, да и Ваш покорный слуга, до недавнего времени пользовался данным плагином.

Но время бежит и все меняется, а мы растем и развиваемся. Наткнувшись на программу Xenu Links я забыл про плагин раз и навсегда, так как эта программа умеет не только искать битые ссылки, но также проводит внутренний технический аудит сайта.

Что включает в себя технический аудит? Не спешим! Я все разложу по полочкам, а Вам только нужно дочитать статью до конца.

Начну с того, что как и обещал, я собирался писать статью про ручную внутреннею перелинковку. Но в процессе понял, что перед обзором столь важной и обширной темы, необходимо рассказать о битых ссылках, которые могут свети на нет все усилия по распределению статического веса между страницами.

Если поисковый робот обнаруживает на страницах битые ссылки или хуже того, ссылки ведущие на ресурсы, находящиеся под фильтрами поисковой системы, то статический вес таких страниц существенно занижается.

Давайте поближе познакомимся с программой Xenu Links.

Где скачать и как работать с программой Xenu Links

Программа совершенно бесплатная и чтобы скачать ее с сайта разработчика надо перейти по этой ссылке.

Нажимаем на строчку «Download» и нас перебросит на другую страницу:

Плюс — это полная совместимость со всеми версиями Windows, минус — англоязычный интерфейс.

С установкой я думаю сложностей возникнуть не должно, поэтому переходим сразу к запуску программы.

Запускаем Xenu Links и на откроется пустое окно:

Открываем меню настроек с помощью действий, показанных на сткриншотах или простым нажатием клавиш Ctrl+N:

Вписываем URL проверяемого сайта. Если оставить галочку возле пункта Check extemal links, то программа проверить все исходящие ссылки. Если снять галочку — программа проверит только внутренние URL.

Local file —  позволяет открыть для проверки файлы, расположенные на Вашем компьютере.

Consider URLs beginning with this as ‘internal’: — добавить URL к списку проверяемых, которые будут считаться внутренними. Например:

http://forum.site.com

Do not check any URLs beginning with this: — исключить URL из списка проверяемых.

e-mail… — возможность отправить отчет на E-mail используя SMTP-Server.

e-mail report and quit when done — отправлять отчет по почте сразу после окончания проверки.

e-mail only if there are broken links — отправлять отчет только в том случае, если обнаружены битые ссылки.

  1. Parallel Threads — параллельные потоки. Количество одновременно проверяемых ссылок. По умолчанию стоит 30 потоков, больше ставить не стоит, чтобы не нагружать сервер, да и отчет может быть некорректным.

Maximum depth — глубина просмотра. Имеется ввиду максимальная глубина вложенности страниц, на которую будет распространятся проверка. Цифра 999 конкретный  перебор, можно нечего не менять.

  2. Ask for password or certificate when needed — запрашивать разрешение на проверку защищенных страниц. Речь идет о протоколе https://.

Treat redirections as errors — считать редиректы ошибкой. Галочку лучше не ставить!

  3. Broken links, ordered by links — сортировка битых ссылок по URL адресам.

Broken links, ordered by page — упорядочивание битых ссылок по страницам.

Broken local links — искать внутренние битые ссылки.

Redirected URL’s — искать редиректы (301/302).

FTP and gopher URL’s — искать не http адреса.

Valid text URL’s —  определять действительные (не битые) URL адреса.

Site map — отобразить в отчете карту сайта.

Statistics — отображать статистику.

Orphan files — искать файлы-одиночки (файлы на которые нет ссылок).

Ставим галочки, где считаем нужным, жмем ОК  и программа начнет проверку ссылок исходя из заданных параметров.

Находим битые ссылки и проводим технический аудит сайта. Возможности Xenu Links.

Технический аудит сайта может занять несколько минут. Все будет зависть от заданного количества потоков, скорости интернет соединения, загруженности сервера и количества проверяемых страниц.

В первую очередь нас интересую битые (нерабочие) ссылки, выделенные красным цветом.

Для того чтобы сгруппировать все битые ссылки в самом начале отчета, а не искать их среди прочих, нажимаем мышкой на табулятор Status:

Вот какие битые ссылки я нашел на своем блоге, аж 14 штук. Немного разъясню что означают разные статусы:

forbidden request — запрещенный запрос. В одной из своих статей я сослался на Википедию и вроде сделал все правильно. Скопировал URL нужной мне страницы с адресной сроки браузера и вставил в ссылку, но не обратил внимание на регистр.

Чтобы посмотреть в какой записи находится битая ссылка, выделяем строчку и нажатием правой кнопки мыши вызываем меню:

Выбираем URL properties и  нам откроется вот такое окошко:

На скриншоте видно как выглядит битая ссылка, кстати она вполне рабочая, только вот заглавные буквы в URL недопустимы!

no connection — нет связи с сервером.  Надо уменьшит количество потоков и повторить проверку.

no such host — такого URL адреса не существует.

not found — URL не найден.

Идем дальше. Табулятор Type позволяет сгруппировать файлы с одинаковым расширением:

Size — возможность отсортировать ссылки страницы или файлы по их весу:

Имеется в виду вес в Кб. Например, можно определить самые тяжелые изображения на сайте, которые существенно снижают загрузку страниц и сжать их. Кто не умеет  сжимать изображения, советую почитать статью Оптимизация изображений.

Title — группирует ссылки по одноименному мета тегу:

Позволяет легко выявить дубли контента, а также определить страницы не имеющие заголовка Title. Но есть существенный недостаток, некоторые заголовки отображаются в виде кракозябр.

Date —  отображает дату и время появления той или иной ссылки.

Level — позволяет определить степень вложенности страницы, на которой расположена ссылка.

Qut Links — показывает количество исходящих ссылок, расположенных на определенной странице.

In Links — Количество входящих ссылок, ведущих на определенную страницу.

Отчет Xenu Links позволяет найти не только битые ссылки, но и множество разных ошибок и на мой взгляд технический аудит сайта с помощью Xenu Links просто находка для любого веб мастера.

Если возникнут вопросы по теме, постараюсь всем ответить в комментариях.

На сегодня у меня все. Как Вам статья?

С уважением, Виталий Кириллов

Выявляем нерабочие ссылки на своем сайте с помощью Xenu Link Sleuth

Выявление нерабочих ссылок на своем сайте с помощью плагинов WordPress может привести к интенсивному использованию серверных ресурсов и в итоге отразиться на производительности сайта. Плагины, такие как Broken Link Checker, на некоторых хостингах ограничены в своем применении, поскольку они создают проблемы с производительностью. К счастью, существуют бесплатные программы, позволяющие разгрузить сервер и перенести процесс проверки ссылок на локальный компьютер. Xenu Link Sleuth – одна из таких программ. Выпущенная в 2010, программа Xenu Link Sleuth совместима с Microsoft Windows 95/98/ME/NT/2000/XP/Vista/7.

После установки программы на свой компьютер введите адрес сайта, который вы хотите проверить. Проверка ссылок выполняется для стандартных ссылок, изображений, фреймов, плагинов, фонов, локальных карт, стилевых таблиц, скриптов и java-апплетов. Программа выводит на экран постоянно обновляющийся список адресов, который вы можете отсортировать по разным критериям. Отчеты могут быть сгенерированы в любое время. Поскольку большая часть обработки производится на компьютере, все происходит гораздо быстрее и не затрагивает базу данных для хранения результатов. Еще одно преимущество программы – в отличие от онлайн-сервисов, вы не ограничены в максимальном количестве ссылок, которые могут быть проверены.

При генерации отчета для сайта WPTavern.com, Xenu проверил более 10 000 ссылок. Зеленый текст говорит о том, что никаких ошибок не произошло, в то время как красный цвет указывает на проблему. В моем случае это обычно означало, что изображение не было найдено. Поскольку отчет может состоять из тысяч ссылок, Xenu Link Sleuth предлагает возможность просмотра только нерабочих ссылок.

Несмотря на то что Xenu Link Sleuth не работает в Mac, программа под названием Integrity доступна для Mac OS X Mavericks. Она была недавно обновлена для поддержки Mavericks и ретина-дисплеев.

Хорошая практика или пустая трата времени?

С помощью Xenu Link Sleuth я нашел сотни неработающих ссылок из тысяч ссылок, находящихся в архивах WPTavern. Я не знаю, нужно ли их исправлять. Битые ссылки – часть естественного жизненного цикла сети. С одной стороны, я хочу, чтобы каждая существующая ссылка на моем домене работала корректно. С другой стороны, я чувствую, что с изменением ссылок я изменю историю. Должен ли я исправлять ссылки только за определенный промежуток времени? Как часто вы проверяете наличие неработающих ссылок на своем сайте? Какие программы или сервисы вы используете для этого?

Источник: wptavern.com

Проверка и контроль URL сайта. Программа для проверки URL – Xenu`s Link Sleuth.

Если сайт состоит из большого количества страниц, то проверка URL сайта может превратиться в невыполнимую рутину для оптимизатора. Чтобы минимизировать временные затраты, можно воспользоваться специальными программами. Один из таких инструментов, который наверняка знаком опытным специалистам, – программа Xenu`s Link Sleuth. 

Чтобы проверить сайт, необходимо открыть новый проект, выбрав в меню «File» «Check URL», ввести адрес и нажать «OK». После этого программа начнет обработку всех URL сайта. По окончании проверки нужно экспортировать полученные данные в любой удобный редактор и начать поиски дублей.

По результатам исследования заданного  URL сайта Xenu выдает HTML-отчет.

Он очень подробный и состоит из нескольких разделов:

•             Неработающие ссылки, отсортированные по адресам (URL).

•             Неработающие ссылки, отсортированные по страницам, на которых они встречаются.

•             Ссылки, которые работают, но с помощью функции редиректа перенаправляют посетителей на другие страницы. Редирект замедляет загрузку страниц, поэтому в некоторых случаях имеет смысл поставить ссылку сразу на прямой адрес.

•             Ссылки протоколов FTP и Gopher. Xenu, к сожалению, не проверяет такие ссылки на работоспособность. Однако, имея их полный список под рукой, пользователь может проверить их самостоятельно, вручную.

•             Список страниц, которые можно сообщить поисковым интернет-системам для индексации.

•             Карта (оглавление) сайта, в которой указаны не URL страниц, а их заголовки, то есть, содержимое тега <TITLE>.

•             Неработающие внутренние ссылки, то есть ссылки, которые должны вести на какие-то страницы нашего же сайта, а ведут «в никуда».

•             Список файлы-сирот (orphan).

•             Обобщенная статистика исследования: сколько ссылок получили тот или иной статус в результате проверки.

Находим битые ссылки с помощью программы Xenu’s Link Sleuth

Битая ссылка – это ссылка, которая делает переход на не существующую страницу сайта, изображение или документ. Сразу появляется сообщение – страница не найдена (ошибка 404). На сайте могут присутствовать внешние ссылки на сторонние ресурсы.

Интернет ни дня не стоит на месте – все меняется, появляются новые и новые блоги, сайты, картинки и т.д. Ровно столько же исчезает или удаляется внешних источников, поэтому переход по ссылке никуда не приведет. Внешняя ссылка становиться битой.

Следовательно, нужно проверить сайт на битые ссылки, ведь не всем пользователям понравиться тратить свое время на поиск нужной информации, а потом увидеть сообщение о том, что запрашиваемая страница не найдена или не существует.

К чему может привести наличие на сайте битых ссылок?

1. Очень негативно реагируют на битые ссылки поисковые системы, в частности Яндекс и Google. Этот «мусор» снижает позицию сайта в поисковой выдаче. Если на сайте несколько таких ссылок – ничего страшного, а если счет идет на сотни?
2. Второе – это уменьшает посещаемость страницы. Если посмотреть на проблему глазами пользователей, то кто захочет потратить уйму времени на поиск нужного документа, изображения или еще чего-нибудь, а потом попасть на станицу с «ошибкой 404». Наверное, любой из нас закроет данный сайт с разочарованием и больше не вернется сюда.

Как проверить сайт?

Для того чтобы решить проблему, нужно проверить битые ссылки на интересующем ресурсе. Для данной задачи можно воспользоваться одной из специальных программ, например Xenu’s Link Sleuth. Данная программа качественно и быстро выполнит поиск всех битых ссылок.

1. Скачиваем программу Xenu’s Link Sleuth.
2. После установки открывается окно программы, где в меню File нужно выбирать пункт Check URL:

 <% @ LANGUAGE = "VBScript"%>
<% Response.Status = "404 не найдено"
On Error Resume Next 'важно на странице ошибки, чтобы предотвратить другую ошибку
strTarget = Request.ServerVariables ("QUERY_STRING")
strReferer = Request.ServerVariables ("HTTP_REFERER")%>
  Страницы не существует, извини, чувак!